设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
节点
飞墙
Follow
明白贴
工算小助手
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
AI 本地化部署的方式
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
1 月 20 号失业, 2 月 1 号离婚,还有更快
›
经过此次飞牛的漏洞,搞不懂为什么都喜欢直
›
如何制裁或者恶心一个人
›
已大规模发布的漏洞不叫 0day !
›
哪家的智能开关稳定性比较好
今日热议主题
擅长奥数题/国考题在生活中有什么用?
5 号放假,计划 6 号去泰国玩,有没有推荐/
关了飞牛 FnConnect,如何优雅使用 Joplin
老铁们咨询下:这种 eSIM 转实体的空白 SIM
第一次在白苹果上看到五国...
谷歌对 L 站的评价: 国内最大的逆向 AI 圣
总结下个人使用的 nas 系统
“有没有可能在自研的 App 中加入一个功能
飞牛的影响面比想象的大很多
找一个 FC26 联机队友
显示全部
|
最新评论
31 条回复
·
3556 次点击
21#
wenkgin
楼主
初学
2025-9-12 17:41:20

22#
wenkgin
楼主
初学
2025-9-12 17:43:25

23#
silomrelephant
初学
2025-9-12 21:35:41
@wenkgin cpu 应该问题不大,没研究过这个 r9 ,目前主要瓶颈看内存速度,成品机 ai pc 板载 ddr5 多通道的,一般比自己组的速度高很多,自己找大模型算一下 token 每秒多少
24#
8o8
初学
2025-9-12 22:15:33
本地部署性能有点跟不上,我在本地跑的 15b phi4 用来进行编程,感觉上下文长度限制很大,经常写着写着就忘了要干什么,总之很不好用。如果有哪位大佬本地调好了请指点一下。 在三个配置上都试了: 1.台式机,14900K+256GB 内存,使用 cpu 跑 2.笔记本电脑,14900K+64G 内存+4070 3.服务器,至强 6138*2+512G 内存+3080-12GB*4
25#
songyoucai
小成
2025-9-12 22:47:08
@8o8 #23 我们可以交流交流 我现在编程 部署的 30b 感觉够用
26#
YsHaNg
小成
2025-9-12 23:15:06
@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的
27#
YsHaNg
小成
2025-9-12 23:15:41
@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的 按说这能跑 qwen3-coder:480b
28#
davidyin
小成
2025-9-13 01:36:36
@wenkgin 是的
29#
wtks1
小成
2025-9-13 07:06:26
有没有那种本地部署,家用 pc 也能带的动的翻译模型?
30#
iorilu
小成
2025-9-13 07:56:15
说实话, 本地部署唯一有点用的就是翻译 翻译说实话确实不需要太大模型, 8b 就行了 其他的还是算了, 真想干点活, 还得上 api, 除非你有能力部署那种满血 deepseek, 那是另一回事
下一页 »
1
2
3
4
/ 4 页
下一页
返回顶部