31 条回复  ·  3537 次点击
wenkgin 楼主 初学 2025-9-12 17:41:20
![Imgur]( https://imgur.com/wXEtddV)
wenkgin 楼主 初学 2025-9-12 17:43:25
![test]( https://imgur.com/wXEtddV.png)
silomrelephant 初学 2025-9-12 21:35:41
@wenkgin cpu 应该问题不大,没研究过这个 r9 ,目前主要瓶颈看内存速度,成品机 ai pc 板载 ddr5 多通道的,一般比自己组的速度高很多,自己找大模型算一下 token 每秒多少
8o8 初学 2025-9-12 22:15:33
本地部署性能有点跟不上,我在本地跑的 15b phi4 用来进行编程,感觉上下文长度限制很大,经常写着写着就忘了要干什么,总之很不好用。如果有哪位大佬本地调好了请指点一下。 在三个配置上都试了: 1.台式机,14900K+256GB 内存,使用 cpu 跑 2.笔记本电脑,14900K+64G 内存+4070 3.服务器,至强 6138*2+512G 内存+3080-12GB*4
songyoucai 小成 2025-9-12 22:47:08
@8o8 #23 我们可以交流交流 我现在编程 部署的 30b 感觉够用
YsHaNg 小成 2025-9-12 23:15:06
@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的
YsHaNg 小成 2025-9-12 23:15:41
@8o8 都有第三个平台了为什么跑 phi4 这么上古的模型 还是个 14b 的 按说这能跑 qwen3-coder:480b
davidyin 小成 2025-9-13 01:36:36
@wenkgin 是的
wtks1 小成 2025-9-13 07:06:26
有没有那种本地部署,家用 pc 也能带的动的翻译模型?
iorilu 小成 2025-9-13 07:56:15
说实话, 本地部署唯一有点用的就是翻译 翻译说实话确实不需要太大模型, 8b 就行了 其他的还是算了, 真想干点活, 还得上 api, 除非你有能力部署那种满血 deepseek, 那是另一回事
返回顶部