27 条回复  ·  3020 次点击
iamqk 小成 2025-5-29 09:19:34
m3 ultra studio ?
coolloves 初学 2025-5-29 09:19:59
@sayyiku #16 哈哈,一字之差,差了好多个 w 啊
tool2dx 初学 2025-5-29 09:23:39
@villivateur “16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了” 你看 google 官方的 gemma3 技术文档的测试数据,12b 和 27b 差距还是很大的。
mercury233 小成 2025-5-29 09:27:41
捡垃圾部署满血 deepseek 这种行为艺术前段时间比较流行,不过无论是模型本身的水准还是低配硬件带来的回复速度都远达不到可用标准,所以后来也没人提了 现在小显存(-16GB )有实用价值的模型除了画图的也就 whisper 音频转写和 sakura 日中翻译,其他都是玩具甚至炒概念的
huangrong 初学 2025-5-29 09:34:39
不如买 token
squarefong17 小成 2025-5-29 09:40:59
AMD 的 AI max + 395 ,四通道 DDR5 8000MT ,大概 200G 带宽,32B 全量大概 10tokens/s ,MoE 只激活 3B 参数(显存容量还是 20 多 G )大概 30-50 tokens/s (取决于上下文长度),70B 也能跑,但是 5token 的速度没什么实用价值,等 70B 而且是 moe 的模型出来可能实用些。395 国补后通常不到两万,有 64G 内存的也有 128G 内存的。
fredweili 小成 2025-5-29 09:43:27
openrouter, DMX 这种汇聚平台也很好,还有一些免费的
zhaoahui 小成 2025-5-29 09:43:56
都说买 token 吃降智,自己搭会不会用着用着降智呢?
123
返回顶部