设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
资源
节点
飞墙
Follow
明白贴
报酬
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
多少钱能搞个本地大模型环境
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
求职半个月,感觉快撑不住了,想听听大家的
›
F站怎么有这么多人以 PC 为荣?
›
共事了 7 年的同事今天 last day,还是会有
›
ChatGPT, Claude, Gemini 会员三选一 应该
›
离线听书 App 上架 Google Play,寻找封闭测
今日热议主题
被花了很多心思带教了一年多的小弟背刺了
请教招 web 前端面试都该问些啥
iOS Home Control(右上角下拉界面)设备顺
求推荐价格 500 左右的游戏鼠标?
[杭州招聘] Golang 后端工程师
古籍文本的 OCR,大家有没推荐好的开源项目
intel qsv ffmpeg 编码问题
用 AI 撸了一个游戏产业图和电影产业图
招钱包测试总监
广西电信疑似被部分限速
显示全部
|
最新评论
27 条回复
·
3020 次点击
21#
iamqk
小成
2025-5-29 09:19:34
m3 ultra studio ?
22#
coolloves
初学
2025-5-29 09:19:59
@sayyiku #16 哈哈,一字之差,差了好多个 w 啊
23#
tool2dx
初学
2025-5-29 09:23:39
@villivateur “16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了” 你看 google 官方的 gemma3 技术文档的测试数据,12b 和 27b 差距还是很大的。
24#
mercury233
小成
2025-5-29 09:27:41
捡垃圾部署满血 deepseek 这种行为艺术前段时间比较流行,不过无论是模型本身的水准还是低配硬件带来的回复速度都远达不到可用标准,所以后来也没人提了 现在小显存(-16GB )有实用价值的模型除了画图的也就 whisper 音频转写和 sakura 日中翻译,其他都是玩具甚至炒概念的
25#
huangrong
初学
2025-5-29 09:34:39
不如买 token
26#
squarefong17
小成
2025-5-29 09:40:59
AMD 的 AI max + 395 ,四通道 DDR5 8000MT ,大概 200G 带宽,32B 全量大概 10tokens/s ,MoE 只激活 3B 参数(显存容量还是 20 多 G )大概 30-50 tokens/s (取决于上下文长度),70B 也能跑,但是 5token 的速度没什么实用价值,等 70B 而且是 moe 的模型出来可能实用些。395 国补后通常不到两万,有 64G 内存的也有 128G 内存的。
27#
fredweili
小成
2025-5-29 09:43:27
openrouter, DMX 这种汇聚平台也很好,还有一些免费的
28#
zhaoahui
小成
2025-5-29 09:43:56
都说买 token 吃降智,自己搭会不会用着用着降智呢?
1
2
3
/ 3 页
浏览过的版块
Apple
返回顶部