设为首页
收藏本站
开启辅助访问
全部
问与答
创意
技术
酷工作
生活
交易
节点
飞墙
Follow
明白贴
工算小助手
登录
注册
飞社-令人惊奇的创意工作者社区-
›
首页
›
程序员
›
多少钱能搞个本地大模型环境
FSHEX=FIND+SHARE+EXPRESS
飞社-令人惊奇的创意工作者社区- 是一个关于发现分享表达的地方
现在登录
没有账号?
立即注册
推荐主题
›
工位搬迁,发生了一件不愉快的事
›
豆包的聪明程度很一般,为什么却是国内最火
›
如果人生是场游戏,我的幸运值恐怕是负数
›
感觉千问的这个活动产品负责人实在动脑子了
›
帮朋友问下如何跨过情色一关
今日热议主题
iPhone 16e 有带 MagSafe 的硅胶壳推荐吗?
求个 foobar2000 皮肤 近十年前的作品~~
(打脸帖)所以 eth 一万美刀了吗?
Seedance 2.0 爆发:多镜头 AI 视频生成进
ClawBoxLite:一行代码在 micro-VM 沙箱内
给老人送什么东西好?
求推荐个父母用的手机
ClawBoxLite:一行代码在本地通过 micro-VM
整了个 安卓 x 软路由 x 三频满血双发热点
有无招产品兼职的呀,求一个
显示全部
|
最新评论
27 条回复
·
3033 次点击
21#
iamqk
小成
2025-5-29 09:19:34
m3 ultra studio ?
22#
coolloves
初学
2025-5-29 09:19:59
@sayyiku #16 哈哈,一字之差,差了好多个 w 啊
23#
tool2dx
初学
2025-5-29 09:23:39
@villivateur “16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了” 你看 google 官方的 gemma3 技术文档的测试数据,12b 和 27b 差距还是很大的。
24#
mercury233
小成
2025-5-29 09:27:41
捡垃圾部署满血 deepseek 这种行为艺术前段时间比较流行,不过无论是模型本身的水准还是低配硬件带来的回复速度都远达不到可用标准,所以后来也没人提了 现在小显存(-16GB )有实用价值的模型除了画图的也就 whisper 音频转写和 sakura 日中翻译,其他都是玩具甚至炒概念的
25#
huangrong
初学
2025-5-29 09:34:39
不如买 token
26#
squarefong17
小成
2025-5-29 09:40:59
AMD 的 AI max + 395 ,四通道 DDR5 8000MT ,大概 200G 带宽,32B 全量大概 10tokens/s ,MoE 只激活 3B 参数(显存容量还是 20 多 G )大概 30-50 tokens/s (取决于上下文长度),70B 也能跑,但是 5token 的速度没什么实用价值,等 70B 而且是 moe 的模型出来可能实用些。395 国补后通常不到两万,有 64G 内存的也有 128G 内存的。
27#
fredweili
小成
2025-5-29 09:43:27
openrouter, DMX 这种汇聚平台也很好,还有一些免费的
28#
zhaoahui
小成
2025-5-29 09:43:56
都说买 token 吃降智,自己搭会不会用着用着降智呢?
1
2
3
/ 3 页
浏览过的版块
问与答
返回顶部