31 条回复  ·  3535 次点击
wenkgin 楼主 初学 2025-9-12 16:51:41
@byby 很多场景还是需要本地化的(涉密信息、能完全控制 api 的方式以后停用、收费),设备不用担心有需要就肯定有钱买,主要是看 ai 模型的效果如何
wenkgin 楼主 初学 2025-9-12 16:52:41
@visper 我现在玩的就是 ollama 感觉可用性太低了,我电脑性能也不太行
wenkgin 楼主 初学 2025-9-12 16:53:11
@davidyin 也是用的 ollama 吗
wenkgin 楼主 初学 2025-9-12 16:53:52
@totoro52 qwen3:4b ,测试用的 我只是验证可行性
youtubbbbb 初学 2025-9-12 17:05:09
本地部署的意义是什么?即使你有隐私的考虑,租服务器也好很多
wenkgin 楼主 初学 2025-9-12 17:11:47
@youtubbbbb 有些涉密内容的知识库或者公司内部的一些东西,不能公开的
silomrelephant 初学 2025-9-12 17:23:05
8b 可以稳定工具调用了,20b oss 能用用。硬件可以考虑 ai pc ,32g 统一大内存足够,2/4 通道板载内存速度够用。
wenkgin 楼主 初学 2025-9-12 17:32:57
@silomrelephant 我这够吗? 876a350e56245a7659d2ca98b33874d8.png
wenkgin 楼主 初学 2025-9-12 17:38:36
@silomrelephant 搞了半天这个应该能是图片了吧 https://imgur.com/a/aX4bsr3
wenkgin 楼主 初学 2025-9-12 17:40:51
[Imgur]( https://imgur.com/wXEtddV)
返回顶部