@DefoliationM 说错了，是 awq 量化后的

@murmur #6 如果需要访问本地数据库数据的话，是不是模型不太好处理

@h1100 模型帮你做的是文本转向量，然后在数据库中找出匹配高的，用 AI 总结，数据库操作在本地

@zsvc 16GB 够你跑 14b 的 deepseek-r1 或者 12b 的 gemma3 了

租台阿里云服务器吧。。。 不用的时候关机。。。 这样就是 0 元搭建了服务器。。。

6000

3w 多能组一台能跑绝大多数满血模型的 GPU 裸金属

@sayyiku 租

4090 跑 14b 没问题（实测） 5090 跑 20b 以上应该可以，然后还可以跑 FLUX

买 AI PC ，比如 nvidia dgx spark ，有 128G 混合显存，可以运行 96B 的大模型。 比买显卡好多了。或者等 intel 的 24G 的 AI 显卡单卡上架，这个也便宜。