@usn 都不行，很鸡肋，只能学习到大概的部署和使用方法，想要获得从业技能不太科学

@coolfan 大概能跑 30b 的吧加上量化优化，但是距离现在主流上的还差太远了

7B 参数量的大模型本地部署的话就是已读乱回，当然没啥效果。

@slowgen 对，你形容的很贴切，就是这个感觉，感觉想要入门 ai 开发，门槛挺高的

@forisra 哥们都是玩的多少 b 的？完全没有思路有什么使用场景

@crocoBaby 本地部署按照现在的显存价格就没啥好方案啊，司马黄仁勋之前还专门出了一个推理特化的产品，一看价格 5070 的算力 4 万块的售价.....

@crocoBaby #9 看来你查阅资料的能力不怎么样，能觉得英伟达那个小盒子实用，还因此否定所有消费级显卡。

@HojiOShi 好奇大佬是怎么搜集资料的

@crocoBaby #10 看个人

建议不要用 LM STUDIO 或 OLLAMA 这些玩意，最起码会用 llama.cpp （虽然这俩都是基于 llama.cpp ），生产级部署都是 vllm 和 sglang 或自己写 cuda 。上 huggingface 下个 gpt-oss-20b 能凑合用，qwen-coder-7b 能代码补全，还有 DeepSeek-OCR 啥的能玩的挺多的，甚至内存 64g+你都能跑 gpt-oss-120b 但可能只有几 tokens/s 。