大模型？你这个配置一般的推理没问题，但是大模型微调不行，再微调也是大模型，deepseek 满血配置 200W 起步，你这个只能跑量化

没钱就别自己训练了。4090 最起码的，一张还不够

amd 跑模型？ 很难评价

不考虑一下每秒 token 吞吐量这个指标？

来张 4090 ，至少能跑非量化的 7b

@charlenehe43 他说的那 CPU 跟 M4 pro 在一个性能水平，CPU 、GPU 和带宽都是。哪怕是功耗受限的笔记本跑 qwen-30b-a3b ，最高能有近 50 tokens/s 。跑这个规模的语言模型的场景，cuda 根本不是问题，vulkan 加速就够快了，瓶颈在带宽。

推理、微调、训练 所需要的资源你可以简单想象成 1:10:100 ，所以你要先清楚你准备做什么，如果只是刚开始想玩玩，建议可以先找 GPU 算力平台租卡来用，或者云厂商都有对应的服务先玩玩，玩的差不多了也就知道你要什么了 显卡首推 NVIDIA ，业界公认 NO.1