#gpu推荐 — Public Fediverse posts on home.social

大家好！👋
我正在深入研究本地运行 AI 模型——说实话，云服务说到底就是别人的电脑，而我更希望完全掌控自己的设备。虽然租用服务器空间既便宜又方便，但它无法给我带来动手自由的满足感。
因此，我正考虑自己组装一台 AI 服务器/工作站！我一直在关注一些二手的 Lenovo ThinkStation P620 或者服务器机架，具体取决于成本和性价比。但我想听听你们的建议！
我的目标：
在预算友好但强大的设备上本地运行大型语言模型。由于我不需要游戏功能（如光线追踪、DLSS 等），我更倾向于选择性价比高的服务器 GPU，它们在 AI 工作负载上表现出色。
我正在考虑的 GPU：

社区问题：
大家有使用过以上 GPU 的经验吗？哪款适合本地运行大型语言模型？
我是否遗漏了其他性价比高的服务器 GPU？哪些适合 AI 工作负载？
组装一台经济实惠的 AI 工作站有什么技巧？（散热、电源、兼容性等）
你们本地 AI 推理的首选设备是什么？我想听听你们的经验！
有没有人用过华为的 GPU，特别是 Atlas 300I Duo 96GB？它看起来非常适合 AI 任务，但我想了解实际使用体验。

额外问题：
华为 Atlas 300I Duo 96GB 看起来非常吸引人，尤其是它的 96GB 显存，非常适合运行大型模型。不过，我担心**兼容性和软件支持**的问题（特别是在非华为生态系统中）。有没有人用过这款 GPU？它的性能和稳定性如何？在 Linux 环境下是否容易配置？

我的考虑：
我希望平衡成本和性能，所以任何建议或经验分享都非常感谢！

提前感谢大家的帮助！🙌