#大语言模型 — Public Fediverse posts

大家好！👋
我正在深入研究本地运行 AI 模型——说实话，云服务说到底就是别人的电脑，而我更希望完全掌控自己的设备。虽然租用服务器空间既便宜又方便，但它无法给我带来动手自由的满足感。
因此，我正考虑自己组装一台 AI 服务器/工作站！ 我一直在关注一些二手的 Lenovo ThinkStation P620 或者服务器机架，具体取决于成本和性价比。但我想听听你们的建议！
我的目标：
在预算友好但强大的设备上本地运行大型语言模型。由于我不需要游戏功能（如光线追踪、DLSS 等），我更倾向于选择性价比高的服务器 GPU，它们在 AI 工作负载上表现出色。
我正在考虑的 GPU：

社区问题：
大家有使用过以上 GPU 的经验吗？ 哪款适合本地运行大型语言模型？
我是否遗漏了其他性价比高的服务器 GPU？ 哪些适合 AI 工作负载？
组装一台经济实惠的 AI 工作站有什么技巧？ （散热、电源、兼容性等）
你们本地 AI 推理的首选设备是什么？ 我想听听你们的经验！
有没有人用过华为的 GPU，特别是 Atlas 300I Duo 96GB？ 它看起来非常适合 AI 任务，但我想了解实际使用体验。

额外问题：
华为 Atlas 300I Duo 96GB 看起来非常吸引人，尤其是它的 96GB 显存，非常适合运行大型模型。不过，我担心**兼容性和软件支持**的问题（特别是在非华为生态系统中）。有没有人用过这款 GPU？ 它的性能和稳定性如何？在 Linux 环境下是否容易配置？

我的考虑：
我希望平衡成本和性能，所以任何建议或经验分享都非常感谢！

提前感谢大家的帮助！🙌

#AI服务器 #本地AI #GPU推荐 #AI硬件 #二手服务器 #自建AI工作站 #显卡性能 #AI计算 #深度学习硬件 #服务器GPU #预算DIY #性价比硬件 #自建电脑 #低成本AI #硬件避坑 #二手电子产品 #自托管AI #家庭实验室 #边缘计算 #大语言模型 #本地LLM #AI推理 #开源AI #机器学习 #AI研究 #自托管大模型 #本地部署AI #AI实验室 #华为Atlas #Atlas300I #华为AI芯片 #国产GPU #昇腾AI #华为服务器GPU #96GB显存 #技术交流 #硬件讨论 #AI爱好者 #DIY经验分享 #自建经验 #硬件推荐 #购买建议 #AI服务器 #预算DIY #本地AI #GPU推荐 #自建AI工作站 #二手硬件 #性价比硬件 #华为Atlas #华为Atlas #Atlas300I #96GB显存 #国产GPU #AI硬件 #本地LLM #大语言模型 #自托管AI #AI研究 #深度学习硬件 #本地部署AI #大语言模型 #AI推理 #开源AI #自建AI工作站 #GPU性能

误解三：「#ChatGPT 解决不了来源准确性和新闻即时性的问题，这是#大语言模型 的硬伤。」

大语言模型本身如何保证「正确」是一个复杂的问题。但在普通人的应用角度，这件事可以非常轻易地从工程上绕过去。今天 #Bing 的试用已经逐步铺开了（见附图），附图里是关于2023年的时事的提问（而众所周知 ChatGPT 的训练语料完全来自2021年之前），你会看到它的回答非常准确，而且每句话都附上了#来源链接。这是因为 ChatGPT 或类似的大语言模型并不应该被理解为一个从零开始的静态知识库，而是一个可以动态附着在其他信息源上的 layer（「作为一种服务的自然语言界面」）。因此，哪怕用最笨的方式，搜索引擎至少可以当场把传统的搜索结果喂给它，它再以一种对话的方式把它呈现出来，而这就间接解决了准确性和即时性的问题（至少不差于传统#搜索引擎）。
https://weibo.com/1644684112/Msk5YyYbb

#关于AI