#机器学习 — Public Fediverse posts

大家好！👋
我正在深入研究本地运行 AI 模型——说实话，云服务说到底就是别人的电脑，而我更希望完全掌控自己的设备。虽然租用服务器空间既便宜又方便，但它无法给我带来动手自由的满足感。
因此，我正考虑自己组装一台 AI 服务器/工作站！ 我一直在关注一些二手的 Lenovo ThinkStation P620 或者服务器机架，具体取决于成本和性价比。但我想听听你们的建议！
我的目标：
在预算友好但强大的设备上本地运行大型语言模型。由于我不需要游戏功能（如光线追踪、DLSS 等），我更倾向于选择性价比高的服务器 GPU，它们在 AI 工作负载上表现出色。
我正在考虑的 GPU：

社区问题：
大家有使用过以上 GPU 的经验吗？ 哪款适合本地运行大型语言模型？
我是否遗漏了其他性价比高的服务器 GPU？ 哪些适合 AI 工作负载？
组装一台经济实惠的 AI 工作站有什么技巧？ （散热、电源、兼容性等）
你们本地 AI 推理的首选设备是什么？ 我想听听你们的经验！
有没有人用过华为的 GPU，特别是 Atlas 300I Duo 96GB？ 它看起来非常适合 AI 任务，但我想了解实际使用体验。

额外问题：
华为 Atlas 300I Duo 96GB 看起来非常吸引人，尤其是它的 96GB 显存，非常适合运行大型模型。不过，我担心**兼容性和软件支持**的问题（特别是在非华为生态系统中）。有没有人用过这款 GPU？ 它的性能和稳定性如何？在 Linux 环境下是否容易配置？

我的考虑：
我希望平衡成本和性能，所以任何建议或经验分享都非常感谢！

提前感谢大家的帮助！🙌

#AI服务器 #本地AI #GPU推荐 #AI硬件 #二手服务器 #自建AI工作站 #显卡性能 #AI计算 #深度学习硬件 #服务器GPU #预算DIY #性价比硬件 #自建电脑 #低成本AI #硬件避坑 #二手电子产品 #自托管AI #家庭实验室 #边缘计算 #大语言模型 #本地LLM #AI推理 #开源AI #机器学习 #AI研究 #自托管大模型 #本地部署AI #AI实验室 #华为Atlas #Atlas300I #华为AI芯片 #国产GPU #昇腾AI #华为服务器GPU #96GB显存 #技术交流 #硬件讨论 #AI爱好者 #DIY经验分享 #自建经验 #硬件推荐 #购买建议 #AI服务器 #预算DIY #本地AI #GPU推荐 #自建AI工作站 #二手硬件 #性价比硬件 #华为Atlas #华为Atlas #Atlas300I #96GB显存 #国产GPU #AI硬件 #本地LLM #大语言模型 #自托管AI #AI研究 #深度学习硬件 #本地部署AI #大语言模型 #AI推理 #开源AI #自建AI工作站 #GPU性能

还有，#截图 不具备被检索的可能。对于事件后续跟踪和反思，检索各类信息进行整合是很关键的一步。
无法被检索就意味着无法被记住，只会不断被遗忘。
公共存档服务的检索还很孱弱，但至少可用；telegraph受限于telegram的数据库结构和产品策略，不仅对外部搜索封闭不开放，它自身的搜索功能也完全残废；截图则完全不可能，在目前完全基于字节构建的互联网上，图片、音频和视频这类富媒体是几乎不存在主动的二次消费的，这也是受众越来越依赖平台、依赖推荐算法喂养的原因。
想想看，你想到一个词、一句话、一个画面元素等，想要找到之前看到它时承载它的图片、音频（比如播客）和视频（比如各类教程），找到它们要花多少力气？
即使是#推荐算法，在建立内容相似性关系时也无法直接处理富媒体内容，要通过降格转换（ocr、stt等技术将富媒体承载的信息转为文本，再索引转换后文本）、meta信息（富媒体发布时的尺寸、hash等属性，以及用户附加的标签、字幕、附言、标题、评论等）以及用户行为（用户前后浏览行为上下文、好友看过等社交关系etc）来实现。
也许这一切在#机器学习 和深度神经网络算法普及后会变吧。
#关于AI