#ninfer — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #ninfer, aggregated by home.social.
-
Тест DeepSeek, Qwen, GLM и прочих LLM на продвинутом пользовательском железе
В статье рассказываю о личном опыте запуска современных LLM на домашнем ПК, сравниваю модели, кванты и движки, показываю результаты практических тестов и делюсь выводами о том, что сегодня по моему мнению имеет смысл запускать локально.
https://habr.com/ru/articles/1080316/
#MTP #DSpark #NInfer #FreeToken #ExLlamaV3 #Qwen #DeepSeek #GLM #Ornith #RTX_5090