#cmoe — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #cmoe, aggregated by home.social.
-
Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д
Самый просто способ запустить локальную LLM - это установить ollama или LM Studio. Это быстро и просто, но вы теряете и в скорости, и в качестве. Почему UD_Q4_K_XL лучше при том же размере, почему квант Q3 может быть медленнее чем Q4. Хорошая ли идея взять REAP для вырезания ненужных экспертов из MoE. Кто быстрее, Linux или Windows. В общем как выжать больше из локальных LLM на домашнем железе.
https://habr.com/ru/articles/1025132/
#ik_llama #llamacpp #qwen36 #qwen #локальные_нейросети #cmoe #llm #агенты #gemma4 #gemma