#llamacpp — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #llamacpp, aggregated by home.social.
-
New week, more slides: Run LLMs Locally
Now including wllama to run GGUF models inside your browser!
wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.I also added translations using the HY-MT model from Tencent.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly
-
New week, more slides: Run LLMs Locally
Now including wllama to run GGUF models inside your browser!
wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.I also added translations using the HY-MT model from Tencent.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly
-
New week, more slides: Run LLMs Locally
Now including wllama to run GGUF models inside your browser!
wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.I also added translations using the HY-MT model from Tencent.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly
-
New week, more slides: Run LLMs Locally
Now including wllama to run GGUF models inside your browser!
wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.I also added translations using the HY-MT model from Tencent.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly
-
New week, more slides: Run LLMs Locally
Now including wllama to run GGUF models inside your browser!
wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web.
It has no 4 GB limitation and is faster than Transformers.js.I also added translations using the HY-MT model from Tencent.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #wllama #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp #webassembly
-
-
New week, new slides: Run LLMs Locally
Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp
-
New week, new slides: Run LLMs Locally
Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp
-
New week, new slides: Run LLMs Locally
Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp
-
New week, new slides: Run LLMs Locally
Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp
-
New week, new slides: Run LLMs Locally
Now including multi-token prediction using Qwen3.6 35B-A3B with Nextn quantization. Also speech recognition using Qwen-3-ASR is now working directly with Llama.cpp and included in the slides.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode #mtp
-
RT @rumgewieselt: Die llama.cpp-Community testet gerade erst diesen PR! 😆
mehr auf Arint.info
#AI #GGML #llama #llamacpp #MachineLearning #OpenSource #arint_info
-
Qwen3.6 MTP весит на 0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, что ускоряет генерацию в 1.5-2 раза. Качество при этом остается lossless. Для моделей, которые не имеют встроенного MTP, есть альтернативы в лице EAGLE-3 и DFlash.
-
Qwen3.6 MTP весит на 0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, что ускоряет генерацию в 1.5-2 раза. Качество при этом остается lossless. Для моделей, которые не имеют встроенного MTP, есть альтернативы в лице EAGLE-3 и DFlash.
-
Qwen3.6 MTP весит на 0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, что ускоряет генерацию в 1.5-2 раза. Качество при этом остается lossless. Для моделей, которые не имеют встроенного MTP, есть альтернативы в лице EAGLE-3 и DFlash.
-
Qwen3.6 MTP весит на 0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений
В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, что ускоряет генерацию в 1.5-2 раза. Качество при этом остается lossless. Для моделей, которые не имеют встроенного MTP, есть альтернативы в лице EAGLE-3 и DFlash.
-
TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü
Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.
https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/
-
TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü
Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.
https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/
-
TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü
Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.
https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/
-
TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü
Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.
https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/
-
TurboQuant Sessiz Çökme Sorunu ve OpenSSL 3 Çözümü
Yerel yapay zeka modellerinde 128K gibi devasa context pencerelerine yelken açmak isterken llama-server.exe'nin hiçbir hata vermeden anında kapanmasıyla karşılaştım. TheTom/llama-cpp-turboquant Windows CUDA 12.4 paketinde unutulan OpenSSL DLL'lerini (STATUS_DLL_NOT_FOUND) ve winget ile LTS sürümünü kurarak bu can sıkıcı problemi kendi sistemimde nasıl çözdüğümü anlattım.
https://yuceltoluyag.github.io/turboquant-sessiz-cokme-cozumu/
-
RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, ein Anstieg von 1,4x vor nur zwei Tagen!
mehr auf Arint.info
#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info
-
Joplin as autotext library or custom prompt library for AI chat
https://friendica.tf-translate.net/display/cafe12d9-176a-0861-aca4-d9f833762554
-
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.
https://habr.com/ru/articles/1035862/
#LLM #VRAM #llamacpp #локальные_модели #квантование #KV_cache #GQA #бенчмарк #GPU
-
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.
https://habr.com/ru/articles/1035862/
#LLM #VRAM #llamacpp #локальные_модели #квантование #KV_cache #GQA #бенчмарк #GPU
-
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.
https://habr.com/ru/articles/1035862/
#LLM #VRAM #llamacpp #локальные_модели #квантование #KV_cache #GQA #бенчмарк #GPU
-
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hugging Face говорит “Llama 3.1 8B” — что это значит для моей видеокарты с 16 GB? А если хочу 32k контекст? А с Q4_K_M? Несколько недель назад мне попался open-source калькулятор whatmodelscanirun.ru. Прогнал его на трёх своих сетапах (4060 Ti, 3090, M2 Pro), сравнил предсказания с реальными запусками через llama.cpp и разобрался, как работает математика внутри. Спойлер: алгоритм правильный, но систематически переоценивает скорость на 15-25%.
https://habr.com/ru/articles/1035862/
#LLM #VRAM #llamacpp #локальные_модели #квантование #KV_cache #GQA #бенчмарк #GPU
-
I shouldn’t be distracted with this kind of nonsense when I have plenty of apps needing some tlc to get out the door… that said…
I’ve been spending time trying to get rapid-mlx to work on the Mac mini. It’s supposed to be much faster than llama.cpp, but I’ve had nothing but problems. Hope it is just a learning curve on the right mix of parameters. Defaults definitely don’t seem to be dialed in like llama-server. #opencode #rapidmlx #llamacpp -
I shouldn’t be distracted with this kind of nonsense when I have plenty of apps needing some tlc to get out the door… that said…
I’ve been spending time trying to get rapid-mlx to work on the Mac mini. It’s supposed to be much faster than llama.cpp, but I’ve had nothing but problems. Hope it is just a learning curve on the right mix of parameters. Defaults definitely don’t seem to be dialed in like llama-server. #opencode #rapidmlx #llamacpp -
I shouldn’t be distracted with this kind of nonsense when I have plenty of apps needing some tlc to get out the door… that said…
I’ve been spending time trying to get rapid-mlx to work on the Mac mini. It’s supposed to be much faster than llama.cpp, but I’ve had nothing but problems. Hope it is just a learning curve on the right mix of parameters. Defaults definitely don’t seem to be dialed in like llama-server. #opencode #rapidmlx #llamacpp -
I shouldn’t be distracted with this kind of nonsense when I have plenty of apps needing some tlc to get out the door… that said…
I’ve been spending time trying to get rapid-mlx to work on the Mac mini. It’s supposed to be much faster than llama.cpp, but I’ve had nothing but problems. Hope it is just a learning curve on the right mix of parameters. Defaults definitely don’t seem to be dialed in like llama-server. #opencode #rapidmlx #llamacpp -
I shouldn’t be distracted with this kind of nonsense when I have plenty of apps needing some tlc to get out the door… that said…
I’ve been spending time trying to get rapid-mlx to work on the Mac mini. It’s supposed to be much faster than llama.cpp, but I’ve had nothing but problems. Hope it is just a learning curve on the right mix of parameters. Defaults definitely don’t seem to be dialed in like llama-server. #opencode #rapidmlx #llamacpp -
RT @danielhanchen: Qwen3.6 MTP Unsloth GGUFs laufen jetzt 1,8x schneller, eine Steigerung von 1,4x vor nur zwei Tagen!
mehr auf Arint.info
#GGUF #llamacpp #MTP #Qwen3 #SpeculativeDecoding #Unsloth #arint_info
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.
-
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.