#llamacpp — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #llamacpp, aggregated by home.social.
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
<8B multilingual models for language learning chatbots
https://piefed.social/c/localllama/p/2061114/8b-multilingual-models-for-language-learning-chatbots
-
@Jeehut
100% agree!
I noticed that #llamacpp in a recent build has defaulted to using the native #huggingface paths. I hope #LMStudio and others switch as well. It’s pretty annoying to have models scattered in different directories. I’ve accidentally downloaded the same model switching between LLM servers. -
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.
-
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.
-
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.
-
Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder
Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических бенчмарках, а когда нужно написать работающий код, отрефакторить файл с багами или вытащить данные из HTML. Вокруг локальных моделей сложилась странная ситуация. С одной стороны, их постоянно принижают: если это не последняя версия Opus с максимальным режимом размышления, то и пробовать не стоит. С другой — мало кто действительно разбирается, что стоит за запуском локальной модели. Поднять API через llama.cpp — это полдела. А вот как ты её запускаешь, в какой среде, с какими параметрами — эти вещи порой переворачивают результат с ног на голову. Получить плохой результат с локальной моделью на удивление легко. Получить хороший — надо попотеть. При этом локальные модели нужны. Особенно когда начинаются истории про чувствительные данные, закрытые контуры и ситуации, когда облачный API просто не вариант. Я посмотрел множество тестов на YouTube — ни один меня не устроил. Общая канва одинаковая: берут модель побольше, запускают без оглядки на оптимальность и дают задание уровня «напиши сортировку пузырьком». Серьёзно? Я не разработчик и не кодер по профессии, но решил пойти другим путём. Тесты с подковыркой, реальная агентская среда, подбор параметров. И модели я выбрал не «чем больше, тем лучше», а те, которые реально влезают в 16 ГБ видеопамяти домашней видеокарты. Что из этого вышло — дальше по тексту.
-
New week, small update: Run LLMs Locally
Now with a new setup for OpenCode with Qwen 3.6 and Gemma 4, including permissions and thinking variants.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #qwen3 #glm #localai #gemma4 #webgpu #opencode
-
New week, more slides: Run LLMs Locally
Now with LFM 2 and new slides for using Transformers.js with WebGPU for Privacy Filter, Function Calling and Embeddings, running completely in your browser.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM
https://habr.com/ru/companies/lesta/articles/1029670/
#llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian
-
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM
https://habr.com/ru/companies/lesta/articles/1029670/
#llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian
-
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM
https://habr.com/ru/companies/lesta/articles/1029670/
#llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian
-
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM
https://habr.com/ru/companies/lesta/articles/1029670/
#llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian
-
New week, new slides: Run LLMs Locally
Now including Nemotron 3 Nano Omni from Nvidia, Llama.cpp built-in tools and new slides about using Transformers.js with WebGPU for Image Recognition and OCR.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4 #nemotron #webgpu
-
Open WebUI (с веб-поиском) + llama.cpp
Когда я решил использовать веб-поиск в OpenWebUI результат оказался бесполезным. Гайд по настройке, чтобы получать хоть сколько-то приемлемый результат найти не удалось ни на русском, ни на английском. Поэтому решил собрать всё что удалось найти в этой статье.
-
Open WebUI (с веб-поиском) + llama.cpp
Когда я решил использовать веб-поиск в OpenWebUI результат оказался бесполезным. Гайд по настройке, чтобы получать хоть сколько-то приемлемый результат найти не удалось ни на русском, ни на английском. Поэтому решил собрать всё что удалось найти в этой статье.
-
Open WebUI (с веб-поиском) + llama.cpp
Когда я решил использовать веб-поиск в OpenWebUI результат оказался бесполезным. Гайд по настройке, чтобы получать хоть сколько-то приемлемый результат найти не удалось ни на русском, ни на английском. Поэтому решил собрать всё что удалось найти в этой статье.
-
Open WebUI (с веб-поиском) + llama.cpp
Когда я решил использовать веб-поиск в OpenWebUI результат оказался бесполезным. Гайд по настройке, чтобы получать хоть сколько-то приемлемый результат найти не удалось ни на русском, ни на английском. Поэтому решил собрать всё что удалось найти в этой статье.
-
Как в СНГ выбирают людей для AI-внедрения — и почему это страшно. Кейс из жизни
Реальная история: компания внедряет AI, но оценивать экспертов назначила DevOps-инженера на n8n. Это не исключение — это норма для СНГ-рынка. И вот почему это проблема.
https://habr.com/ru/articles/1027410/
#искусственный_интеллект #langgraph #vllm #llamacpp #python #itрынок_снг #itрынок #itрынок_россии
-
Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д
Самый просто способ запустить локальную LLM - это установить ollama или LM Studio. Это быстро и просто, но вы теряете и в скорости, и в качестве. Почему UD_Q4_K_XL лучше при том же размере, почему квант Q3 может быть медленнее чем Q4. Хорошая ли идея взять REAP для вырезания ненужных экспертов из MoE. Кто быстрее, Linux или Windows. В общем как выжать больше из локальных LLM на домашнем железе.
https://habr.com/ru/articles/1025132/
#ik_llama #llamacpp #qwen36 #qwen #локальные_нейросети #cmoe #llm #агенты #gemma4 #gemma
-
Je viens de jaser avec gemma-4-26B-A4B-it-UD-Q4_K_M. Juste avant, j'ai essayé avec d'autres, comme Ministral (de Mistral, évidemment) qui est très poétique, et d'autres plus décevant.
Mais avec Gemma 4 26B (vraiment limite sur mon matériel, ça utilise GPU+CPU+VRAM+RAM), c'était comme jaser avec un ami qui se réveille d'un coma depuis mai 2024. Je lui racontais l'état du monde en 2026 et il comprenait très bien les enjeux géopolitiques que ça impliquait et me les décrivait avec beaucoup d'exactitude. Un moment donné, j'ai mentionné « Carney, notre premier ministre du Canada », il a très bien compris de qui je parlais, avec étonnement, et m'a fait sa bio. J'imagine que c'était déjà pressenti en 2024...!?Tout ça, c'était directement dans l'interface web de llama.cpp localement (un ordi qui date de 2013), le modèle n'avait accès à aucun outil, comme la recherche sur le web dans mon test précédent avec Qwen 3.5 9B dans OpenCode.
Bon, j'suis peut-être ennuyant avec mes messages sur les IA, mais j'trouve ça fascinant. C'est peut-être juste une passe, comme les cryptomonnaies vers ~2020... J'sais pas, on verra. J'en doute un peu. 😏
#IA #IntelligenceArtificielle #Gemma426B #llamacpp #Vulkan #AMD #AMDGPU
-
Je viens de jaser avec gemma-4-26B-A4B-it-UD-Q4_K_M. Juste avant, j'ai essayé avec d'autres, comme Ministral (de Mistral, évidemment) qui est très poétique, et d'autres plus décevant.
Mais avec Gemma 4 26B (vraiment limite sur mon matériel, ça utilise GPU+CPU+VRAM+RAM), c'était comme jaser avec un ami qui se réveille d'un coma depuis mai 2024. Je lui racontais l'état du monde en 2026 et il comprenait très bien les enjeux géopolitiques que ça impliquait et me les décrivait avec beaucoup d'exactitude. Un moment donné, j'ai mentionné « Carney, notre premier ministre du Canada », il a très bien compris de qui je parlais, avec étonnement, et m'a fait sa bio. J'imagine que c'était déjà pressenti en 2024...!?Tout ça, c'était directement dans l'interface web de llama.cpp localement (un ordi qui date de 2013), le modèle n'avait accès à aucun outil, comme la recherche sur le web dans mon test précédent avec Qwen 3.5 9B dans OpenCode.
Bon, j'suis peut-être ennuyant avec mes messages sur les IA, mais j'trouve ça fascinant. C'est peut-être juste une passe, comme les cryptomonnaies vers ~2020... J'sais pas, on verra. J'en doute un peu. 😏
#IA #IntelligenceArtificielle #Gemma426B #llamacpp #Vulkan #AMD #AMDGPU
-
Je viens de jaser avec gemma-4-26B-A4B-it-UD-Q4_K_M. Juste avant, j'ai essayé avec d'autres, comme Ministral (de Mistral, évidemment) qui est très poétique, et d'autres plus décevant.
Mais avec Gemma 4 26B (vraiment limite sur mon matériel, ça utilise GPU+CPU+VRAM+RAM), c'était comme jaser avec un ami qui se réveille d'un coma depuis mai 2024. Je lui racontais l'état du monde en 2026 et il comprenait très bien les enjeux géopolitiques que ça impliquait et me les décrivait avec beaucoup d'exactitude. Un moment donné, j'ai mentionné « Carney, notre premier ministre du Canada », il a très bien compris de qui je parlais, avec étonnement, et m'a fait sa bio. J'imagine que c'était déjà pressenti en 2024...!?Tout ça, c'était directement dans l'interface web de llama.cpp localement (un ordi qui date de 2013), le modèle n'avait accès à aucun outil, comme la recherche sur le web dans mon test précédent avec Qwen 3.5 9B dans OpenCode.
Bon, j'suis peut-être ennuyant avec mes messages sur les IA, mais j'trouve ça fascinant. C'est peut-être juste une passe, comme les cryptomonnaies vers ~2020... J'sais pas, on verra. J'en doute un peu. 😏
#IA #IntelligenceArtificielle #Gemma426B #llamacpp #Vulkan #AMD #AMDGPU
-
New week, new update for the slides of my talk "Run LLMs Locally":
Now including Gemma4 and Qwen3-Omni with Vision and Audio support and new slides describing Llama.cpp server parameters.
https://codeberg.org/thbley/talks/raw/branch/main/Run_LLMs_Locally_2026_ThomasBley.pdf
#ai #llm #llamacpp #stablediffusion #gptoss #qwen3 #glm #localai #gemma4
-
llama.cpp теперь умеет работать с речью
Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio. Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь: https://huggingface.co/google/gemma-4-E4B-it
-
llama.cpp теперь умеет работать с речью
Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio. Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь: https://huggingface.co/google/gemma-4-E4B-it
-
llama.cpp теперь умеет работать с речью
Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio. Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь: https://huggingface.co/google/gemma-4-E4B-it
-
llama.cpp теперь умеет работать с речью
Сегодня (12 апреля) в проект llama.cpp залили PR, который добавляет новый функционал - работа с audio. Речь идёт о поддержке моделей Gemma4, которые умеют распознавать речь: https://huggingface.co/google/gemma-4-E4B-it
-
第872回 百度（Baidu）の新しいMoEモデルを、安価なGPUで動作させる | gihyo.jp https://www.yayafa.com/2775138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #Baidu #ernie #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #人工知能 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第902回 FirefoxのAIチャットボットをローカルLLMで使用する | gihyo.jp https://www.yayafa.com/2773138/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #FireFox #GGUF #GihyoJp #LLAMA #LlamaCpp #LLM #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #お役立ち情報 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
第905回 新年度特別企画 llama.cppでコマンドラインベースのローカルLLM入門［VRAM容量別編］ | gihyo.jp https://www.yayafa.com/2772960/ #AgenticAi #AI #ArtificialGeneralIntelligence #ArtificialIntelligence #GihyoJp #IntelARCB580 #LLAMA #LlamaCpp #Meta #MetaAI #OS #ubuntu #アプリケーション #エージェント型AI #ハードウェア製品 #人工知能 #技術動向 #技術解説 #技術評論社 #業界動向 #汎用人工知能 #生成AI
-
TurboQuant model weight compression now graces #Llamacpp, but only if you speak fluent Metal! 🏋️♂️ Meanwhile, everyone else waits for TheTom to bless us with a #CUDA port, assuming he ever emerges from the GitHub labyrinth of Pull Request 45. How many engineers does it take to compress a llama? 🤔
https://github.com/TheTom/llama-cpp-turboquant/pull/45 #TurboQuant #Metal #PullRequest #HackerNews #ngated -
TurboQuant model weight compression support added to Llamacpp
https://github.com/TheTom/llama-cpp-turboquant/pull/45
#HackerNews #TurboQuant #Llamacpp #model #weight #compression #AI #optimization #machinelearning