#ollama — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.
-
L'IA locale est la solution idéale et #Hermes associé à #Ollama, un logiciel libre, est une bonne configuration.
https://www.zdnet.fr/pratique/jai-teste-une-tonne-doutils-dia-locale-pour-mon-ordinateur-mais-hermes-ollama-est-desormais-mon-prefere-voici-pourquoi-496755.htm -
DBの隣にIDEを置く：生パスワードを配らず、ローカルLLMでデータも外に出さない設計
https://qiita.com/yusuf-gundogdu/items/4d04fe4ccee98f1df457?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
DBの隣にIDEを置く：生パスワードを配らず、ローカルLLMでデータも外に出さない設計
https://qiita.com/yusuf-gundogdu/items/4d04fe4ccee98f1df457?utm_campaign=popular_items&utm_medium=feed&utm_source=popular_items -
Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить
В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше
https://habr.com/ru/articles/1078828/
#локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность
-
Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить
В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше
https://habr.com/ru/articles/1078828/
#локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность
-
Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить
В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше
https://habr.com/ru/articles/1078828/
#локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность
-
https://www.europesays.com/pl/668928/ NVIDIA PAIR – darmowe narzędzie rozdzielające zadania agentów AI między komputery w domowej sieci #AgenciAI #AiPc #DgxSpark #GPU #IFA2026 #LMStudio #LokalnaInferencja #Nauka #NaukaITechnika #NaukaTechnika #nvidia #ollama #PAIR #PersonalAIRouter #PL #Poland #Polish #Polska #Polski #RtxSpark #Science #ScienceAndTechnology #ScienceTechnology #SztucznaInteligencja #Technika #Technology
-
Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
@ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: https://javapro.io/2026/06/03/the-gen-ai-iceberg-java-tooling-edition/ -
Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
@ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: https://javapro.io/2026/06/03/the-gen-ai-iceberg-java-tooling-edition/ -
Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
@ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: https://javapro.io/2026/06/03/the-gen-ai-iceberg-java-tooling-edition/ -
Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
@ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: https://javapro.io/2026/06/03/the-gen-ai-iceberg-java-tooling-edition/ -
Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
@ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: https://javapro.io/2026/06/03/the-gen-ai-iceberg-java-tooling-edition/ -
https://www.europesays.com/ie/672544/ Nvidia & Microsoft push local AI agents on Windows #acer #AIAgents(AgenticAI) #AIPC #ContentCreation #Creators #CyberLink #DataPrivacy #DeveloperTools #EdgeAI #EdgeComputing #Éire #ElectronicArts(EA) #GenerativeAI(GenAI) #HybridCloud #IE #Ireland #Lenovo #Linux #MacOS #Microsoft #MicrosoftWindows #Nvidia #Ollama #OpenSource #Optimisation #optimization #PCHardware #PCMarket #PortableComputer #RayTracing(RTX) #SmallOffice #Technology #Ubisoft
-
أطلق Raycast تحديثه v2، الذي يعيد دعم "Bring Your Own Model" (BYOM) لربط مزودين متوافقين مع OpenAI، أو تشغيل نماذج محلية عبر Ollama، أو استخدام OpenRouter API ضمن Raycast AI. هذه الميزات تتطلب الآن اشتراك Raycast Pro. كما يوسع التحديث إدارة النوافذ بأوامر دقيقة لتغيير الحجم والتحريك، وإمكانية إنشاء تخطيطات مخصصة من النوافذ الحالية. ويشمل التحسينات دعم النص من اليمين إلى اليسار في Raycast AI، وتحسينات في Quick AI، وتعديلات على ترتيب البحث عن الملفات.
-
أطلق Raycast تحديثه v2، الذي يعيد دعم "Bring Your Own Model" (BYOM) لربط مزودين متوافقين مع OpenAI، أو تشغيل نماذج محلية عبر Ollama، أو استخدام OpenRouter API ضمن Raycast AI. هذه الميزات تتطلب الآن اشتراك Raycast Pro. كما يوسع التحديث إدارة النوافذ بأوامر دقيقة لتغيير الحجم والتحريك، وإمكانية إنشاء تخطيطات مخصصة من النوافذ الحالية. ويشمل التحسينات دعم النص من اليمين إلى اليسار في Raycast AI، وتحسينات في Quick AI، وتعديلات على ترتيب البحث عن الملفات.
-
A short recap of my recent experiments of running an LLM.
Would be great to hear suggestions from others.
- Where else can we get decent hardware?
- What models do you run for your teams?
- How to reduce complexity of the setup?https://www.linkedin.com/pulse/recap-my-journey-self-host-llm-artur-neumann-6ddfe/
-
A short recap of my recent experiments of running an LLM.
Would be great to hear suggestions from others.
- Where else can we get decent hardware?
- What models do you run for your teams?
- How to reduce complexity of the setup?https://www.linkedin.com/pulse/recap-my-journey-self-host-llm-artur-neumann-6ddfe/
-
A short recap of my recent experiments of running an LLM.
Would be great to hear suggestions from others.
- Where else can we get decent hardware?
- What models do you run for your teams?
- How to reduce complexity of the setup?https://www.linkedin.com/pulse/recap-my-journey-self-host-llm-artur-neumann-6ddfe/
-
A short recap of my recent experiments of running an LLM.
Would be great to hear suggestions from others.
- Where else can we get decent hardware?
- What models do you run for your teams?
- How to reduce complexity of the setup?https://www.linkedin.com/pulse/recap-my-journey-self-host-llm-artur-neumann-6ddfe/
-
A short recap of my recent experiments of running an LLM.
Would be great to hear suggestions from others.
- Where else can we get decent hardware?
- What models do you run for your teams?
- How to reduce complexity of the setup?https://www.linkedin.com/pulse/recap-my-journey-self-host-llm-artur-neumann-6ddfe/
-
Und das realistische tk/s --- aus echten Coding anwendungen!
KI: Die 25 aus dem Speed-Test waren Bestbedingungen (kurz, hochvorhersagbar). Für deinen echten Workload sind 13-15 der Realwert — genau den hat auch die Regression von 173 Requests gemessen (15 t/s). Das Modell rät Code und gemischte Agent-Antworten eben schlechter als Smalltalk. Da gibt's serverseitig nichts zu tune — draft_num_predict 4 wäre schlechter (Benchmark: 16,7 vs 21,3), und der Hebel bleibt Output-Länge.
Das Prinzip heißt Speculative Decoding (spekulatives Decodieren).
Kurz erklärt: Ein kleiner, schneller "Draft"-Teil des Modells (bei dir die eingebauten MTP-Heads — Multi-Token-Prediction) rät mehrere Folge-Tokens vor. Der große 27B-Checker prüft dann alle geratenen Tokens in einem einzigen Durchlauf (Batch-Verifikation) und verwirft nur die Fehlversuche.
Der Trick: Raten kostet fast nichts, Prüfen kostet so viel wie EIN normales Token — weil die Gewichtsmatrix nur einmal gelesen wird. Treffen 3 von 3 Ratschlägen zu, hast du 4 Tokens für den Preis von einem.
Deshalb ist die Geschwindigkeit = Akzeptanzrate × Basis-Speed. Bei Smalltalk rät der Draft-Head gut (23-26 t/s), bei Code/JSON eben schlechter (13-15 t/s).
#qwen38 #qwen3_8 #localai #appliedai #mtp #ollama #amdryzenAIMaxPlus395
-
[Перевод] Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить
В этом месяце Alibaba выпустила две модели, и та, о которой все писали, оказалась не той, что мы ждали. Qwen3.8-Max — это API с 2,4 триллионами параметров, и пару недель назад я с большим энтузиазмом написал о ней обзор. Но релиз, которого я действительно ждал, вышел 14 августа: Qwen3.8-27B, Apache 2.0, веса на Hugging Face, модель достаточно компактна, чтобы работать на ноутбуке. Я должен кое в чем признаться. Я не провел полный тест этой модели. Я попробовал, на своем MacBook Air M4 получал около восьми токенов в секунду и потерял терпение где-то на втором запросе. По большей части этот пост посвящен именно моей неудаче, потому что я подозреваю, что у многих из вас вечер сложится так же, как у меня. Что представляет собой Qwen3.8-27B на самом деле 27,78 миллиарда параметров, плотная модель, включающая в себя визуальный энкодер, о котором никто не объявлял заранее. Принимает на вход текст, изображения и видео. Собственный контекст — 262 144 токена, с помощью YaRN можно увеличить его примерно до миллиона, если запускать модель на сервере. Архитектура — это по-настоящему интересная часть, и это не обычный трансформер. На протяжении 64 слоёв Qwen чередует 48 слоёв Gated DeltaNet (линейное внимание) с 16 полными слоями Gated Attention в соотношении 3:1. Только эти 16 слоёв с полным вниманием имеют KV-кэш. Таким образом, на каждый токен приходится около 64 КБ, что составляет примерно четверть от объёма памяти, необходимого для обычной 64-слойной модели с плотным кодированием. Если вы запомните только одно число из этого поста, пусть это будет именно оно. Всё, что касается того, поместится ли эта модель на вашем компьютере, зависит от объёма KV-кэша.
-
My kid has released another tool that he's written for himself:
Ovi is a lightweight local model server that delivers an ollama‑style developer experience, built natively on Intel’s OpenVINO runtime for efficient CPU and GPU inference:
https://github.com/nathanael-thms/ovi.
Check out the docs at https://ovi.nattho.com
-
Как я собрала локальную MCP-платформу для мониторинга промышленных данных
Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.
https://habr.com/ru/articles/1064802/
#MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL
-
Написал локального ИИ-ассистента для зумов: диаризация, граф знаний и ноль облаков
Собрал ассистента встреч, который работает целиком на моём маке: локальный STT, живая диаризация голосов, мгновенные ответы на вопросы собеседника и самообновляемый граф знаний в Obsidian. Внутри — грабли: ловушка обращений при расстановке имён, 23 «голоса» из-за осколков кластеризации, num_ctx и бюджет RAM в Ollama. Код открыт, Apache 2.0.
https://habr.com/ru/articles/1061864/
#локальные_llm #ollama #диаризация #speechtotext #граф_знаний #ассистент_встреч #zoom
-
Come Scegliere il Miglior Mini PC per l'AI Locale nel 2026: Strix Halo vs DGX Spark vs Mac
Un mini PC grande quanto un libro tascabile è oggi in grado di eseguire localmente un modello da 200 miliardi di parametri. Ma la scelta non dipende solo dal prezzo. La capacità della memoria determina quali modelli possono essere caricati, la larghezza di banda influisce sulla velocità di esecuzione e lo stack software — CUDA, ROCm o Metal — stabilisce se gli strumenti che utilizi funzioneranno davvero. Ecco un confronto tra le quattro principali opzioni disponibili nel 2026, con prezzi e benchmark aggiornati.
buysellram.com/blog/how-to-cho…
#AIlocale #LLM #MiniPC #HardwareAI #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #InfrastrutturaAI #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple
-
Choosing A mini PC isn't about the lowest price tag. Capacity sets what fits, bandwidth sets how fast it runs, and the software stack — CUDA, ROCm, or Metal — decides whether your tools work at all. Here's how the four real options compare in 2026, with current prices and benchmarks.
https://www.buysellram.com/blog/how-to-choose-the-best-mini-pc-for-local-ai-in-2026/
#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA -
AMD Ryzen AI Max+ 395 vs Nvidia DGX Spark vs Apple Mac — plus when a GPU tower still beats all three. A practical hardware guide for IT managers, developers, and small-business owners weighing a local LLM machine.
Running large language models locally went from a niche hobby to a real procurement question in 2026. A mini PC the size of a paperback can now hold a 200-billion-parameter model — the kind of workload that used to need a server rack.
But picking one isn't about the lowest price. Three things decide whether a model runs well: memory capacity (what fits), memory bandwidth (how fast it runs), and the software ecosystem — CUDA, ROCm, or Metal — that determines whether your existing tools work at all.
There are four real ways to run a local LLM on your desk: a discrete-GPU tower (fastest, but a VRAM wall), AMD Strix Halo mini PCs (big unified memory, cheap, Windows-native), Nvidia's GB10 boxes like the DGX Spark and Dell Pro Max (CUDA, but now $4,699 and Linux-only), and Apple's Mac mini and Mac Studio (high bandwidth, silent, no CUDA).
This guide breaks down which fits which job — with verified specs and current prices.
An appendix at the end collects what early buyers of the AMD “lunchbox” are actually reporting.
https://www.buysellram.com/blog/how-to-choose-the-best-mini-pc-for-local-ai-in-2026/
#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple #technology -
Running local AI for Ruby development with Ollama, Aider, and VSCode.
No cloud APIs.
No telemetry.
No proprietary code leaving your machine.A practical look at local LLM workflows while working on Ruby-LibGD.
-
Krátce jsem zkoušel lokální #LLM modely na mém #frameworklaptop13 a docela zajímavě vypadá "přemýšlivý" qwen3.6:35b-a3b-q4_K_M, který na AMD Ryzen 5 AI 340 + 32GB RAM běží použitelně.
Tento model má redukovaný počet aktivních parametrů pro zpracování jednoho tokenu. Na první pohled, tak méně zatěžuje CPU/GPU a celý notebook méně hučí a topí. Podobně funguje i starší qwen3-coder:30b-a3b-q4_K_M, který "nepřemýšlí" takže odpověď dorazí rychleji.
Každopádně na tomto HW tyto modely generují výstup řádově v nižších desítkách (možná spíš jednotky) tokenů za sekundu. Měřeno pohledem oka. Použitelné to je, ale kdo to s lokálním LLM myslí opravdu vážně, brzy sáhne po něčem výkonnějším.
-
SocratiCode: разбираю MCP-сервер, который даёт ИИ-агенту понимание кодовой базы
Если ваш ИИ-агент при каждом вопросе начинает grep-ом по всему проекту — у меня есть для вас одна штука. SocratiCode — это MCP-сервер, который индексирует кодовую базу через Qdrant и даёт агенту нормальный поиск вместо построчного чтения. Разобрал, как он устроен внутри, потестировал на нашем монорепе и сравнил с обычным режимом Claude Code
https://habr.com/ru/articles/1031878/
#MCP #Claude_Code #векторный_поиск #Qdrant #Ollama #codebase_intelligence #AIагенты #RAG
-
Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код
Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM
https://habr.com/ru/companies/lesta/articles/1029670/
#llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian
-
Sollte ein #LLM selbst entscheiden, wann es eine Funktion oder #API aufruft? In „LLM-Context und Tools“ zeigt Jean-Claude Brantschen genau dieses Muster – für präzisere Antworten.
👉 Guide + Code: https://javapro.io/de/llm-context-und-tools
-
Разворачиваем RAG на Java без боли: практический гайд
Всем привет! Недавно столкнулся с проблемой, что в настоящее время большая часть обучающих материалов по Retrieval‑Augmented Generation (RAG) сосредоточена на Python‑экосистеме (LangChain, LlamaIndex и тому подобное), а пошаговые руководства, которые показывают, как быстро собрать рабочее RAG‑приложение на чистом Java‑стеке , встречаются крайне редко. Эта статья представляет собой простое практическое руководство, где мы разберём весь процесс от настройки окружения до полного примера кода, чтобы даже начинающий Java‑разработчик мог развернуть RAG.
https://habr.com/ru/articles/1027426/
#RAG #Java #Spring_AI #Qdrant #Ollama #LLM #bgem3 #embeddings
-
Souveräne Enterprise KI in Tagen statt Monaten mit Infinito.Nexus
Der gezeigte Post steht exemplarisch für eine Entwicklung, die aktuell in vielen Unternehmen zu beobachten ist. Es werden kurzfristig KI Entwicklerinnen und Entwickler gesucht, die ein breites Spektrum abdecken, von LLM Integration über RAG bis hin zu produktiven Pipelines und skalierbaren Cloud und Container Umgebungen. Der Bedarf ist hoch, die Anforderungen komplex und die Zeitfenster meist sehr eng. Dabei zeigt sich immer wieder, dass die eigentliche Herausforderung nicht nur im Finden einzelner Expertinnen und Experten liegt, sondern in der fehlenden technischen Grundlage, um solche Lösungen schnell, sicher und nachhaltig umzusetzen. […] -
Автоматизация процессов на open source — n8n и Ollama
Low-code автоматизация давно вышла за пределы простых интеграций, а появление доступных LLM только усилило интерес к сборке собственных агентных сценариев. В этой статье — практический опыт использования n8n как основы для таких процессов: от выбора и развёртывания до работы с данными, интеграциями и подключения локальных моделей через Ollama. Разберём, где подобный стек действительно упрощает жизнь, с какими ограничениями приходится сталкиваться и как из разрозненных инструментов собрать рабочие AI-сценарии под реальные задачи.
https://habr.com/ru/companies/otus/articles/1024468/
#n8n #ollama #n8n_установка #n8n_ai #n8n_ai_agent #moodle #woocommerce #gigachat #analystsu #n8nio
-
🥳🎉 Ollama: the glorified llama herder that stumbled upon fame by being the first to drag llama.cpp out of the Stone Age and into the hands of the tech-illiterate masses. 🚀✨ It’s the Silicon Valley equivalent of a one-hit-wonder band, now clumsily pivoting to the cloud while praying its users don't realize they've been riding a borrowed horse all along. 🐴💸
https://sleepingrobots.com/dreams/stop-using-ollama/ #Ollama #LlamaTech #CloudComputing #OneHitWonder #SiliconValley #HackerNews #ngated -
AI для умного дома: что уже работает сегодня (часть 1)
В статье — не просто список инструментов, а как они сочетаются , какие подводные камни ждут при развёртывании, какие цифры можно ожидать по производительности и как обойти ограничения Llama 8B без облачных кредитов.
https://habr.com/ru/articles/1014246/
#умный_дом #Home_Assistant #Ollama #OpenClaw #MCP #LLM #локальный_AI #Whisper #n8n #голосовое_управление
