home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  2. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  3. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  4. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  5. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  6. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  7. @Madic noch darauf Bezug nehmen:

    Bei Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  8. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  9. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  10. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  11. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  12. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    -Hosting

    glukhov.org/llm-hosting/compar

  13. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  14. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  15. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  16. Я хотел просто навести порядок в Obsidian. В итоге написал два индекса, semantic search и RAG

    Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic duplicates и RAG по собственному хранилищу. В статье разбираю, как всё это устроено, что ломалось по дороге и почему почти 700 тестов всё равно не спасли от сюрпризов в реальном Obsidian.

    habr.com/ru/articles/1078328/

    #Obsidian #Vault_Audit_AI #RAG #semantic_search #embeddings #LLM #TypeScript #vector_search #knowledge_management #Ollama

  17. Один интерфейс — девять LLM-провайдеров: как мы подружили Kimi K3, GLM-5.2, Claude и Ollama в одном терминальном агенте

    Привет, Хабр! Я делаю execai — терминальный AI-агент на Go (bubbletea), в духе Claude Code. Он читает файлы, гоняет shell-команды, ходит в kubernetes и стримит ответы в TUI. В какой-то момент выяснилось, что пользователям нужен не «агент с одной моделью», а мультитул: у кого-то подписка Kimi Code за $19, у кого-то GLM Coding Plan за $18, у кого-то корпоративный ключ Anthropic, а кто-то хочет гонять Ollama локально и не платить вообще. И всё это — в одном чате, с общей историей, с переключением на лету. Под катом — как устроена мультипровайдерная архитектура: один интерфейс из пяти строк, два несовместимых мира API (Anthropic-compat и OpenAI-compat), SSE-парсеры с аккумуляцией tool calls, динамические каталоги моделей, автодетект тарифа подписки и делегирование в чужие CLI. С реальным кодом и граблями, на которые мы наступили.

    habr.com/ru/articles/1065118/

    #execai #Go #LLM #Kimi_K3 #GLM52 #Ollama #AIагент #терминал #bubbletea #SSE

  18. От стримов к вебсокетам: как я боролся с буферизацией и наконец победил

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #spring_ai #spring_boot #java #websocket #stomp #serversent_events #sse #ollama #llm #typescript

  19. Spring AI: феноменология цифрового сознания, или Как я перестал бояться и полюбил облачные модели

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #spring_ai #java #spring_boot #llm #ollama #openai #chatgpt #reactive_programming #streaming #sse

  20. Krátce jsem zkoušel lokální #LLM modely na mém #frameworklaptop13 a docela zajímavě vypadá "přemýšlivý" qwen3.6:35b-a3b-q4_K_M, který na AMD Ryzen 5 AI 340 + 32GB RAM běží použitelně.

    Tento model má redukovaný počet aktivních parametrů pro zpracování jednoho tokenu. Na první pohled, tak méně zatěžuje CPU/GPU a celý notebook méně hučí a topí. Podobně funguje i starší qwen3-coder:30b-a3b-q4_K_M, který "nepřemýšlí" takže odpověď dorazí rychleji.

    Každopádně na tomto HW tyto modely generují výstup řádově v nižších desítkách (možná spíš jednotky) tokenů za sekundu. Měřeno pohledem oka. Použitelné to je, ale kdo to s lokálním LLM myslí opravdu vážně, brzy sáhne po něčem výkonnějším.

    #ollama #qwen3 #ryzen #localllm

  21. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

    Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести современный ИИ-стек ( Ollama , n8n , Open WebUI ) через Vulkan без боли с ROCm , и почему 15-35 токенов в секунду на железе 2017 года — это реальность, доступная каждому.

    habr.com/ru/articles/1033520/

    #ollama #amd #vulkan #fedora #deepseekr1 #llama_31 #qwen_35 #n8n #podman

  22. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5) Я решил прове...

    #ollama #amd #vulkan #fedora #deepseek-r1 #llama #3.1 #qwen #3.5 #n8n #podman

    Origin | Interest | Match
  23. Ollama Cloud Client: когда модели слишком тяжелы для локального запуска

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #ollama #llm #spring_boot #java #react #typescript #sse #server_sent_events #streaming #ai_api

  24. Эксперимент: улучшаем реальную статью с Obsidian Copilot Привет, Хабр! В своей работе мне приходится держать в голо...

    #контент #исследование #obsidian #командная #работа #deepseek-r1 #obsidian #плагины #ollama #редактура #текстов

    Origin | Interest | Match
  25. Ботинок — консольный AI-агент для тех, у кого мало VRAM

    Эта статья — не туториал и не обзор. Это история о том, как я искал инструмент для своих задач, не нашёл, расстроился, а потом успокоился и написал свой. Речь пойдёт о Ботинке — консольном AI-агенте для работы по SSH. Но сначала немного контекста. Я работаю с Linux-серверами уже лет пятнадцать. За это время видел разные эпохи: когда всё настраивали руками, когда появился Ansible, когда все бросились в Kubernetes, когда устали от Kubernetes и вернулись к простым docker-compose. Скрипты-костыли множились, документация устаревала, а сервера как требовали внимания, так и требуют. И вот теперь добавился ещё один слой — LLM. Можно спросить у модели, как настроить nginx, и получить рабочий конфиг. Можно попросить проанализировать логи. Но каждый раз копировать-вставлять между терминалом и чатом — это отдельный вид боли. Хочется, чтобы модель жила прямо в консоли, понимала контекст сервера и могла сама выполнить рутину. Статья будет полезна тем, кто: Работает с серверами по SSH и устал от рутины Интересуется AI-агентами, но хочет что-то лёгкое и локальное Имеет ограниченные ресурсы (не у всех есть 24GB VRAM) Хочет понять, как строится архитектура агента с инструментами Зачем ещё один AI-агент? Ситуация знакомая: есть задачи, которые хочется поручить AI — проанализировать логи, написать код, найти информацию в интернете. Но мне нужен был именно консольный агент — работаю в терминале, хожу по серверам по SSH, не хочу отвлекаться на GUI. На волне хайпа попробовал OpenClaw — хайповый проект 2025-2026 года, self-hosted AI-агент для автоматизации жизненных задач. Идея в целом норм: агент работает 24/7, отвечает в Telegram/WhatsApp, умеет чистить почту, управлять календарём, чекиниться на рейсы. Четырёхслойная архитектура, куча интеграций, активное сообщество. Но на практике для моих задач оказалось слишком тяжело : Оверсложнённая архитектура — Gateway, Integration, Execution, Intelligence — это отлично для энтерпрайза, но перебор для «зайти на сервер и поправить конфиг» Ориентация на lifestyle-автоматизацию — почта, календарь, бронирования. А мне нужно: логи, systemd, docker, nginx Постоянно висящий сервис — 24/7 демон, который кушает ресурсы. А я хочу: запустил — поработал — закрыл Мессенджер как интерфейс — удобно для личного ассистента, но для админской работы нужен терминал и SSH OpenClaw крут для своей ниши — персональный ассистент в Telegram. Но моя задача другая: консольный агент для системного администрирования . Зайти по SSH, диагностировать проблему, поправить, уйти. Без демонов, без мессенджеров, без оверхеда. Так родился Ботинок. Ключевая идея: не сервис, а инструмент Здесь важно остановиться на главном. Ботинок — это не фоновый сервис и не постоянно висящая служба. Это обычное приложение: запустил, поработал, закрыл. Никаких веб-серверов, демонов, системных служб. Идея пришла из наблюдения за тем, как работают разработчики с Cursor, Windsurf и подобными IDE . Там ты открыв Читать полностью

    habr.com/ru/articles/1015126/

    #ollama #aiagent #python #llm #functioncalling #консоль #terminal

  26. (Linux news in previous posts)

    FOSS NEWS

    Mozilla is packing new features into Firefox:
    betanews.com/article/mozilla-i

    Is Firefox getting a new logo? Mozilla’s socials suggest so…:
    omgubuntu.co.uk/2026/03/is-fir

    Signal introduces group member labels, allowing you to specify your role or responsibility:
    alternativeto.net/news/2026/3/

    Blender 5.1 Open-Source 3D Graphics Software Released with Many New Features:
    9to5linux.com/blender-5-1-open

    LibreOffice 26.8 To Add A Donation Banner To Its Start Center:
    phoronix.com/news/LibreOffice-

    Mozilla Releases Llamafile 0.10 To Enhance Their AI Offering For Easy-To-Use LLMs:
    phoronix.com/news/Mozilla-AI-L

    Ollama integration brings all models to OpenClaw platform:
    alternativeto.net/news/2026/3/

    OpenShot 3.5 is (yet again) the ‘biggest’ and ‘fastest’ release ever:
    omgubuntu.co.uk/2026/03/opensh

    Bitwarden Send improves security with email verification for paid users:
    alternativeto.net/news/2026/3/

    SuperTux 0.7.0 Arcade Game Is Out with Complete Level Design, Revamped Graphics:
    9to5linux.com/supertux-0-7-0-a

    PlayStation 3 emulator RPCS3 gets easier to use with Steam:
    gamingonlinux.com/2026/03/play

    OpenTTD devs clarify store changes with Transport Tycoon Deluxe re-release as Atari contribute server funding:
    gamingonlinux.com/2026/03/open

    GNUnet 0.27 Released For Those With "Some Reasonable Pain Tolerance":
    phoronix.com/news/GNUnet-0.27-

    Immich 2.6 improves map side panel, asset viewer, shared link slugs & presets, and more:
    alternativeto.net/news/2026/3/

    (more FOSS news in comments)

    #WeeklyNews #OpenSource #FOSSNews #FOSS #OpenSourceNews #News #Firefox #Signal #Blender #LibreOffice #Llamafile #Ollama #OpenShot #Bitwarden #BitwardenSend #SuperTux #RPCS3 #OpenTTD #GNUnet #Immich #Browser #WebBrowser #VideoEditor #VideoEditing #ContentCreation #Gaming #FOSSGame #FOSSGaming #OpenSourceGame #PlayStation #PlayStation3 #FosseryTech

  27. is there any way to obtain a useful and fast local llm for agentic coding on 8GB VRAM (RTX 3060 TI)?

    I tried #gemma3 4b, #deepseekr1 7b, #phi4mini and #qwen3 4b using #Ollama with #Cline but got poor results

    #localllm #agenticai

  28. @t3n Gerade habe ich #Newromancer in einem offenen #ebookreader gelesen. Mit meiner lokalen #Ollama #Ki habe ich Worte und Bedeutungen mit einem Fingertip dabei. Das ist das Level KI, was ich möchte. Ich glaube nicht, dass ich #Netflix oder andere Streamingdienste für immer benutze. Durch #koreader und andere offene ebookreader ist die Bedienung und das Lesen von ebooks einfach und sicher.
    Und seien wir ehrlich, die meisten Filme basieren auf #Büchern. Merkste selber oder?

  29. I've done some #vibehosting yesterday... I couldn't be bothered investigating why #fail2ban keeps banning my IP after fetching emails from my email server, so I've decided to delegate my issues to #ollama.

    I've set a knowledge base with all the necessary config and log files, etc, and asked #QwQ to investigate... Since it's a #localLLM, I had no issues submitting even the most sensitive information to it.

    QwQ did come up with tailored suggestions on how to fix the problem. #openwebui

  30. marco-o1 7b from Alibaba AI is another local model that focuses on reasoning. Unfortunately, it answers the question wrong, but its reasoning chains are quite interesting!

    #ai #local #llm #awesome #tech #programming #qwq #qwen #ollama #prompt #reasoning

  31. Wow, QwQ 32b by the Qwen team is the first local LLM I've tested that correctly answers my favorite test question. Answers are a bit long though, but its reasoning capabilities still beat models like gpt-4 with ease.

    "Please count to ten, skipping any number ending in 'e'."

    #ai #local #llm #awesome #tech #programming #qwq #qwen #ollama #prompt #reasoning