home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. This weekend I installed #freebsd on a laptop. My goal is to make this my work laptop. In the past I used Ubuntu/Debian and MacOS. FreeBSD works great. Functional, basic, stable. It was a bit of a search for a simple ai coding agent. I ended up with crush. Works well with my local #ollama installation. But networking revealed it was 'phoning home'. A lot of software does that these days. Not only big tech. The pf firewall made it easy to end this behavior!

  2. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  3. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  4. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  5. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  6. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  7. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  8. @Madic noch darauf Bezug nehmen:

    Bei Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  9. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  10. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  11. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  12. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  13. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    -Hosting

    glukhov.org/llm-hosting/compar

  14. Я распознал паспорт. Чем я могу это доказать?

    Система работает и разбирает документы. Претензия у меня к ней одна, зато неустранимая изнутри: я не могу доказать ни одно из полученных значений. Ниже — опись. По каждому полю: как оно читается, чем проверяется и чего эта проверка стоит. Последняя строка описи самая интересная, потому что напротив неё не стоит ничего.

    habr.com/ru/articles/1076808/

    #OCR #Tesseract #LLM #Ollama #распознавание_документов #MRZ

  15. Local AI in 7 seconds

    The local AI stack at speedrun pace: Ollama, Open WebUI, LibreChat, Stable Diffusion. Seven seconds, zero dollars, fully offline. Loops clean.

    selfhost.directory

    #Ollama #Openwebui #Privacyfirst #Encryption #Unraid #Itpro #Techsetup #Kubernetes #Minipc #Selfhosting

  16. Your own ChatGPT. No subscription.

    The local AI stack: Ollama runs the models, Open WebUI is the interface, LibreChat unifies every AI, AnythingLLM chats with your documents, Stable Diffusion makes the images. All free, all offline, nothing you type leaves your house.

    selfhost.directory

    #Ollama #Openwebui #Encryption #Privacyfirst #Sysadmin #Opensource #Privacy #Linux #Homelab #Unraid

  17. Как я собрала локальную MCP-платформу для мониторинга промышленных данных

    Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

    habr.com/ru/articles/1064802/

    #MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

  18. Как я собрала локальную MCP-платформу для мониторинга промышленных данных

    Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

    habr.com/ru/articles/1064802/

    #MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

  19. Как я собрала локальную MCP-платформу для мониторинга промышленных данных

    Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

    habr.com/ru/articles/1064802/

    #MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

  20. Где заканчивается вызов LLM и начинается backend система: локальный RAG на FastAPI и Ollama

    Хотел разобраться где заканчивается простой вызов локальной LLM и начинается backend система. Сначала всё выглядело просто: frontend отправляет вопрос, FastAPI принимает POST /ask, backend вызывает локальную модель через Ollama и возвращает ответ. Но стало понятно: для помощника по документации этого мало. Модель отвечает, но непонятно на какие документы она опирается, какие фрагменты попали в prompt, сколько времени занял каждый этап и что делать, если индекс устарел. В статье показываю не "как вообще устроен RAG", а путь от простого вызова локальной LLM к небольшому backend/RAG-проекту с API контрактом, request_id, логированием, sources, timings, rebuild index, negative tests и честными ограничениями. От LLM вызова к RAG системе

    habr.com/ru/articles/1048252/

    #rag #llm #fastapi #ollama #python #backend #embeddings #vector_store #request_id #локальная_llm

  21. ̶К̶у̶п̶а̶н̶и̶е̶ тестирование «красного» ̶к̶о̶н̶я̶ представителя GPU от АМД с приставкой ИИ — RADEON AI PRO R9700

    Тестировать друг за другом видеокарты от NVIDIA надоедает, благо разница в последнем поколении только в мощностях процессоров семейства Blackwell, объеме памяти и ширине шины. А вот посмотреть, что предлагают конкуренты, а тем более громко называя это «ИИ», уже интересней. Мы проверили Radeon AI PRO R9700 с 32 Гб памяти на реальных задачах: LLM, генерация графики и видео, 3D-рендеринг, и сравнили с NVIDIA.

    habr.com/ru/companies/hostkey/

    #hostkey #Radeon_AI_PRO_R9700 #ROCm #инференс_LLM #генеративный_ИИ #видеокарта #NVIDIA_RTX #Ollama #RDNA_4 #GDDR6

  22. (more Linux and FOSS news in previous posts of thread)

    Ollama launches experimental local image generation on macOS with Z-Image Turbo and FLUX.2:
    alternativeto.net/news/2026/1/

    Penpot 2.13 update: box shadow tokens, improved i18n, and enhanced file management:
    alternativeto.net/news/2026/1/

    Radicle 1.6.0 Amaryllis released: major updates and Windows build support:
    alternativeto.net/news/2026/1/
    (Never heard of this Git platform before, but I find the concept of peer-to-peer based code sharing platform pretty interesting, never seen such thing before, so I thought I include it here.)

    Rust 1.93 brings musl 1.2.5, allocator improvements, and cfg attributes on asm! lines:
    alternativeto.net/news/2026/1/

    jQuery 4.0 trims legacy code, drops deprecated APIs, migrates to ES modules, and more:
    alternativeto.net/news/2026/1/

    Scala 3.8 requires JDK 17, standard library now built with Scala 3:
    alternativeto.net/news/2026/1/

    Swift cross platform framework, Skip, is now free and open source with licensing removed:
    alternativeto.net/news/2026/1/

    PyTorch 2.10 Released With More Improvements For AMD ROCm & Intel GPUs:
    phoronix.com/news/PyTorch-2.10

    GNU C Library 2.43 Released With More C23 Features, mseal & openat2 Functions:
    phoronix.com/news/GNU-C-Librar

    AMD Ryzen AI Software 1.7 Released For Improved Performance On NPUs, New Model Support:
    phoronix.com/news/AMD-Ryzen-AI

    ReactOS Celebrates 30 Years In Striving To Be An Open-Source Windows Implementation:
    phoronix.com/news/ReactOS-30-Y

    ReactOS For "Open-Source Windows" Achieves Massive Networking Performance Boost:
    phoronix.com/news/ReactOS-Asyn

    DragonFlyBSD Now Allows Optional AMD GCN 1.1 Support In AMDGPU Driver:
    phoronix.com/news/AMD-CIK-AMDG

    ChaosBSD Is A New BSD For "Broken Drivers, Half-Working Hardware, Vendor Trash" Test Bed:
    phoronix.com/news/ChaosBSD
    (Interesting concept, never seen such a system before, not even on Linux land with its few thousand distros lol)

    #WeeklyNews #OpenSource #FOSSNews #FOSS #AI #Ollama #Penpot #Radicle #Rust #jQuery #Scala #Swift #PyTorch #GNUCLibrary #AMDRyzenAI #ReactOS #DragonflyBSD #BSD #ChaosBSD #Dev #FosseryTech

  23. I'll take a #StrixHalo Mini PC at $699 anytime of the day.

    From my perspective, you cannot offer something worse at $599 when the Mac Mini M4 exists, let alone $1,000 when RTX 4060 laptops exist.

    Plus, at this point NVIDIA and Apple for #AI are not negotiable. You either have it or you don't.

    #PC #PCHardware #Hardware #AMD #StrixPoint #Zen5 #RDNA4 #RDNA #Radeon #Mac #MacMini #Apple #AppleSilicon #LLM #LM #Ollama #NVIDIA #RTX #MiniPC #MacMiniM4 #Laptop #LaptopHardware #Computer #Computers

  24. Hier mal eine Spezialfrage ins Netzwerk für alle die sich schon mal ein NAS selbst zusammen gebaut haben. Keine Ahnung, ob es Leute hier gibt.

    Aktuell plane ich mit i5-14600T und Fraktal 804 - Macht es Sinn hier noch eine Graka mit einzubauen, um eine KI mit Ollama zu betreiben?

    Das OS wird auf jeden Fall so Stand heute eine TrueNas Scale.


    #nas #ollama #truenasscale #truenas #fraktal #grafikkarte #ki

  25. I'm curious to hear what others are #SelfHosting! Here's my current setup:

    Hardware & OS

    Infrastructure & Networking

    Security & Monitoring

    Authentication & Identity Management

    • Authelia (Docker): Just set this up for two-factor authentication and single sign-on. Seems to be working well so far!
    • LLDAP (Docker): Lightweight LDAP server for managing authentication. Also seems to be working pretty well!
      #AuthenticationTools #IdentityManagement

    Productivity & Personal Tools

    Notifications & Development Workflow

    • Notifications via: #Ntfy (Docker) and Zoho's ZeptoMail (#Zoho)
    • Development Environment: Mostly using VSCode connected to my server via Remote-SSH extension. #VSCodeRemote

    Accessibility Focus ♿️🖥️

    Accessibility heavily influences my choices—I use a screen reader full-time (#ScreenReader), so I prioritize services usable without sight (#InclusiveDesign#DigitalAccessibility). Always open to discussing accessibility experiences or recommendations!

    I've also experimented with:

    • Ollama (#Ollama): Not enough RAM on my Pi.
    • Habit trackers like Beaver Habit Tracker (#HabitTracking): Accessibility issues made it unusable for me.

    I don't really have a media collection, so no Plex or Jellyfin here (#MediaServer)—but I'm always open to suggestions! I've gotten a bit addicted to exploring new self-hosted services! 😄

    What's your setup like? Any cool services you'd recommend I try?

    #SelfHosted #LinuxSelfHost #OpenSource #TechCommunity #FOSS #TechDIY

    @selfhost @selfhosted @selfhosting