home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  2. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  3. Локальный ассистент для зумов, часть 2: как граф встреч становится памятью и почему ему можно верить

    В первой части я собрал локального ассистента для созвонов: диаризация, стенограмма, граф знаний в Obsidian, ноль облаков. За полтора месяца ежедневной работы оказалось, что записать встречу — меньшая половина дела. Вторая часть — про то, как граф живёт неделями и почему ему можно верить: факты с датами «с» и «по», провенанс цитат из стенограммы, досье как этаж между поиском и графом, ночной прогон, песочница для облака, поиск по блокам и скрипт «забыть встречу целиком». Кода мало, устройства много. Читать дальше

    habr.com/ru/articles/1078828/

    #локальные_llm #ассистент_встреч #ollama #диаризация #граф_знаний #graphrag #obsidian #speechtotext #zoom #приватность

  4. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  5. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  6. @Madic noch darauf Bezug nehmen:

    Bei #ollama Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  7. @Madic noch darauf Bezug nehmen:

    Bei Cloud bekommst du in pro abo für 20$ echtes Geld 60$ token Guthaben... Also Faktor 3 - dann ist es ja dauerhaft 66% reduziert dort

  8. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  9. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  10. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  11. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    #Ollama #vLLM #LLM #AI #Self-Hosting #Docker #API #DevOps

    glukhov.org/llm-hosting/compar

  12. Learn when to migrate from Ollama to vLLM. Migration signals, planning steps, Docker Compose setup, and a practical checklist for moving your local LLM server.

    -Hosting

    glukhov.org/llm-hosting/compar

  13. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  14. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  15. 📝 Daily report 📈

    Here are today's most popular trending hashtags #⃣ on our website 🌐️:

    #openai, #gnu, #sysadmin, #ollama

    🔥 Stay tuned! 🔥

  16. Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
    @ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: javapro.io/2026/06/03/the-gen-

    @ollama

  17. Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
    @ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: javapro.io/2026/06/03/the-gen-

    @ollama

  18. Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
    @ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: javapro.io/2026/06/03/the-gen-

    @ollama

  19. Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
    @ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: javapro.io/2026/06/03/the-gen-

    @ollama

  20. Most developers still think #Java + #AI means calling APIs from Spring Boot. The ecosystem goes deeper—from RAG frameworks to local inference with #Ollama or GPU workloads on #JVM.
    @ArturSkowronski maps the #GenAI tooling iceberg for modern #Java: javapro.io/2026/06/03/the-gen-

    @ollama

  21. أطلق Raycast تحديثه v2، الذي يعيد دعم "Bring Your Own Model" (BYOM) لربط مزودين متوافقين مع OpenAI، أو تشغيل نماذج محلية عبر Ollama، أو استخدام OpenRouter API ضمن Raycast AI. هذه الميزات تتطلب الآن اشتراك Raycast Pro. كما يوسع التحديث إدارة النوافذ بأوامر دقيقة لتغيير الحجم والتحريك، وإمكانية إنشاء تخطيطات مخصصة من النوافذ الحالية. ويشمل التحسينات دعم النص من اليمين إلى اليسار في Raycast AI، وتحسينات في Quick AI، وتعديلات على ترتيب البحث عن الملفات.

    #Raycast #AI #Ollama

  22. أطلق Raycast تحديثه v2، الذي يعيد دعم "Bring Your Own Model" (BYOM) لربط مزودين متوافقين مع OpenAI، أو تشغيل نماذج محلية عبر Ollama، أو استخدام OpenRouter API ضمن Raycast AI. هذه الميزات تتطلب الآن اشتراك Raycast Pro. كما يوسع التحديث إدارة النوافذ بأوامر دقيقة لتغيير الحجم والتحريك، وإمكانية إنشاء تخطيطات مخصصة من النوافذ الحالية. ويشمل التحسينات دعم النص من اليمين إلى اليسار في Raycast AI، وتحسينات في Quick AI، وتعديلات على ترتيب البحث عن الملفات.

    #Raycast #AI #Ollama

  23. A short recap of my recent experiments of running an LLM.

    Would be great to hear suggestions from others.
    - Where else can we get decent hardware?
    - What models do you run for your teams?
    - How to reduce complexity of the setup?

    linkedin.com/pulse/recap-my-jo

    #AI #LLM #ollama #openwebui #hetzner #trooperai #selfhosted

  24. A short recap of my recent experiments of running an LLM.

    Would be great to hear suggestions from others.
    - Where else can we get decent hardware?
    - What models do you run for your teams?
    - How to reduce complexity of the setup?

    linkedin.com/pulse/recap-my-jo

    #AI #LLM #ollama #openwebui #hetzner #trooperai #selfhosted

  25. A short recap of my recent experiments of running an LLM.

    Would be great to hear suggestions from others.
    - Where else can we get decent hardware?
    - What models do you run for your teams?
    - How to reduce complexity of the setup?

    linkedin.com/pulse/recap-my-jo

    #AI #LLM #ollama #openwebui #hetzner #trooperai #selfhosted

  26. A short recap of my recent experiments of running an LLM.

    Would be great to hear suggestions from others.
    - Where else can we get decent hardware?
    - What models do you run for your teams?
    - How to reduce complexity of the setup?

    linkedin.com/pulse/recap-my-jo

    #AI #LLM #ollama #openwebui #hetzner #trooperai #selfhosted

  27. A short recap of my recent experiments of running an LLM.

    Would be great to hear suggestions from others.
    - Where else can we get decent hardware?
    - What models do you run for your teams?
    - How to reduce complexity of the setup?

    linkedin.com/pulse/recap-my-jo

    #AI #LLM #ollama #openwebui #hetzner #trooperai #selfhosted

  28. Я хотел просто навести порядок в Obsidian. В итоге написал два индекса, semantic search и RAG

    Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic duplicates и RAG по собственному хранилищу. В статье разбираю, как всё это устроено, что ломалось по дороге и почему почти 700 тестов всё равно не спасли от сюрпризов в реальном Obsidian.

    habr.com/ru/articles/1078328/

    #Obsidian #Vault_Audit_AI #RAG #semantic_search #embeddings #LLM #TypeScript #vector_search #knowledge_management #Ollama

  29. Я хотел просто навести порядок в Obsidian. В итоге написал два индекса, semantic search и RAG

    Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic duplicates и RAG по собственному хранилищу. В статье разбираю, как всё это устроено, что ломалось по дороге и почему почти 700 тестов всё равно не спасли от сюрпризов в реальном Obsidian.

    habr.com/ru/articles/1078328/

    #Obsidian #Vault_Audit_AI #RAG #semantic_search #embeddings #LLM #TypeScript #vector_search #knowledge_management #Ollama

  30. Я хотел просто навести порядок в Obsidian. В итоге написал два индекса, semantic search и RAG

    Я начинал с простого AI-аудита заметок, а в итоге Vault Audit AI вырос в систему с двумя индексами, поиском по смыслу, Similar Notes, semantic duplicates и RAG по собственному хранилищу. В статье разбираю, как всё это устроено, что ломалось по дороге и почему почти 700 тестов всё равно не спасли от сюрпризов в реальном Obsidian.

    habr.com/ru/articles/1078328/

    #Obsidian #Vault_Audit_AI #RAG #semantic_search #embeddings #LLM #TypeScript #vector_search #knowledge_management #Ollama

  31. 🧪 LLM Benchmark Showdown: 5 lokale Ollama-Modelle im Vergleich

    Getestet auf derselben Hardware (#gmktecevo2 #AMDRyzenAIMaxPlus395 #strixhalo):
    #GSM8K (100 Samples) — Math
    #BFCL (100/Kategorie) — Function Calling
    #MBPP+ (50) — Python Coding
    #HumanEval+ (20) — Python Coding

    📊 Ergebnisse (Accuracy / Output TK/s / VRAM):

    **qwen3.8:27b**
    GSM8K 82% | BFCL 91.5% | MBPP+ 100% | HE+ 100%
    ⚡ 25.5 TK/s | 💾 18 GB VRAM

    **qwen3.6:27b**
    GSM8K 83% | BFCL 93% | MBPP+ 98% | HE+ 75%
    ⚡ 12.7 TK/s | 💾 33 GB VRAM

    **qwen3.6:35b**
    GSM8K 84% | BFCL 90% | MBPP+ 98% | HE+ 55%
    ⚡ 61.8 TK/s | 💾 27 GB VRAM

    **ornith-1.5:35b**
    GSM8K 75% | BFCL 92.5% | MBPP+ 78% | HE+ 0%
    ⚡ 63.6 TK/s | 💾 26 GB VRAM

    **nemotron-3.5-lightning:30b**
    GSM8K 59% | BFCL 74% | MBPP+ 94% | HE+ 0%
    ⚡ 91.9 TK/s | 💾 26 GB VRAM

    🏆 Fazit:

    qwen3.8:27b ist der klare Sieger — als einziges Modell 100% bei beiden Coding-Benchmarks, bei GSM8K/BFCL gleichauf mit den anderen Qwen-Modellen. Bei 25.5 TK/s und nur 18 GB VRAM das beste Qualität/Speed/Effizienz-Verhältnis.

    qwen3.6:27b ist qualitativ nah dran (BFCL sogar 93%), aber mit 12.7 TK/s unerträglich langsam und frisst 33 GB VRAM — fast 2× so viel wie qwen3.8 bei halber Speed.

    qwen3.6:35b ist mit 61.8 TK/s 2.4× schneller als qwen3.8, aber HE+ nur 55% (vs 100%). Trading Code-Qualität für Speed.

    ornith-1.5:35b und nemotron-3.5-lightning:30b fallen bei Coding komplett durch (HE+ 0%), sind aber die schnellsten Modelle im Feld (64 / 92 TK/s).

    💡 TK/s = generierte Tokens/Sekunde (Warm-Run, ollama --verbose).
    💾 VRAM = GPU-Speicher bei max context (262K bzw. 1M bei nemotron).

    #LLM #Benchmark #Ollama #LocalAI #Qwen #OpenSource

  32. Hab mir im Februar ein #MacStudio mit #M4max und 128GB RAM gekauft... Für verrückte fast 4100€... Und ich dachte mir das ist der größte finanzielle Fehler ever

    Hab damit dann viel #ollama #lmstudio #omlx gehostet - #LLM Experimentarium

    Habs sogar ein paar Monaten nur mit den eigenen LLMs gecodet, aber Qualität naja...

    Da sich die letzten Monate das #openWeights Business geändert hat und keine 120b Modelle veröffentlicht werden, die der perfekte fit dafür wären, nutze ich die 30b Modelle...

    Leider mit zunehmendem Frust... #Gemma und #Qwen sind dafür einfach zu klein...

    Dann bringt qwen auch nach 3.6 keine kleinen Modelle mehr raus - es gab kein 3.7 und kein 3.8 - letztes haben sie wieder man angekündigt

    Bedeutet der Mac Studio war eigentlich nur als Desktop PC im Einsatz - eher #gaming und #Roblox programmierworkstation

    Dann hab ich mich mal schlau gemacht - #apple hat meine 128gb Version zum frontier Modell gemacht - und die Modelle sind nirgendwo zu bekommen... Ganz merkwürdig Markt leer gesaugt
    Vllt bringt Apple bald neue Mac Studio Modell raus???

    Okay - eBay preise abgecheckt - da gehen Modell für über 5k€ über den Tisch, aber sehr selten die 128gb Variante

    eBay inseriert - 6999,99€ sofort kauf oder Preisvorschlag ab 6000€

    Hab das Ding jetzt für 6200€ weiter verkauft

    Leider über eBay bezahlt, deshalb wird mein Gewinn versteuert, aber ich gönne

    Ist das nicht krass? Was da abgeht, das ist so verrückt auf dem Gebrauch Mac Markt!

  33. My kid has released another tool that he's written for himself:

    Ovi is a lightweight local model server that delivers an ollama‑style developer experience, built natively on Intel’s OpenVINO runtime for efficient CPU and GPU inference:

    github.com/nathanael-thms/ovi.

    Check out the docs at ovi.nattho.com

    #ProudDad #python #openvino #ai #ovi #ollama

  34. Ab dem 2. August gilt die KI-Kennzeichnungspflicht: was dein Verein, dein Betrieb und du privat jetzt wirklich schulden

    Die 35 Millionen Euro Bußgeld, mit denen dir gerade Beratung verkauft wird, stehen in einem ganz anderen Teil der KI-Verordnung. Ab dem 2. August 2026 musst du KI-Inhalte kennzeichnen, aber nur in zwei Fällen. Welche das sind und warum dein Verein sich nie auf die Privatausnahme berufen kann. Reden wir drüber!

    chrislo.de/blog/2026-07-30-09-

    #chrislo #DigitaleUnabhängigkeit #LokaleKI #KIVerordnung #AIAct #Kennzeichnungspflicht #Vereine #EURegulierung #Bundesnetzagentur #Deepfakes #Ollama #DigitalOmnibus

  35. Gemma 4 QAT is here - now I’m waiting for Ollama TurboQuant so the full stack is ready: QAT, MoE, sparse-active models, smarter attention, and MTP speculative decoding. #Gemma4 #Ollama #TurboQuant #QAT #MoE #MTP #LocalAI

  36. (more Linux and FOSS news in previous posts of thread)

    Introducing Proton Workspace: An encrypted suite for team collaboration:
    proton.me/business/blog/proton
    (Now my university will have a hard time finding an excuse to use Office 365 lol)

    ONLYOFFICE ends its partnership with Nextcloud over new unauthorized "Euro-Office" fork:
    alternativeto.net/news/2026/4/

    The Document Foundation kicks out Collabora Office devs from LibreOffice project:
    collaboraonline.com/blog/tdf-e
    (April's Fools joke, I think? Or is it real? 🤔)

    Arti 2.2 enables HTTP CONNECT by default, enhances RPC features, and fixes security issues:
    alternativeto.net/news/2026/4/

    Servo 0.0.6 Released With Many Great Improvements:
    phoronix.com/news/Servo-0.0.6-

    Pi-hole releases FTL v6.6, Web v6.5, and Core v6.4.1 with security fixes, adds MAC control:
    alternativeto.net/news/2026/4/

    OpenVPN 2.7.1 Released with New Features, Improvements, and Bug Fixes:
    9to5linux.com/openvpn-2-7-1-re

    Kodi 22 'Piers' Alpha 3 is out -- download it now!:
    betanews.com/article/kodi-22-p

    Ollama gains major performance boosts on Apple Silicon thanks to Apple's MLX framework:
    alternativeto.net/news/2026/3/

    Cloudflare Announces EmDash As Open-Source "Spiritual Successor" To WordPress:
    phoronix.com/news/Cloudflare-E

    Vulkan 1.4.348 Ships Four New Extensions - Including One To Help OpenGL Emulation:
    phoronix.com/news/Vulkan-1.4.3

    Nginx 1.29.7 Delivers Multipath TCP Support:
    phoronix.com/news/Nginx-1.29.7

    Gentoo Releases Experimental Images Using GNU/Hurd:
    phoronix.com/news/Gentoo-GNU-H

    Redox OS Introducing New CPU Scheduler For ~1.5x Performance In Heavy Tasks:
    phoronix.com/news/Redox-OS-New

    Coreboot 26.03 Open-Source Firmware Adds Full Support for Intel PantherLake SoCs:
    9to5linux.com/coreboot-26-03-o

    #WeeklyNews #OpenSource #FOSSNews #OpenSourceNews #FOSS #News #ProtonWorkspace #ONLYOFFICE #LibreOffice #Arti #Servo #PiHole #OpenVPN #Kodi #Ollama #EmDash #Cloudflare #Vulkan #Nginx #Gentoo #GNUHurd #RedoxOS #Coreboot #OfficeSuite #OS #OperatingSystem #AI #ArtificialIntelligence #Tor #VPN #MediaServer #AdBlocker #SelfHosting #AdBlocking #WebServer #FosseryTech

  37. Как я добавил систему рекомендаций контента в легаси-проект на PHP 7.2

    Привет, хабр! Хочу поделиться историей о том, как столкнулся с проблемой, возможно знакомой многим разработчикам: необходимость внедрить систему рекомендаций в проект, который все еще работает на старой версии php. Обновление версии php в legacy-проекте — это часто настоящий квест. То времени нет, то бизнес-фичи надо пилить, то еще какие-то причины. И часто бывает, что обновление версии php в командах откладывается на потом.

    habr.com/ru/articles/957224/

    #qdrant #ollama #php #векторный_поиск #рекомендательная_система #рекомендательные_системы #библиотека

  38. Как я добавил систему рекомендаций контента в легаси-проект на PHP 7.2

    Привет, хабр! Хочу поделиться историей о том, как столкнулся с проблемой, возможно знакомой многим разработчикам: необходимость внедрить систему рекомендаций в проект, который все еще работает на старой версии php. Обновление версии php в legacy-проекте — это часто настоящий квест. То времени нет, то бизнес-фичи надо пилить, то еще какие-то причины. И часто бывает, что обновление версии php в командах откладывается на потом.

    habr.com/ru/articles/957224/

    #qdrant #ollama #php #векторный_поиск #рекомендательная_система #рекомендательные_системы #библиотека

  39. Как я добавил систему рекомендаций контента в легаси-проект на PHP 7.2

    Привет, хабр! Хочу поделиться историей о том, как столкнулся с проблемой, возможно знакомой многим разработчикам: необходимость внедрить систему рекомендаций в проект, который все еще работает на старой версии php. Обновление версии php в legacy-проекте — это часто настоящий квест. То времени нет, то бизнес-фичи надо пилить, то еще какие-то причины. И часто бывает, что обновление версии php в командах откладывается на потом.

    habr.com/ru/articles/957224/

    #qdrant #ollama #php #векторный_поиск #рекомендательная_система #рекомендательные_системы #библиотека

  40. Менеджер закладок на своём сервере

    Хранить тысячи закладок в браузере — совершенно неблагодарная задача. Там отсутствуют даже офлайн-предпросмотр и автоматические теги, не говоря о полнотекстовом поиске и автоматическом скачивании/архивировании по RSS. Для нормального управления закладками нужно специализированное решение. Тут много вариантов, а одно из лучших — это опенсорсное приложение Hoarder («Копилка информации»). Оно устанавливается на сервер и выступает единой БД для доступа из любых клиентов: Android, iOS, Chrome, Firefox и т. д. Рассмотрим базовые функции этого приложения и как установить его на машине, где хранится личный информационный архив. Это может быть или домашний сервер, или VPS.

    habr.com/ru/companies/ruvds/ar

    #ruvds_статьи #Hoarder #хранилище_закладок #информационный_архив #персональное_хранилище #NextJS #Drizzle #NextAuth #tRPC #Puppeteer #OpenAI #Meilisearch #youtubedl #Ollama #Monolith #Shaarli #LinkAce #Linkding