home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. Meetily is an open-source AI meeting assistant focused on privacy and local processing.

    It can record, transcribe, and summarize meetings directly on your device without sending data to the cloud.

    With offline support and local AI models through Ollama, users keep full control over recordings and transcripts, making it a strong alternative to tools like Otter.ai or Fireflies.

    More details:
    digitalescapetools.com/tools/t

    #OpenSource #Privacy #AI #SelfHosted #Ollama #Productivity

  2. → Friends Don't Let Friends Use Ollama
    sleepingrobots.com/dreams/stop

    #Ollama’s entire inference capability comes from llama.cpp, the C++ #inference engine created by Georgi Gerganov in March 2023. Gerganov’s project is what made it possible to run LLaMA models on consumer #laptops at all, he hacked together the first version in an evening, and it kicked off the entire #local LLM movement. […] It’s truly #community-driven, #MIT-licensed, and under active development with 450+ #contributors.”

    #LLM

  3. → Friends Don't Let Friends Use Ollama
    sleepingrobots.com/dreams/stop

    #Ollama’s entire inference capability comes from llama.cpp, the C++ #inference engine created by Georgi Gerganov in March 2023. Gerganov’s project is what made it possible to run LLaMA models on consumer #laptops at all, he hacked together the first version in an evening, and it kicked off the entire #local LLM movement. […] It’s truly #community-driven, #MIT-licensed, and under active development with 450+ #contributors.”

    #LLM

  4. → Friends Don't Let Friends Use Ollama
    sleepingrobots.com/dreams/stop

    #Ollama’s entire inference capability comes from llama.cpp, the C++ #inference engine created by Georgi Gerganov in March 2023. Gerganov’s project is what made it possible to run LLaMA models on consumer #laptops at all, he hacked together the first version in an evening, and it kicked off the entire #local LLM movement. […] It’s truly #community-driven, #MIT-licensed, and under active development with 450+ #contributors.”

    #LLM

  5. → Friends Don't Let Friends Use Ollama
    sleepingrobots.com/dreams/stop

    #Ollama’s entire inference capability comes from llama.cpp, the C++ #inference engine created by Georgi Gerganov in March 2023. Gerganov’s project is what made it possible to run LLaMA models on consumer #laptops at all, he hacked together the first version in an evening, and it kicked off the entire #local LLM movement. […] It’s truly #community-driven, #MIT-licensed, and under active development with 450+ #contributors.”

    #LLM

  6. → Friends Don't Let Friends Use Ollama
    sleepingrobots.com/dreams/stop

    #Ollama’s entire inference capability comes from llama.cpp, the C++ #inference engine created by Georgi Gerganov in March 2023. Gerganov’s project is what made it possible to run LLaMA models on consumer #laptops at all, he hacked together the first version in an evening, and it kicked off the entire #local LLM movement. […] It’s truly #community-driven, #MIT-licensed, and under active development with 450+ #contributors.”

    #LLM

  7. Внедрение ИИ‑агента в бизнес‑процесс за один день: от развертывания до прототипа

    Когда руководитель просит «внедрить ИИ в бизнес‑процесс», обычно за этим стоит неприятная реальность: бюджета нет, данные нельзя отдавать в облако, разработчиков под рукой тоже нет, а показать результат нужно почти сразу. В этой статье — практический маршрут, как за один рабочий день собрать локальный прототип ИИ‑агента на Ollama и n8n: развернуть модель, связать её с автоматизацией, написать рабочие промпты и при необходимости подключить RAG по внутренней базе знаний. Читать гайд

    habr.com/ru/companies/otus/art

    #ИИагент #локальная_LLM #Ollama #n8n #автоматизация_процессов #RAG #промптинжиниринг #бизнеспроцессы #локальная_модель #прототипирование

  8. Внедрение ИИ‑агента в бизнес‑процесс за один день: от развертывания до прототипа

    Когда руководитель просит «внедрить ИИ в бизнес‑процесс», обычно за этим стоит неприятная реальность: бюджета нет, данные нельзя отдавать в облако, разработчиков под рукой тоже нет, а показать результат нужно почти сразу. В этой статье — практический маршрут, как за один рабочий день собрать локальный прототип ИИ‑агента на Ollama и n8n: развернуть модель, связать её с автоматизацией, написать рабочие промпты и при необходимости подключить RAG по внутренней базе знаний. Читать гайд

    habr.com/ru/companies/otus/art

    #ИИагент #локальная_LLM #Ollama #n8n #автоматизация_процессов #RAG #промптинжиниринг #бизнеспроцессы #локальная_модель #прототипирование

  9. Внедрение ИИ‑агента в бизнес‑процесс за один день: от развертывания до прототипа

    Когда руководитель просит «внедрить ИИ в бизнес‑процесс», обычно за этим стоит неприятная реальность: бюджета нет, данные нельзя отдавать в облако, разработчиков под рукой тоже нет, а показать результат нужно почти сразу. В этой статье — практический маршрут, как за один рабочий день собрать локальный прототип ИИ‑агента на Ollama и n8n: развернуть модель, связать её с автоматизацией, написать рабочие промпты и при необходимости подключить RAG по внутренней базе знаний. Читать гайд

    habr.com/ru/companies/otus/art

    #ИИагент #локальная_LLM #Ollama #n8n #автоматизация_процессов #RAG #промптинжиниринг #бизнеспроцессы #локальная_модель #прототипирование

  10. Внедрение ИИ‑агента в бизнес‑процесс за один день: от развертывания до прототипа

    Когда руководитель просит «внедрить ИИ в бизнес‑процесс», обычно за этим стоит неприятная реальность: бюджета нет, данные нельзя отдавать в облако, разработчиков под рукой тоже нет, а показать результат нужно почти сразу. В этой статье — практический маршрут, как за один рабочий день собрать локальный прототип ИИ‑агента на Ollama и n8n: развернуть модель, связать её с автоматизацией, написать рабочие промпты и при необходимости подключить RAG по внутренней базе знаний. Читать гайд

    habr.com/ru/companies/otus/art

    #ИИагент #локальная_LLM #Ollama #n8n #автоматизация_процессов #RAG #промптинжиниринг #бизнеспроцессы #локальная_модель #прототипирование

  11. All #AI tools are installed with curl|bash.
    Developers are probably aware of the security issues with this.
    But as AI democratizes, editors don't behave responsibly by training newcomers to blindly copy-paste things around the whole day...

    - code.claude.com/docs/en/quicks
    - openclaw.ai/
    - ollama.com/download

    #Security #DevOps #Claude #OpenClaw #Ollama

  12. Wenn nicht jetzt zu Linux, wann dann? aufsetzen, installieren - Cloud verbinden und ihr seit start klar... Der läuft direkt im Terminal, am besten als ... Und richtet euer System ein sowie hilft euch bei Problemem... Weg von 😁

    Vollautomatisiere IT

    Deutschland setzt auf Linux: Millionen-Investitionen als Antwort auf Microsofts "Spyware" share.google/txU2jIVnPUuM2euGX

  13. #Ollama #AI is there no way to request the token count without inferencing?

    I should be able to be like...
    `curl -s http://localhost:11434/api/count -d '{ "model": "gemma3:4b", "prompt": "Why is the sky blue? Answer in one sentence.", "stream": false }'`
    and then it respond with how many tokens there are in the prompt without it performing an inference.

  14. Ollama fixed CVE-2026-7482 in v0.17.1, a critical out-of-bounds read flaw that could leak API keys, prompts, and chat data from exposed servers via crafted GGUF files. 🔓
    Researchers also disclosed unpatched Windows update flaws enabling persistent code execution through unsigned updates and path traversal in Ollama 0.12.10–0.17.5. ⚠️

    🔗 thehackernews.com/2026/05/olla

    #TechNews #Ollama #LLM #AI #Cybersecurity #OpenSource #FOSS #Privacy #Infosec #Windows #Linux #Security #Servers #DataBreach #Technology

  15. Ollama fixed CVE-2026-7482 in v0.17.1, a critical out-of-bounds read flaw that could leak API keys, prompts, and chat data from exposed servers via crafted GGUF files. 🔓
    Researchers also disclosed unpatched Windows update flaws enabling persistent code execution through unsigned updates and path traversal in Ollama 0.12.10–0.17.5. ⚠️

    🔗 thehackernews.com/2026/05/olla

    #TechNews #Ollama #LLM #AI #Cybersecurity #OpenSource #FOSS #Privacy #Infosec #Windows #Linux #Security #Servers #DataBreach #Technology

  16. ein kleine gespräch - ein kleiner gedanke wie - das könnte man doch bestimmt doch auch als realsieren

    auf meine vserver gestaret - neues repo angelegt - ab geht es - gibt vollgas

    cloud

  17. Friends Don't Let Friends Use #Ollama sleepingrobots.com/dreams/stop

    For running LLMs locally use llama.cpp with its built-in web UI, or try #ramalama ramalama.ai/

  18. Ollama и Open WebUI на VPS без GPU: рабочий вариант или боль?

    Практический разбор запуска Ollama и Open WebUI на обычном VPS без GPU: минимальная конфигурация, ограничения CPU/RAM, docker-compose, безопасность и выбор между локальной моделью и API.

    habr.com/ru/articles/1033954/

    #ollama #open_webui #llm #vps #docker #aiинфраструктура #selfhosted

  19. Neurodesk: A Lightweight Ollama Client App Built on Tauri and Leptos Install Ollama and make Neurodesk your offline AI assistant #AI #llm #ollama #OpenSource Chat with Ollama Models github.com/reaudito/Neu...

    Release 0.3.3 With stop stream...

  20. #miii is a local AI coding assistant that prioritizes user experience with an Ink-based terminal UI, automatic git context, multi-file refactoring, and planning mode, all while keeping code on the user's machine.

    npmjs.com/package/miii-cli

    #localai #ollama

  21. Critical “Bleeding Llama” flaw in Ollama could let remote attackers leak process memory, API keys, prompts, and user data from exposed AI servers.
    Researchers also disclosed Windows flaws tied to persistent code execution.

    AI infrastructure security risks are growing fast.

    Source: thehackernews.com/2026/05/olla

    Follow @technadu for more updates.
    #CyberSecurity #AI #Ollama #InfoSec

  22. Krátce jsem zkoušel lokální #LLM modely na mém #frameworklaptop13 a docela zajímavě vypadá "přemýšlivý" qwen3.6:35b-a3b-q4_K_M, který na AMD Ryzen 5 AI 340 + 32GB RAM běží použitelně.

    Tento model má redukovaný počet aktivních parametrů pro zpracování jednoho tokenu. Na první pohled, tak méně zatěžuje CPU/GPU a celý notebook méně hučí a topí. Podobně funguje i starší qwen3-coder:30b-a3b-q4_K_M, který "nepřemýšlí" takže odpověď dorazí rychleji.

    Každopádně na tomto HW tyto modely generují výstup řádově v nižších desítkách (možná spíš jednotky) tokenů za sekundu. Měřeno pohledem oka. Použitelné to je, ale kdo to s lokálním LLM myslí opravdu vážně, brzy sáhne po něčem výkonnějším.

    #ollama #qwen3 #ryzen #localllm

  23. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

    Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести современный ИИ-стек ( Ollama , n8n , Open WebUI ) через Vulkan без боли с ROCm , и почему 15-35 токенов в секунду на железе 2017 года — это реальность, доступная каждому.

    habr.com/ru/articles/1033520/

    #ollama #amd #vulkan #fedora #deepseekr1 #llama_31 #qwen_35 #n8n #podman

  24. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

    Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести современный ИИ-стек ( Ollama , n8n , Open WebUI ) через Vulkan без боли с ROCm , и почему 15-35 токенов в секунду на железе 2017 года — это реальность, доступная каждому.

    habr.com/ru/articles/1033520/

    #ollama #amd #vulkan #fedora #deepseekr1 #llama_31 #qwen_35 #n8n #podman

  25. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

    Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести современный ИИ-стек ( Ollama , n8n , Open WebUI ) через Vulkan без боли с ROCm , и почему 15-35 токенов в секунду на железе 2017 года — это реальность, доступная каждому.

    habr.com/ru/articles/1033520/

    #ollama #amd #vulkan #fedora #deepseekr1 #llama_31 #qwen_35 #n8n #podman

  26. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5)

    Я решил проверить, на что способен мой старый компьютер с Radeon RX 580 под управлением Fe dora. В этой статье я пошагово разберу, как завести современный ИИ-стек ( Ollama , n8n , Open WebUI ) через Vulkan без боли с ROCm , и почему 15-35 токенов в секунду на железе 2017 года — это реальность, доступная каждому.

    habr.com/ru/articles/1033520/

    #ollama #amd #vulkan #fedora #deepseekr1 #llama_31 #qwen_35 #n8n #podman

  27. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5) Я решил прове...

    #ollama #amd #vulkan #fedora #deepseek-r1 #llama #3.1 #qwen #3.5 #n8n #podman

    Origin | Interest | Match
  28. Локальный ИИ на «древнем» железе: выжимаем максимум из AMD RX 580 через Vulkan в Fedora (Llama 3.1, DeepSeek, Qwen 3.5) Я решил прове...

    #amd #Fedora #llama #3.1 #n8n #Ollama #podman #qwen #3.5

    Origin | Interest | Match
  29. Вайбкодинг — это гемблинг

    Наблюдая за тем, как ИИ внедряется на работе и дома, я всё чаще ловлю себя на простой мысли: всё труднее писать код самому и всё больше хочется делегировать ИИ. Да ещё и провайдеры ИИ призывают тратить больше токенов, руководители всё чаще призывают команды активнее пользоваться ИИ. В соцсетях регулярно попадаются шуточные видео про то, как CEO предлагает потреблять токены ради самого потребления, а в крупных компаниях уже идёт негласное соревнование: кто больше использует AI‑инструменты, кто больше автоматизирует, кто быстрее покажет, что «мы тоже в игре». Из названия понятно, к чему я веду. Но мне хочется поговорить не про хайп и не про страх перед ИИ, а про более бытовую, инженерную и неприятную сторону: вайбкодинг очень легко превращается в гемблинг.

    habr.com/ru/articles/1033130/

    #ai #vibe_coding #llm #java #openrouter #ai_agents #telegram_bot #ollama #agentic_engineering

  30. Вайбкодинг — это гемблинг

    Наблюдая за тем, как ИИ внедряется на работе и дома, я всё чаще ловлю себя на простой мысли: всё труднее писать код самому и всё больше хочется делегировать ИИ. Да ещё и провайдеры ИИ призывают тратить больше токенов, руководители всё чаще призывают команды активнее пользоваться ИИ. В соцсетях регулярно попадаются шуточные видео про то, как CEO предлагает потреблять токены ради самого потребления, а в крупных компаниях уже идёт негласное соревнование: кто больше использует AI‑инструменты, кто больше автоматизирует, кто быстрее покажет, что «мы тоже в игре». Из названия понятно, к чему я веду. Но мне хочется поговорить не про хайп и не про страх перед ИИ, а про более бытовую, инженерную и неприятную сторону: вайбкодинг очень легко превращается в гемблинг.

    habr.com/ru/articles/1033130/

    #ai #vibe_coding #llm #java #openrouter #ai_agents #telegram_bot #ollama #agentic_engineering

  31. Once a tool-calling assistant grows from 5 tools to 50, the problem stops being “prompting” and starts being context geometry.

    This walkthrough builds a Quarkus + LangChain4j + Ollama example and shows what tool search actually changes: smaller working sets, visible search rounds, and more prompt headroom even when local latency is messy.

    the-main-thread.com/p/langchai

    #Quarkus #LangChain4j #Ollama #Java

  32. Are you using several and/or front-ends, each with their own separate model download and management? All those 5GB+ models add up fast!

    - Wrangle those duplicates with 'rdfind -makehardlinks'.

    - Use Gollama for sharing models between and .

  33. Как запускать LLM-агентов без облачных API: VPS, локальные модели и требования к железу

    LLM-агенты вроде Claude Code постепенно становятся рабочим инструментом разработчика. Но почти все они завязаны на облачные API с их ценами, лимитами и зависимостью от внешней инфраструктуры. Поэтому всё чаще возникает идея: а что если запускать агентов на своём сервере — локально или на VPS? Разберёмся, как это сделать, какое железо для этого нужно и почему такие сценарии могут быть выгодны не только пользователям, но и самим хостерам.

    habr.com/ru/companies/ruvds/ar

    #ruvds_статьи #серверные_CPU #LLM #Claude_Code #ollama #vps #виртуальный_сервер

  34. #IBM released its new Granite 4.1 3B, 8B, and 30B models while I was working on the Pascal Numeric Library with #Copilot and arguing with a bunch of AI haters.

    I tested Granite 4.1 3B and 30B models on Command prompt and Ollama's local app. Granite 4.1 3B is significantly faster but made some mistakes while the 30B model is slow even on my I9 RTX 5080 Area 51.

    Unlike other large AI companies, IBM learned from its past mistakes and is now going small.

    #AI #Ollama #LLM

  35. SocratiCode: разбираю MCP-сервер, который даёт ИИ-агенту понимание кодовой базы

    Если ваш ИИ-агент при каждом вопросе начинает grep-ом по всему проекту — у меня есть для вас одна штука. SocratiCode — это MCP-сервер, который индексирует кодовую базу через Qdrant и даёт агенту нормальный поиск вместо построчного чтения. Разобрал, как он устроен внутри, потестировал на нашем монорепе и сравнил с обычным режимом Claude Code

    habr.com/ru/articles/1031878/

    #MCP #Claude_Code #векторный_поиск #Qdrant #Ollama #codebase_intelligence #AIагенты #RAG

  36. Handy browser-based client side #DTMF decoder built by #Claude. I've run #Ollama and #OpenWebUI at home for a bit, but am just beginning to experiment with Claude and it's really impressive. It built the decoder in one prompt, then turned it into a single-page web app in one other prompt.

    I did blow through the free message limit with those two prompts. Heck of a sales pitch though!

    dtmf.ng5p.com/

  37. Ollama Cloud Client: когда модели слишком тяжелы для локального запуска

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #ollama #llm #spring_boot #java #react #typescript #sse #server_sent_events #streaming #ai_api

  38. Ollama Cloud Client: когда модели слишком тяжелы для локального запуска

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #ollama #llm #spring_boot #java #react #typescript #sse #server_sent_events #streaming #ai_api

  39. Ollama Cloud Client: когда модели слишком тяжелы для локального запуска

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #ollama #llm #spring_boot #java #react #typescript #sse #server_sent_events #streaming #ai_api

  40. Ollama Cloud Client: когда модели слишком тяжелы для локального запуска

    Привет. Меня зовут Николай Пискунов, я руководитель направления Big Data и эксперт курса Cloud DevSecOps по безопасной разработке от Академии вАЙТИ

    habr.com/ru/companies/beeline_

    #ollama #llm #spring_boot #java #react #typescript #sse #server_sent_events #streaming #ai_api

  41. Poważna podatność w platformie Ollama prowadzi do wycieku pamięci. A wszystko przez odpowiednio spreparowany plik GGUF (CVE-2026-5757)

    Badacz bezpieczeństwa Jeremy Brown, znany z odkrywania luk (memory corruption) w ogólnodostępnych narzędziach, po raz kolejny udowodnił, że innowacyjne metody oraz nieszablonowe działania pozwalają wychwycić błędy, które przez lata pozostawały niewidoczne. Korzystając ze wsparcia sztucznej inteligencji udało mu się wykryć poważną podatność w silniku Ollama, skutkującą możliwym wyciekiem danych z...

    #WBiegu #Ai #Cve #Gguf #Ollama #Oob

    sekurak.pl/powazna-podatnosc-w

  42. Как Gemma и LangGraph написали законопроект победившего биопанка

    Для специального бенчмарка мне потребовался нормативно-правовой документ с научной терминологией, перекрестными ссылками и набором сложных для векторизации имён. По традиции для подобных задач я использую тексты в жанре Киберпанк. Сразу вспомнил о «Манифесте Киберпанка» (слишком коротком для моей задачи) и Предложении 653 из «Видоизмененного углерода», у которого в реальности вообще нет текста. Делать подобный текст руками долго и довольно странно. В итоге решил совместить, опробовать агентную архитектуру для подготовки корпоративной «нетленки» и проверить, на что способна локальная модель в плане юридических и околонаучных текстов.

    habr.com/ru/articles/1030684/

    #text_generation #ollama #gemma #киберпанк #будущее #langgraph #agentic_ai #legal_ai

  43. J'ai fini par trouver un combo de #localAI qui fonctionne pour programmer:
    - serveur llm: #ollama
    - model llm: #qwen3:latest
    - agent de programmation : #copilot cli

    Par contre, il faut donner plus d'indices sur ce qu'on veut faire dans le code (un peu comme au début des agents de programmation), mais ça s'en vient très bien et c'est utilisable sans avoir une grosse machine.

  44. Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код

    Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM

    habr.com/ru/companies/lesta/ar

    #llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian

  45. Гефестыч: наш опыт автоматизации Code Review через LLM. «Грабли», решения, код

    Привет, Хабр! Меня зовут Данил Чечков, я Team Lead команды High End Meta Backend в «Леста Игры». Мы занимаемся всей web-составляющей «Мира кораблей». В нашем арсенале огромное количество микросервисов, работающих на Python и Go. Мы отвечаем за покупки в meta-валюте, авторизацию, стабильность инвентаря и профиля игрока, клановые сервисы, а также многое-многое другое. Наш основной продукт – высококачественные web-сервисы на стыке интеграции с игрой. И, да, интеграция – часть нашей работы. А ещё мы любим новые технологии и стараемся с ними знакомиться, чтобы оценить, как они могут принести выгоду бизнесу и нам. Одна из таких технологий – LLM

    habr.com/ru/companies/lesta/ar

    #llm #pydanticai #openwebui #llamacpp #ollama #rag #code_review #selfhosted #atlassian