#ollama — Public Fediverse posts

Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

https://habr.com/ru/articles/1080138/

#selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

https://habr.com/ru/articles/1080138/

#selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

https://habr.com/ru/articles/1080138/

#selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

Friendly reminder that smaller local models have a huge role to play in modern workflows! 🤖💡I use local small LLMs (via Ollama) as a dedicated offline brainstorming partner to pitch niche article ideas. I save the larger cloud models strictly for final execution and drafting. Keeps my main machine responsive, costs zero API tokens for ideation, and keeps the workflow super efficient. #LocalAI #Ollama #SelfHosted #StaticSite #WebDev

Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

#LLM #llamacpp #vLLM #Ollama #GPU #Self-Hosting #SelfHosting #NVidia #Hardware

https://www.glukhov.org/llm-performance/optimization/kv-cache-16gb-long-context/

Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

#LLM #llamacpp #vLLM #Ollama #GPU #Self-Hosting #SelfHosting #NVidia #Hardware

https://www.glukhov.org/llm-performance/optimization/kv-cache-16gb-long-context/

Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

#LLM #llamacpp #vLLM #Ollama #GPU #Self-Hosting #SelfHosting #NVidia #Hardware

https://www.glukhov.org/llm-performance/optimization/kv-cache-16gb-long-context/

Seems like #Ollama enshitified quite rapidly after its sucessful early years.

https://sleepingrobots.com/dreams/stop-using-ollama/

Никто не просил — а я сделал банку робота-секретаря

Я люблю решать нерешаемые проблемы , делать людям жизнь легче, тестить гипотезы , создавать крутые продукты . Так меня позвали работать в Уралсиб, где я решил создать робота-секретаря, помогающий со встречами и созвонами.

https://habr.com/ru/companies/uralsib/articles/1077456/

#роботсекретарь #транскрибация #whispercpp #диаризация #yandexgpt #WebRTC #ollama #Exchange_Web_Services #DimaTorzok #закрытый_контур

This weekend I installed #freebsd on a laptop. My goal is to make this my work laptop. In the past I used Ubuntu/Debian and MacOS. FreeBSD works great. Functional, basic, stable. It was a bit of a search for a simple ai coding agent. I ended up with crush. Works well with my local #ollama installation. But networking revealed it was 'phoning home'. A lot of software does that these days. Not only big tech. The pf firewall made it easy to end this behavior!

L'IA locale est la solution idéale et #Hermes associé à #Ollama, un logiciel libre, est une bonne configuration.
https://www.zdnet.fr/pratique/jai-teste-une-tonne-doutils-dia-locale-pour-mon-ordinateur-mais-hermes-ollama-est-desormais-mon-prefere-voici-pourquoi-496755.htm

Come Scegliere il Miglior Mini PC per l'AI Locale nel 2026: Strix Halo vs DGX Spark vs Mac

Un mini PC grande quanto un libro tascabile è oggi in grado di eseguire localmente un modello da 200 miliardi di parametri. Ma la scelta non dipende solo dal prezzo. La capacità della memoria determina quali modelli possono essere caricati, la larghezza di banda influisce sulla velocità di esecuzione e lo stack software — CUDA, ROCm o Metal — stabilisce se gli strumenti che utilizi funzioneranno davvero. Ecco un confronto tra le quattro principali opzioni disponibili nel 2026, con prezzi e benchmark aggiornati.

buysellram.com/blog/how-to-cho…

#AIlocale #LLM #MiniPC #HardwareAI #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #InfrastrutturaAI #Ollama #RyzenAI #AIPC #AMD #NVIDIA #Apple

Choosing A mini PC isn't about the lowest price tag. Capacity sets what fits, bandwidth sets how fast it runs, and the software stack — CUDA, ROCm, or Metal — decides whether your tools work at all. Here's how the four real options compare in 2026, with current prices and benchmarks.
https://www.buysellram.com/blog/how-to-choose-the-best-mini-pc-for-local-ai-in-2026/
#LocalAI #LLM #MiniPC #AIhardware #StrixHalo #DGXSpark #AppleSilicon #EdgeAI #AIinfrastructure #Ollama #RyzenAI #AIPC #AMD #NVIDIA

Thanks to this video by NetworkChuck we are setting up our own #AI locally in studio using #Ollama and #openwebui to break free from similar cloud based services widely reported to use unreasonable amounts of energy and water resources. This will also empower us to choose more ethically-trained #opensource models over time.
https://m.youtube.com/watch?v=Wjrdr0NU4Sk
#LocalAI #OpenSourceAI #EthicalChoices