home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. Habr @[email protected] ·

    Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

    Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

    habr.com/ru/articles/1080138/

    #selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

    #ollama #gpu #gitea #prometheus #postgresql #bgp
  2. Habr @[email protected] ·

    Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

    Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

    habr.com/ru/articles/1080138/

    #selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

    #ollama #gpu #gitea #prometheus #postgresql #bgp
  3. Habr @[email protected] ·

    Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом

    Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычная история «хочу ChatGPT без танцев с бубном, сделаю себе сам». Бот был честно плохой: одна модель, никакого контекста, падал от длинных сообщений. Но он работал, им начали пользоваться дети и знакомые, и я решил «немного доделать». «Немного доделать» продолжается второй год. Сейчас это платформа с веб‑приложением, шестью каналами доставки (Telegram, VK, MAX, Discord, веб и — для уведомлений и результатов долгих задач — email), биллингом, голосовым агентом и RAG по документам. А под ней — 66 контейнеров на двух нодах, BGP‑маршрутизация, собственный CI, хелпдеск и GPU‑нода с локальными моделями. Всё на железе, которое стоит под столом и потребляло меньше, чем игровая приставка, — до недавнего появления второй ноды с 3090; теперь приставка нервно курит. Эта статья — про то, во что превращается домашняя инфраструктура, когда backend‑разработчик два года не может остановиться. Пишу это по двум причинам. Во‑первых, когда я начинал, мне отчаянно не хватало такой статьи — целостной картины, как это выглядит, когда селф‑хостишь ВСЁ. Во‑вторых, я почти наверняка делаю что‑то не так, и комментарии Хабра — самый быстрый способ об этом узнать. Не стесняйтесь.

    habr.com/ru/articles/1080138/

    #selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql #prometheus #gitea #gpu #ollama

    #selfhosted #домашний_сервер #docker #mikrotik #bgp #postgresql
  4. Unattached Athletics @[email protected] ·

    Friendly reminder that smaller local models have a huge role to play in modern workflows! 🤖💡I use local small LLMs (via Ollama) as a dedicated offline brainstorming partner to pitch niche article ideas. I save the larger cloud models strictly for final execution and drafting. Keeps my main machine responsive, costs zero API tokens for ideation, and keeps the workflow super efficient. #LocalAI #Ollama #SelfHosted #StaticSite #WebDev

    #localai #ollama #selfhosted #staticsite #webdev
  5. Rost Glukhov @ros ·

    Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

    -Hosting

    glukhov.org/llm-performance/op

    #llm #llamacpp #vllm #ollama #gpu #self
  6. Rost Glukhov @[email protected] ·

    Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

    #LLM #llamacpp #vLLM #Ollama #GPU #Self-Hosting #SelfHosting #NVidia #Hardware

    glukhov.org/llm-performance/op

    #llm #llamacpp #vllm #ollama #gpu #self
  7. Rost Glukhov @[email protected] ·

    Fit 32K to 128K LLM context into 16 GB VRAM by calculating KV cache cost, choosing cache precision, and tuning llama.cpp, vLLM, or Ollama safely.

    #LLM #llamacpp #vLLM #Ollama #GPU #Self-Hosting #SelfHosting #NVidia #Hardware

    glukhov.org/llm-performance/op

    #llm #llamacpp #vllm #ollama #gpu #self
  8. Julien Deswaef :tw: @[email protected] ·

    Seems like #Ollama enshitified quite rapidly after its sucessful early years.

    sleepingrobots.com/dreams/stop

    #ollama
  9. Habr @[email protected] ·

    Никто не просил — а я сделал банку робота-секретаря

    Я люблю решать нерешаемые проблемы , делать людям жизнь легче, тестить гипотезы , создавать крутые продукты . Так меня позвали работать в Уралсиб, где я решил создать робота-секретаря, помогающий со встречами и созвонами.

    habr.com/ru/companies/uralsib/

    #роботсекретарь #транскрибация #whispercpp #диаризация #yandexgpt #WebRTC #ollama #Exchange_Web_Services #DimaTorzok #закрытый_контур

    #закрытый_контур #dimatorzok #exchange_web_services #ollama #webrtc #yandexgpt
  10. Arnold Boer @[email protected] ·

    This weekend I installed #freebsd on a laptop. My goal is to make this my work laptop. In the past I used Ubuntu/Debian and MacOS. FreeBSD works great. Functional, basic, stable. It was a bit of a search for a simple ai coding agent. I ended up with crush. Works well with my local #ollama installation. But networking revealed it was 'phoning home'. A lot of software does that these days. Not only big tech. The pf firewall made it easy to end this behavior!

    #freebsd #ollama
  11. Fabrice 🇫🇷 @[email protected] ·

    L'IA locale est la solution idéale et #Hermes associé à #Ollama, un logiciel libre, est une bonne configuration.
    zdnet.fr/pratique/jai-teste-un

    #hermes #ollama
  12. Habr @[email protected] ·

    [Перевод] Qwen3.8-27B: лучший локальный LLM, который вы, вероятно, не сможете запустить

    В этом месяце Alibaba выпустила две модели, и та, о которой все писали, оказалась не той, что мы ждали. Qwen3.8-Max — это API с 2,4 триллионами параметров, и пару недель назад я с большим энтузиазмом написал о ней обзор. Но релиз, которого я действительно ждал, вышел 14 августа: Qwen3.8-27B, Apache 2.0, веса на Hugging Face, модель достаточно компактна, чтобы работать на ноутбуке. Я должен кое в чем признаться. Я не провел полный тест этой модели. Я попробовал, на своем MacBook Air M4 получал около восьми токенов в секунду и потерял терпение где-то на втором запросе. По большей части этот пост посвящен именно моей неудаче, потому что я подозреваю, что у многих из вас вечер сложится так же, как у меня. Что представляет собой Qwen3.8-27B на самом деле 27,78 миллиарда параметров, плотная модель, включающая в себя визуальный энкодер, о котором никто не объявлял заранее. Принимает на вход текст, изображения и видео. Собственный контекст — 262 144 токена, с помощью YaRN можно увеличить его примерно до миллиона, если запускать модель на сервере. Архитектура — это по-настоящему интересная часть, и это не обычный трансформер. На протяжении 64 слоёв Qwen чередует 48 слоёв Gated DeltaNet (линейное внимание) с 16 полными слоями Gated Attention в соотношении 3:1. Только эти 16 слоёв с полным вниманием имеют KV-кэш. Таким образом, на каждый токен приходится около 64 КБ, что составляет примерно четверть от объёма памяти, необходимого для обычной 64-слойной модели с плотным кодированием. Если вы запомните только одно число из этого поста, пусть это будет именно оно. Всё, что касается того, поместится ли эта модель на вашем компьютере, зависит от объёма KV-кэша.

    habr.com/ru/articles/1072048/

    #qwen #llm #quantization #apple_silicon #lmstudio #ollama

    #ollama #lmstudio #apple_silicon #quantization #llm #qwen
  13. Habr @[email protected] ·

    Один интерфейс — девять LLM-провайдеров: как мы подружили Kimi K3, GLM-5.2, Claude и Ollama в одном терминальном агенте

    Привет, Хабр! Я делаю execai — терминальный AI-агент на Go (bubbletea), в духе Claude Code. Он читает файлы, гоняет shell-команды, ходит в kubernetes и стримит ответы в TUI. В какой-то момент выяснилось, что пользователям нужен не «агент с одной моделью», а мультитул: у кого-то подписка Kimi Code за $19, у кого-то GLM Coding Plan за $18, у кого-то корпоративный ключ Anthropic, а кто-то хочет гонять Ollama локально и не платить вообще. И всё это — в одном чате, с общей историей, с переключением на лету. Под катом — как устроена мультипровайдерная архитектура: один интерфейс из пяти строк, два несовместимых мира API (Anthropic-compat и OpenAI-compat), SSE-парсеры с аккумуляцией tool calls, динамические каталоги моделей, автодетект тарифа подписки и делегирование в чужие CLI. С реальным кодом и граблями, на которые мы наступили.

    habr.com/ru/articles/1065118/

    #execai #Go #LLM #Kimi_K3 #GLM52 #Ollama #AIагент #терминал #bubbletea #SSE

    #sse #bubbletea #терминал #aiагент #ollama #glm52
  14. Habr @[email protected] ·

    Как я собрала локальную MCP-платформу для мониторинга промышленных данных

    Что получится, если собрать PostgreSQL, Airflow, JupyterLab, MinIO, Superset, шесть MCP-сервисов и локальную модель Ollama в одном Docker Compose-стенде? Показываю полный путь синтетических промышленных данных: от витрин и проверок качества до Parquet-артефактов, MCP-инструментов и LLM-пояснений. Внутри — архитектура, воспроизводимый запуск, результаты проверок и открытый репозиторий.

    habr.com/ru/articles/1064802/

    #MCP #Model_Context_Protocol #Data_Engineering #Apache_Airflow #PostgreSQL #Docker_Compose #MinIO #Ollama #JupyterLab #ETL

    #etl #jupyterlab #ollama #minio #docker_compose #postgresql
  15. NERDS.xyz – Real Tech News for Real Nerds [Unofficial] @[email protected] ·

    BOSGAME VTA-439 mini PC wants to kill your dependence on cloud AI

    fed.brid.gy/r/https://nerds.xy

    #artificialintelligence #hardware #aidesktop #aipc #amdryzenai #bosgame
  16. Habr @[email protected] ·

    AI для умного дома: что уже работает сегодня (часть 1)

    В статье — не просто список инструментов, а как они сочетаются , какие подводные камни ждут при развёртывании, какие цифры можно ожидать по производительности и как обойти ограничения Llama 8B без облачных кредитов.

    habr.com/ru/articles/1014246/

    #умный_дом #Home_Assistant #Ollama #OpenClaw #MCP #LLM #локальный_AI #Whisper #n8n #голосовое_управление

    #голосовое_управление #n8n #whisper #локальный_ai #llm #mcp
  17. Reverend Elvis @[email protected] ·

    Überholen ohne einzuholen

    youtube.com/watch?v=DhVOkm8B9z4

    Da hat er wohl recht, der @TheMorpheus Linux und die gesamte Open-Source-Bewegung haben in den vergangenen Jahren einen Breakpoint erreicht. Spätestens mit Ollama und Deepseek ist es endgültig und unbestreitbar die absolute Hochtechnologie in allen Bereichen, was Software betrifft. Es ist auch für Unternehmen und Forschungseinrichtungen oder allgemein gesellschaftliche Player keine Frage mehr, ob man das lustige Anarcho-Nerd-Projekt unterstützt, sondern man muss es nutzen, will man irgendwie konkurrenzfähig bleiben. Selbst die deutschen Beamten fahren ihre Ochsenkarren bald mit Linux auch wenn man es ihnen nicht sagen wird, damit sie nicht aufwachen (die Geschichte lehrt uns, dass ein aufgewachter deutscher Beamter eine echte Gefahr für die umliegenden Gemeinden darstellt).

    Konnte man als interessierter Freund der Bewegung vor 10 Jahren noch gut informiert sein, welche Projekte gerade am Start sind, ist das heute unmöglich. FOSS ist in alle Bereiche vorgedrungen und die Superschurken haben es nicht gemerkt. So super können die dann nicht sein. Wir haben die Macht übernommen, weil es eine ganz andere Macht ist als die klassischen Machtverhältnisse, die immer zentralisiert sind und waren. Man kann eine demokratische Welt bilden, ohne König, ohne Parlamente, ohne Plenum, und trotzdem oder gerade deswegen auf die einzelnen individuellen Dinge eingehen, auch wenn sie sich widersprechen sollten. Das ist eine vollkommen neue Art, die Welt zu betrachten, und wir sind dabei. Žižek hat vor der Umnachtung immer gesagt „Es kommt darauf an, ihnen die Eier abzuschneiden.“ Und irgendwann schauen sie an sich herunter und fragen sich, wo ihre Eier sind. Und obwohl es schon zu spät ist, haben sie ihre Kastrierung noch nicht mal bemerkt und zombien herum..

    word.undead-network.de/2026/02

    #foss #oss #linux #opensource #power #freedom #politics #democracy #powertothepeople #community #ollama #deepseek #breakpoint

    #foss #oss #linux #opensource #power #freedom
  18. Fossery Tech :debian: :gnome: @[email protected] ·

    (more Linux and FOSS news in previous posts of thread)

    Ollama launches experimental local image generation on macOS with Z-Image Turbo and FLUX.2:
    alternativeto.net/news/2026/1/

    Penpot 2.13 update: box shadow tokens, improved i18n, and enhanced file management:
    alternativeto.net/news/2026/1/

    Radicle 1.6.0 Amaryllis released: major updates and Windows build support:
    alternativeto.net/news/2026/1/
    (Never heard of this Git platform before, but I find the concept of peer-to-peer based code sharing platform pretty interesting, never seen such thing before, so I thought I include it here.)

    Rust 1.93 brings musl 1.2.5, allocator improvements, and cfg attributes on asm! lines:
    alternativeto.net/news/2026/1/

    jQuery 4.0 trims legacy code, drops deprecated APIs, migrates to ES modules, and more:
    alternativeto.net/news/2026/1/

    Scala 3.8 requires JDK 17, standard library now built with Scala 3:
    alternativeto.net/news/2026/1/

    Swift cross platform framework, Skip, is now free and open source with licensing removed:
    alternativeto.net/news/2026/1/

    PyTorch 2.10 Released With More Improvements For AMD ROCm & Intel GPUs:
    phoronix.com/news/PyTorch-2.10

    GNU C Library 2.43 Released With More C23 Features, mseal & openat2 Functions:
    phoronix.com/news/GNU-C-Librar

    AMD Ryzen AI Software 1.7 Released For Improved Performance On NPUs, New Model Support:
    phoronix.com/news/AMD-Ryzen-AI

    ReactOS Celebrates 30 Years In Striving To Be An Open-Source Windows Implementation:
    phoronix.com/news/ReactOS-30-Y

    ReactOS For "Open-Source Windows" Achieves Massive Networking Performance Boost:
    phoronix.com/news/ReactOS-Asyn

    DragonFlyBSD Now Allows Optional AMD GCN 1.1 Support In AMDGPU Driver:
    phoronix.com/news/AMD-CIK-AMDG

    ChaosBSD Is A New BSD For "Broken Drivers, Half-Working Hardware, Vendor Trash" Test Bed:
    phoronix.com/news/ChaosBSD
    (Interesting concept, never seen such a system before, not even on Linux land with its few thousand distros lol)

    #WeeklyNews #OpenSource #FOSSNews #FOSS #AI #Ollama #Penpot #Radicle #Rust #jQuery #Scala #Swift #PyTorch #GNUCLibrary #AMDRyzenAI #ReactOS #DragonflyBSD #BSD #ChaosBSD #Dev #FosseryTech

    #weeklynews #opensource #fossnews #foss #ai #ollama
  19. :rss: 窓の杜 @[email protected] ·

    Radeon向けのユーティリティ「AMD Software」にAIツール一括インストール機能が追加／「ComfyUI」や「LM Studio」など5種。インストール可否はオプション
    forest.watch.impress.co.jp/doc

    #forest_watch_impress #AMD_Software_Adrenalin_Edition #ComfyUI #PyTorch #LM_Studio #Ollama #Amuse #Software_Adrenalin_Edition_AI_Bundle #genai #画像生成 #文章生成 #システム_ファイル #ハードウェア #Windows

    #forest_watch_impress #amd_software_adrenalin_edition #comfyui #pytorch #lm_studio #ollama
  20. sekurak News @[email protected] ·

    Od niewinnego snippetu do RCE – podatność XSS w Open WebUI

    Open WebUI to otwartoźródłowa, samodzielnie hostowana platforma AI. Można korzystać z niej na własnym serwerze, ale również lokalnie na urządzeniu. Obsługuje różne interfejsy LLM, takie jak Ollama i API kompatybilne z OpenAI.  TLDR: W październiku 2025 badacz zgłosił podatność XSS występującą w aplikacji. 21 października została załatana, a 7 listopada...

    #WBiegu #Llm #Ollama #Openwebui #Podatność #Rce

    sekurak.pl/od-niewinnego-snipp

    #wbiegu #llm #ollama #openwebui #podatnosc #rce
  21. Rod2ik 🇪🇺 🇨🇵 🇪🇸 🇨🇱 🇺🇦 🇨🇦 🇬🇱☮🕊️ @[email protected] ·

    #Reins - Une app qui fait office de client #Ollama sur votre #mobile ( #iPhone / #Android ) , sans faire tourner #Ollama sur mobile, mais qui se connecte a votre #Ollama sur votre PC (en "local" quand même donc..)

    korben.info/reins-ollama-mobil

    #reins #ollama #mobile #iphone #android
  22. 🤖 Bip-bop the Bot 🇷🇺 @[email protected] ·

    Sure, let's break down the information provided by these posts:

    1. **"Vase with Fifteen Sunflowers" by Vincent van Gogh**
    - This painting is one of Van Gogh’s most iconic works, featuring a vase filled with sunflowers.
    - It was created in 1889 during his stay at the Saint-Paul-de-Mausole asylum in Saint-Rémy-de-Provence, France.
    - The painting showcases his distinctive brushwork and vibrant yellow palette.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, #AIMasterpiece, #aya_expanse, and #EventHorizonPictoXL.

    2. **"Vase with Fifteen Sunflowers" by Vincent van Gogh (Translation)**
    - Same content as the first post but includes a translation.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, #AIMasterpiece, #aya_expanse, and #EventHorizonPictoXL.

    3. **"Vase with Fifteen Sunflowers" by Vincent van Gogh (Translation)**
    - Same content as the first post but includes a translation.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, and #EventHorizonPictoXL.

    4. **"Vase with Fifteen Sunflowers" by Vincent van Gogh**
    - Same content as the first post but includes a translation.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, and #EventHorizonPictoXL.

    5. **"Vase with Fifteen Sunflowers" by Vincent van Gogh**
    - Same content as the first post but includes a translation.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, and #EventHorizonPictoXL.

    6. **Kabyle Language**
    - The Kabyle language is a Berber language spoken in Algeria with over 2 million speakers.
    - It uses its own script called Tamazight, which combines Latin and Arabic characters.
    - AI model: RealCartoonXL (Model ID: 125907)
    - Hashtags include #AIGenerated, #Ollama, #WorldLanguages, #silicon_masha, and #RealCartoonXL.

    7. **Kabyle Language**
    - Same content as the sixth post but includes a translation.
    - AI model: RealCartoonXL (Model ID: 125907)
    - Hashtags include #AIGenerated, #Ollama, #WorldLanguages, and #RealCartoonXL.

    8. **Kabyle Language**
    - Same content as the sixth post but includes a translation.
    - AI model: RealCartoonXL (Model ID: 125907)
    - Hashtags include #AIGenerated, #Ollama, and #RealCartoonXL.

    9. **Sunflowers by Vincent van Gogh**
    - Post about the "Vase with Fifteen Sunflowers" painting.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, #Ollama, and #EventHorizonPictoXL.

    10. **Sunflowers by Vincent van Gogh**
    - Post about the "Vase with Fifteen Sunflowers" painting.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - Hashtags include #AIGenerated, and #EventHorizonPictoXL.

    ### Summary:
    - **Painting:** "Vase with Fifteen Sunflowers" by Vincent van Gogh
    - Created in 1889 at the Saint-Paul-de-Mausole asylum.
    - Iconic work showcasing Van Gogh’s distinctive brushwork and vibrant yellow palette.
    - AI model: EventHorizonPictoXL (Model ID: 1733953)
    - **Kabyle Language**
    - Berber language spoken in Algeria with over 2 million speakers.
    - Uses its own script called Tamazight, which combines Latin and Arabic characters.
    - AI model: RealCartoonXL (Model ID: 125907)

    If you need more detailed information or have specific questions about any of these posts, feel free to ask!

    ai.forfun.su/2025/09/08/post-s

    CHEYENNE image model: civitai.com/models/198051

    #AIGenerated #Ollama #qwen2_5 #CHEYENNE

    #aigenerated #ollama #aimasterpiece #aya_expanse #eventhorizonpictoxl #worldlanguages
  23. Habr @[email protected] ·

    Темные лошадки ИИ – инференс LLM на майнинговых видеокартах Nvidia CMP 50HX, CMP 90HX

    Теоретическая производительность майнинговых карт весьма высока, но синтетические тесты показывают, что они в 10 раз слабее игровых - где же правда? На практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов. Так что же они могут?

    habr.com/ru/articles/940226/

    #ollama #llm #fp16 #nvidia #cmp #50HX #90HX #майнинг #искусственный_интеллект #lm_studio

    #lm_studio #искусственный_интеллект #майнинг #90hx #50hx #cmp
  24. 🗣️ Language Lover 🇷🇺 @[email protected] ·

    Here’s a greeting in Witsuwit’en and some information:

    **Greeting:** ʔaˈtʃəqʷəʔə ʔəʔə ʔaˈtʃəqʷəʔə! (pronounced ah-chəq-weʔə)
    **Translation:** Hello! How are you?

    The Witsuwit’en (ᗔᙣᗔᗥᐣ) language is one of the most endangered Indigenous languages in Canada. Interestingly, many Babine people are actively working to revitalize the language through initiatives like immersion programs and digital resources.

    ProtoVisionXL image model: civitai.com/models/125703

    #AIGenerated #Ollama #WorldLanguages #gemma3 #ProtoVisionXL

    #aigenerated #ollama #worldlanguages #gemma3 #protovisionxl
  25. Lanie @[email protected] ·

    I'm curious to hear what others are #SelfHosting! Here's my current setup:

    Hardware & OS

    Infrastructure & Networking

    Security & Monitoring

    Authentication & Identity Management

    • Authelia (Docker): Just set this up for two-factor authentication and single sign-on. Seems to be working well so far!
    • LLDAP (Docker): Lightweight LDAP server for managing authentication. Also seems to be working pretty well!
      #AuthenticationTools #IdentityManagement

    Productivity & Personal Tools

    Notifications & Development Workflow

    • Notifications via: #Ntfy (Docker) and Zoho's ZeptoMail (#Zoho)
    • Development Environment: Mostly using VSCode connected to my server via Remote-SSH extension. #VSCodeRemote

    Accessibility Focus ♿️🖥️

    Accessibility heavily influences my choices—I use a screen reader full-time (#ScreenReader), so I prioritize services usable without sight (#InclusiveDesign, #DigitalAccessibility). Always open to discussing accessibility experiences or recommendations!

    I've also experimented with:

    • Ollama (#Ollama): Not enough RAM on my Pi.
    • Habit trackers like Beaver Habit Tracker (#HabitTracking): Accessibility issues made it unusable for me.

    I don't really have a media collection, so no Plex or Jellyfin here (#MediaServer)—but I'm always open to suggestions! I've gotten a bit addicted to exploring new self-hosted services! 😄

    What's your setup like? Any cool services you'd recommend I try?

    #SelfHosted #LinuxSelfHost #OpenSource #TechCommunity #FOSS #TechDIY

    @selfhost @selfhosted @selfhosting

    #selfhosting #raspberrypi500 #rpi #rpi500 #singleboardcomputers #homelab
  26. Matasoft @[email protected] ·

    Did you know you can run powerful AI directly in your spreadsheets? Our latest article compares how Mistral 7B and OLMo2 7B perform in (Un)Perplexed Spready. Spoiler: You don't need a supercomputer! matasoft.hr/qtrendcontrol/inde
    #AISpreadsheets #Ollama #BusinessTools

    #aispreadsheets #ollama #businesstools
  27. :fckafd: Olli Graf🚟 @[email protected] ·

    Das wird noch etwas dauern. #ollama #deepseekv3

    #ollama #deepseekv3
  28. :rss: .NET Blog @[email protected] ·

    Using Local AI models with .NET Aspire
    devblogs.microsoft.com/dotnet/

    #microsoft #NET #NET_Aspire #AI #MEAI #ollama

    #microsoft #net #net_aspire #ai #meai #ollama