home.social

#ollama — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #ollama, aggregated by home.social.

  1. Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro. Прогноз до того, как железо приехало

    Через несколько дней Apple начнёт отгружать Mac mini на M6 и M5 Pro и Mac Studio на M5 Max и M5 Ultra. Замеров локальных моделей на них ещё ни у кого нет, а прикинуть скорость можно уже сейчас. В прошлой статье я замерил шесть моделей на базовом M4 и вывел правило через полосу памяти с КПД 0.83, которое сошлось с замером в пределах двух процентов. Здесь применяю его к новым чипам и публикую цифры до того, как железо приехало. Потом замерю и покажу, где ошибся. Коротко. M6 для локальных моделей не апгрейд, прирост 25 до 40 процентов и тот же потолок 8B. M5 Pro первый mini, где 32B работает на рабочей скорости. M5 Max меняет класс, 70B на 13 токенах в секунду. Отдельно про ловушки младших конфигураций, у M6 с 16 ГБ и M5 Max с 36 ГБ полоса памяти заметно ниже.

    habr.com/ru/articles/1083322/

    #mac_mini #m6 #m5_pro #ollama #llm #apple_silicon #локальные_модели #бенчмарк

  2. 🏠 Open WebUI: ChatGPT UX on your own infrastructure!

    Docker, RAG, multi-user auth, any backend behind one UI.

    📖 Read: devopstales.github.io/ai/open-

    #Ollama #SelfHosting #AI

  3. 🏠 Open WebUI: ChatGPT UX on your own infrastructure!

    Docker, RAG, multi-user auth, any backend behind one UI.

    📖 Read: devopstales.github.io/ai/open-

    #Ollama #SelfHosting #AI

  4. 🏠 Open WebUI: ChatGPT UX on your own infrastructure!

    Docker, RAG, multi-user auth, any backend behind one UI.

    📖 Read: devopstales.github.io/ai/open-

    #Ollama #SelfHosting #AI

  5. 🏠 Open WebUI: ChatGPT UX on your own infrastructure!

    Docker, RAG, multi-user auth, any backend behind one UI.

    📖 Read: devopstales.github.io/ai/open-

    #Ollama #SelfHosting #AI

  6. 🏠 Open WebUI: ChatGPT UX on your own infrastructure!

    Docker, RAG, multi-user auth, any backend behind one UI.

    📖 Read: devopstales.github.io/ai/open-

    #Ollama #SelfHosting #AI