#ollama — Public Fediverse posts

Infinito.Nexus 14.0: Turn Local AI into a Secure Digital Workforce

https://blog.infinito.nexus/blog/2026/09/19/infinito-nexus-14-0-turn-local-ai-into-a-secure-digital-workforce/

Infinito.Nexus 14.0: Turn Local AI into a Secure Digital Workforce

https://blog.infinito.nexus/blog/2026/09/19/infinito-nexus-14-0-turn-local-ai-into-a-secure-digital-workforce/

Codebase Intelligence для агента: строим «dev tool будущего» и сразу тестируем на Rails монолите в 3,5M+ строк

Сгенерированная картинка для привлечения внимания. Промпт: «Продемонстрируй, что всё новое — это хорошо забытое старое» (нет) За последний год инструментов для агентной разработки стало столько, что в них легко потеряться: одни обещают сохранять контекст между сессиями, другие — «понимать» всю кодовую базу целиком, третьи — память, планирование и автономность в одном флаконе. На GitHub каждую неделю появляются репозитории с внушительным (и не всегда честно заработанным) числом звёзд, которые обещают всё и сразу, а на поверку оказываются README-проектами; другие честно работают на демо-репозитории и падают с OOM при первой же встрече с реальным энтерпрайз-проектом — и так далее, список можно продолжать долго. Осенью прошлого года я пользовался связкой Claude + RooCode + семантический поиск на Ollama , и это был мой основной рабочий инструмент — ровно до того момента, как связка перестала работать (об этом чуть ниже). Я решил полностью пересесть на Claude Code и начал искать замену семантическому индексу, но так её и не нашёл: альтернативы для меня просто не работали — на монолите в 3,5M+ строк они либо индексировались часами, либо требовали отдать код в облако (и заплатить немалую сумму за эмбеддинги!!!), либо поддерживали Ruby, мягко говоря, номинально. В итоге я принял непростое для себя решение сделать собственный инструмент — начав с форка простого движка семантического поиска на Ollama + Qdrant — и, что характерно, сделал: полностью локальный, чтобы ни код, ни его производные (индекс, эмбеддинги, граф вызовов) никуда не уезжали. На сегодняшний день на него ушло больше полугода (и, честно признаюсь, не одна сотня чашек чая).

https://habr.com/ru/articles/1084028/

#coding_agents #MCP #семантический_поиск #RAG #Ruby_on_Rails #граф_вызовов #техдолг #Qdrant #Ollama #Codebase_Intellegence

Codebase Intelligence для агента: строим «dev tool будущего» и сразу тестируем на Rails монолите в 3,5M+ строк

Сгенерированная картинка для привлечения внимания. Промпт: «Продемонстрируй, что всё новое — это хорошо забытое старое» (нет) За последний год инструментов для агентной разработки стало столько, что в них легко потеряться: одни обещают сохранять контекст между сессиями, другие — «понимать» всю кодовую базу целиком, третьи — память, планирование и автономность в одном флаконе. На GitHub каждую неделю появляются репозитории с внушительным (и не всегда честно заработанным) числом звёзд, которые обещают всё и сразу, а на поверку оказываются README-проектами; другие честно работают на демо-репозитории и падают с OOM при первой же встрече с реальным энтерпрайз-проектом — и так далее, список можно продолжать долго. Осенью прошлого года я пользовался связкой Claude + RooCode + семантический поиск на Ollama , и это был мой основной рабочий инструмент — ровно до того момента, как связка перестала работать (об этом чуть ниже). Я решил полностью пересесть на Claude Code и начал искать замену семантическому индексу, но так её и не нашёл: альтернативы для меня просто не работали — на монолите в 3,5M+ строк они либо индексировались часами, либо требовали отдать код в облако (и заплатить немалую сумму за эмбеддинги!!!), либо поддерживали Ruby, мягко говоря, номинально. В итоге я принял непростое для себя решение сделать собственный инструмент — начав с форка простого движка семантического поиска на Ollama + Qdrant — и, что характерно, сделал: полностью локальный, чтобы ни код, ни его производные (индекс, эмбеддинги, граф вызовов) никуда не уезжали. На сегодняшний день на него ушло больше полугода (и, честно признаюсь, не одна сотня чашек чая).

https://habr.com/ru/articles/1084028/

#coding_agents #MCP #семантический_поиск #RAG #Ruby_on_Rails #граф_вызовов #техдолг #Qdrant #Ollama #Codebase_Intellegence

Codebase Intelligence для агента: строим «dev tool будущего» и сразу тестируем на Rails монолите в 3,5M+ строк

Сгенерированная картинка для привлечения внимания. Промпт: «Продемонстрируй, что всё новое — это хорошо забытое старое» (нет) За последний год инструментов для агентной разработки стало столько, что в них легко потеряться: одни обещают сохранять контекст между сессиями, другие — «понимать» всю кодовую базу целиком, третьи — память, планирование и автономность в одном флаконе. На GitHub каждую неделю появляются репозитории с внушительным (и не всегда честно заработанным) числом звёзд, которые обещают всё и сразу, а на поверку оказываются README-проектами; другие честно работают на демо-репозитории и падают с OOM при первой же встрече с реальным энтерпрайз-проектом — и так далее, список можно продолжать долго. Осенью прошлого года я пользовался связкой Claude + RooCode + семантический поиск на Ollama , и это был мой основной рабочий инструмент — ровно до того момента, как связка перестала работать (об этом чуть ниже). Я решил полностью пересесть на Claude Code и начал искать замену семантическому индексу, но так её и не нашёл: альтернативы для меня просто не работали — на монолите в 3,5M+ строк они либо индексировались часами, либо требовали отдать код в облако (и заплатить немалую сумму за эмбеддинги!!!), либо поддерживали Ruby, мягко говоря, номинально. В итоге я принял непростое для себя решение сделать собственный инструмент — начав с форка простого движка семантического поиска на Ollama + Qdrant — и, что характерно, сделал: полностью локальный, чтобы ни код, ни его производные (индекс, эмбеддинги, граф вызовов) никуда не уезжали. На сегодняшний день на него ушло больше полугода (и, честно признаюсь, не одна сотня чашек чая).

https://habr.com/ru/articles/1084028/

#coding_agents #MCP #семантический_поиск #RAG #Ruby_on_Rails #граф_вызовов #техдолг #Qdrant #Ollama #Codebase_Intellegence

Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro. Прогноз до того, как железо приехало

Через несколько дней Apple начнёт отгружать Mac mini на M6 и M5 Pro и Mac Studio на M5 Max и M5 Ultra. Замеров локальных моделей на них ещё ни у кого нет, а прикинуть скорость можно уже сейчас. В прошлой статье я замерил шесть моделей на базовом M4 и вывел правило через полосу памяти с КПД 0.83, которое сошлось с замером в пределах двух процентов. Здесь применяю его к новым чипам и публикую цифры до того, как железо приехало. Потом замерю и покажу, где ошибся. Коротко. M6 для локальных моделей не апгрейд, прирост 25 до 40 процентов и тот же потолок 8B. M5 Pro первый mini, где 32B работает на рабочей скорости. M5 Max меняет класс, 70B на 13 токенах в секунду. Отдельно про ловушки младших конфигураций, у M6 с 16 ГБ и M5 Max с 36 ГБ полоса памяти заметно ниже.

https://habr.com/ru/articles/1083322/

#mac_mini #m6 #m5_pro #ollama #llm #apple_silicon #локальные_модели #бенчмарк

Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro. Прогноз до того, как железо приехало

Через несколько дней Apple начнёт отгружать Mac mini на M6 и M5 Pro и Mac Studio на M5 Max и M5 Ultra. Замеров локальных моделей на них ещё ни у кого нет, а прикинуть скорость можно уже сейчас. В прошлой статье я замерил шесть моделей на базовом M4 и вывел правило через полосу памяти с КПД 0.83, которое сошлось с замером в пределах двух процентов. Здесь применяю его к новым чипам и публикую цифры до того, как железо приехало. Потом замерю и покажу, где ошибся. Коротко. M6 для локальных моделей не апгрейд, прирост 25 до 40 процентов и тот же потолок 8B. M5 Pro первый mini, где 32B работает на рабочей скорости. M5 Max меняет класс, 70B на 13 токенах в секунду. Отдельно про ловушки младших конфигураций, у M6 с 16 ГБ и M5 Max с 36 ГБ полоса памяти заметно ниже.

https://habr.com/ru/articles/1083322/

#mac_mini #m6 #m5_pro #ollama #llm #apple_silicon #локальные_модели #бенчмарк

Сколько токенов в секунду выдадут новые Mac mini на M6 и M5 Pro. Прогноз до того, как железо приехало

Через несколько дней Apple начнёт отгружать Mac mini на M6 и M5 Pro и Mac Studio на M5 Max и M5 Ultra. Замеров локальных моделей на них ещё ни у кого нет, а прикинуть скорость можно уже сейчас. В прошлой статье я замерил шесть моделей на базовом M4 и вывел правило через полосу памяти с КПД 0.83, которое сошлось с замером в пределах двух процентов. Здесь применяю его к новым чипам и публикую цифры до того, как железо приехало. Потом замерю и покажу, где ошибся. Коротко. M6 для локальных моделей не апгрейд, прирост 25 до 40 процентов и тот же потолок 8B. M5 Pro первый mini, где 32B работает на рабочей скорости. M5 Max меняет класс, 70B на 13 токенах в секунду. Отдельно про ловушки младших конфигураций, у M6 с 16 ГБ и M5 Max с 36 ГБ полоса памяти заметно ниже.

https://habr.com/ru/articles/1083322/

#mac_mini #m6 #m5_pro #ollama #llm #apple_silicon #локальные_модели #бенчмарк

LiteLLM Proxy Connector for WordPress AI

While I’m rather sceptical about all stuff AI I still play around with it. Especially with local setup since I have a machine powerful enough to run sophisticated models locally.

My home setup is behind an LiteLLM proxy which fronts all my models and endpoints and controls access via it’s virtual API Keys.

This way I can monitor the consumptions and have a unified endpoint for various model providers (majority runs with Ollama on my laptop, some smaller models run with Ollama on my Linux servers) and central MCP.

WordPress has added new AI capabilities in their 7.x release with the AI Plugin as the basis. Additional Plugins provide Connectors to various AI providers.

Of course I wanted to use my self-hosted setup with LiteLLM and Ollama. Couldn’t find an existing plugin for this setup and decided to vibe code it with Claude Code. The result can be found on my Forgejo Git Repo:

https://repos.mxhdr.net/maxheadroom/ai-provider-for-litellm

My setup looks like this:

The WordPress plugin adds a new Connector to WordPress’s AI capabilities. Once configured via the settings:

it can be enabled in the AI plugins as the default and various models can be chosen for various AI tasks.

Most important setting is of course the ability to increase the timeout for AI responses. Self-hosted LLMs are usually significantly slower than commercial once. That’s why the plugin allows to set a higher timeout than WordPress’ default of 30s. This might or might not work, depending on your local WordPress settings.

I tested generating Image ALT Texts, suggesting tags, summaries, editorial notes, text expansion and the plugin update so far and that worked with my setups. You mileage my vary.

LiteLLM Proxy Connector for WordPress AI

While I’m rather sceptical about all stuff AI I still play around with it. Especially with local setup since I have a machine powerful enough to run sophisticated models locally.

My home setup is behind an LiteLLM proxy which fronts all my models and endpoints and controls access via it’s virtual API Keys.

This way I can monitor the consumptions and have a unified endpoint for various model providers (majority runs with Ollama on my laptop, some smaller models run with Ollama on my Linux servers) and central MCP.

WordPress has added new AI capabilities in their 7.x release with the AI Plugin as the basis. Additional Plugins provide Connectors to various AI providers.

Of course I wanted to use my self-hosted setup with LiteLLM and Ollama. Couldn’t find an existing plugin for this setup and decided to vibe code it with Claude Code. The result can be found on my Forgejo Git Repo:

https://repos.mxhdr.net/maxheadroom/ai-provider-for-litellm

My setup looks like this:

The WordPress plugin adds a new Connector to WordPress’s AI capabilities. Once configured via the settings:

it can be enabled in the AI plugins as the default and various models can be chosen for various AI tasks.

Most important setting is of course the ability to increase the timeout for AI responses. Self-hosted LLMs are usually significantly slower than commercial once. That’s why the plugin allows to set a higher timeout than WordPress’ default of 30s. This might or might not work, depending on your local WordPress settings.

I tested generating Image ALT Texts, suggesting tags, summaries, editorial notes, text expansion and the plugin update so far and that worked with my setups. You mileage my vary.

LiteLLM Proxy Connector for WordPress AI

While I’m rather sceptical about all stuff AI I still play around with it. Especially with local setup since I have a machine powerful enough to run sophisticated models locally.

My home setup is behind an LiteLLM proxy which fronts all my models and endpoints and controls access via it’s virtual API Keys.

This way I can monitor the consumptions and have a unified endpoint for various model providers (majority runs with Ollama on my laptop, some smaller models run with Ollama on my Linux servers) and central MCP.

WordPress has added new AI capabilities in their 7.x release with the AI Plugin as the basis. Additional Plugins provide Connectors to various AI providers.

Of course I wanted to use my self-hosted setup with LiteLLM and Ollama. Couldn’t find an existing plugin for this setup and decided to vibe code it with Claude Code. The result can be found on my Forgejo Git Repo:

https://repos.mxhdr.net/maxheadroom/ai-provider-for-litellm

My setup looks like this:

The WordPress plugin adds a new Connector to WordPress’s AI capabilities. Once configured via the settings:

it can be enabled in the AI plugins as the default and various models can be chosen for various AI tasks.

Most important setting is of course the ability to increase the timeout for AI responses. Self-hosted LLMs are usually significantly slower than commercial once. That’s why the plugin allows to set a higher timeout than WordPress’ default of 30s. This might or might not work, depending on your local WordPress settings.

I tested generating Image ALT Texts, suggesting tags, summaries, editorial notes, text expansion and the plugin update so far and that worked with my setups. You mileage my vary.

LiteLLM Proxy Connector for WordPress AI

While I’m rather sceptical about all stuff AI I still play around with it. Especially with local setup since I have a machine powerful enough to run sophisticated models locally.

My home setup is behind an LiteLLM proxy which fronts all my models and endpoints and controls access via it’s virtual API Keys.

This way I can monitor the consumptions and have a unified endpoint for various model providers (majority runs with Ollama on my laptop, some smaller models run with Ollama on my Linux servers) and central MCP.

WordPress has added new AI capabilities in their 7.x release with the AI Plugin as the basis. Additional Plugins provide Connectors to various AI providers.

Of course I wanted to use my self-hosted setup with LiteLLM and Ollama. Couldn’t find an existing plugin for this setup and decided to vibe code it with Claude Code. The result can be found on my Forgejo Git Repo:

https://repos.mxhdr.net/maxheadroom/ai-provider-for-litellm

My setup looks like this:

The WordPress plugin adds a new Connector to WordPress’s AI capabilities. Once configured via the settings:

it can be enabled in the AI plugins as the default and various models can be chosen for various AI tasks.

Most important setting is of course the ability to increase the timeout for AI responses. Self-hosted LLMs are usually significantly slower than commercial once. That’s why the plugin allows to set a higher timeout than WordPress’ default of 30s. This might or might not work, depending on your local WordPress settings.

I tested generating Image ALT Texts, suggesting tags, summaries, editorial notes, text expansion and the plugin update so far and that worked with my setups. You mileage my vary.

LiteLLM Proxy Connector for WordPress AI

While I’m rather sceptical about all stuff AI I still play around with it. Especially with local setup since I have a machine powerful enough to run sophisticated models locally.

My home setup is behind an LiteLLM proxy which fronts all my models and endpoints and controls access via it’s virtual API Keys.

This way I can monitor the consumptions and have a unified endpoint for various model providers (majority runs with Ollama on my laptop, some smaller models run with Ollama on my Linux servers) and central MCP.

WordPress has added new AI capabilities in their 7.x release with the AI Plugin as the basis. Additional Plugins provide Connectors to various AI providers.

Of course I wanted to use my self-hosted setup with LiteLLM and Ollama. Couldn’t find an existing plugin for this setup and decided to vibe code it with Claude Code. The result can be found on my Forgejo Git Repo:

https://repos.mxhdr.net/maxheadroom/ai-provider-for-litellm

My setup looks like this:

The WordPress plugin adds a new Connector to WordPress’s AI capabilities. Once configured via the settings:

it can be enabled in the AI plugins as the default and various models can be chosen for various AI tasks.

Most important setting is of course the ability to increase the timeout for AI responses. Self-hosted LLMs are usually significantly slower than commercial once. That’s why the plugin allows to set a higher timeout than WordPress’ default of 30s. This might or might not work, depending on your local WordPress settings.

I tested generating Image ALT Texts, suggesting tags, summaries, editorial notes, text expansion and the plugin update so far and that worked with my setups. You mileage my vary.

https://www.europesays.com/ro/158043/ Gemma4 pe Windows 11 on ARM Copilot (Snapdragon X Elite) via Ollama: care e performanta reala? #17Ultra #apple #arm #GalaxyS26Ultra #llm #local #ollama #opencode #performanta #programare #RO #Română #Romania #Romanian #samsung #SnapdragonXElite #Technology #tehnologie #Windows11 #Xiaomi