#sqlitevec — Public Fediverse posts

«Свой» уходит в опенсорс: вайб-темы, RAG поверх шифра и объектив, который знает контекст

Свой open source ИИ-ассистент. Ассистент - который помнит вас между разговорами - ищет по вашим документам и по вебу - умеет планировать - работать с фото. В статье - что появилось с прошлого раза: - вайб-темы интерфейса, которые LLM генерит под ваш вкус; - внешний RAG по файлам вашего ПК с шифрованием; - агентный веб-поиск на SearXNG; - «объектив», разбирающий фото в контексте тематических помощников. Бэкенд на Go, фронт на Vue, база на PostgreSQL с pgvector. Работает на локальной Ollama или любом cloud-провайдере. Лицензия AGPL-3.0.

https://habr.com/ru/articles/1063052/

#LLM #RAG #ИИассистент #open_source #Go #Ollama #BYOK #vision #SearXNG #sqlitevec

10 дней спустя: как мой бот дважды умирал незаметно, а метрика релевантности мне врала

Полторы недели назад я выложил на Habr бота с лентой хороших новостей на sqlite-vec за $5/мес. Потом пришли живые юзеры — и началось самое интересное. Не код. Эксплуатация. За 10 дней в проде: 🪦 Бот дважды умирал незаметно — поллил Telegram и казался живым, но не создавал ни одной новости по 4–5 дней. Один раз — OOM на загрузке модели, другой — feedparser.parse(url) без таймаута заморозил весь пайплайн. 📉 Метрика релевантности «рухнула» до 30% — и я чуть не откатил рабочую фичу. Оказалось, один юзер поставил 106 дизлайков из 228 и отравил и метрику, и приор источников. Починил, считая по уникальным юзерам — правда оказалась 42%. 🎯 Реакции 78 человек сами показали , какие источники выкинуть: tech-аудитория отвергает общие новости и любит курируемое. Внутри — реальные логи, код фиксов (httpx-таймаут, watchdog, робастные метрики) и уроки про надёжность воркеров и доверие к цифрам. 👉 @futur_e_news_bot

https://habr.com/ru/articles/1045969/

#telegramбот #надёжность #наблюдаемость #sqlitevec #рекомендательная_система #метрики #python #flyio #open_source #ai

Я собрал Telegram-бота с лентой новостей, которая учится на твоих реакциях — и хостится за $5 в месяц

Хотел ленту новостей без двух вещей: дублей (одно событие из пяти каналов с разными заголовками) и потока негатива по утрам. Получился Telegram-бот, который по умолчанию показывает только хорошие и нейтральные новости — а тяжёлый контент включается в настройках на 4 уровнях. Плюс он убирает дубли, переводит RU↔EN и подстраивает выдачу под твои реакции 🔥 ❤️ 😢. Но самое интересное — он живёт на одной машине Fly.io за ~$5 в месяц . В статье разбираю, как: заменил Postgres + pgvector на встраиваемый sqlite-vec и убрал отдельную БД-машину; гоняю типизацию, перевод и оценку тональности через бесплатные LLM на OpenRouter (счёт $0–1/мес); считаю эмбеддинги локально на fastembed /ONNX без внешних API; собрал рекомендательное ядро на «векторе вкуса» с EWMA и анти-баблом. И, конечно, грабли : sqlite-vec , который ломался на arm64; vec0 без INSERT OR REPLACE ; fastembed , сменивший пулинг между версиями; и LLM, которая «подкручивала» оценки негатива, пока я не дал ей чёткую рубрику. 👉 Бот живой, можно потрогать: @futur_e_news_bot

https://habr.com/ru/articles/1042690/

#telegramбот #python #aiogram #sqlite #sqlitevec #pgvector #эмбеддинги #рекомендательная_система #openrouter #flyio

StyloBot free day as I ran myself ragged trying to get it going in my free time (very little of which I HAD finishing up 2x contracts!).

Biggest win is dropping the ONNX dependency.

Earlier versions used ONNX embeddings as a shortcut: turn a client signature into a vector and compare it.

It worked, but it was never quite the right abstraction. Embeddings are built for language. StyloBot’s inputs are behavioural structures.

The new version defines that behavioural vector space directly. Requests, sessions, browsers, bots, scrapers, and odd clients are placed into a real StyloBot-native space. The system ships with archetype centroids, then adapts those centroids to the actual traffic it sees.

So instead of asking a model what a client 'means', StyloBot learns what your traffic looks like.

StyloBot is REALLY a conceptually unfolded ML model so it sort of trains itself on real traffic around centroids and updates as it goes. It's ODD.

Now out in Release Candidate https://github.com/scottgal/stylobot/releases

Plan is still for full release June 1st but the FOSS client MAY reach RTM quality before that (lots of manual testing!)

#BotDetection #CyberSecurity #DotNet #SQLiteVec #VectorSearch #BehaviouralInference #AIInfrastructure #OpenSource

StyloBot free day as I ran myself ragged trying to get it going in my free time (very little of which I HAD finishing up 2x contracts!).

Biggest win is dropping the ONNX dependency.

Earlier versions used ONNX embeddings as a shortcut: turn a client signature into a vector and compare it.

It worked, but it was never quite the right abstraction. Embeddings are built for language. StyloBot’s inputs are behavioural structures.

The new version defines that behavioural vector space directly. Requests, sessions, browsers, bots, scrapers, and odd clients are placed into a real StyloBot-native space. The system ships with archetype centroids, then adapts those centroids to the actual traffic it sees.

So instead of asking a model what a client 'means', StyloBot learns what your traffic looks like.

StyloBot is REALLY a conceptually unfolded ML model so it sort of trains itself on real traffic around centroids and updates as it goes. It's ODD.

Now out in Release Candidate https://github.com/scottgal/stylobot/releases

Plan is still for full release June 1st but the FOSS client MAY reach RTM quality before that (lots of manual testing!)

#BotDetection #CyberSecurity #DotNet #SQLiteVec #VectorSearch #BehaviouralInference #AIInfrastructure #OpenSource