#рекомендательная_система — Public Fediverse posts

Кеш кандидатов: как снизить расход железа в рекомендательной системе без потери качества

Привет! Это Николай Анохин из команды AI VK. В этой статье расскажу про кеширование кандидатов — подход, который делает рекомендательную систему заметно менее требовательной к железу и при этом не трогает качество выдачи. Механизм уже работает в рекомендациях VK Видео и VK Клипов. Как мы реализовали кеширование кандидатов

https://habr.com/ru/companies/vk/articles/1085306/

#рекомендации #рекомендательная_система #recsys #кеширование_кандидатов

10 дней спустя: как мой бот дважды умирал незаметно, а метрика релевантности мне врала

Полторы недели назад я выложил на Habr бота с лентой хороших новостей на sqlite-vec за $5/мес. Потом пришли живые юзеры — и началось самое интересное. Не код. Эксплуатация. За 10 дней в проде: 🪦 Бот дважды умирал незаметно — поллил Telegram и казался живым, но не создавал ни одной новости по 4–5 дней. Один раз — OOM на загрузке модели, другой — feedparser.parse(url) без таймаута заморозил весь пайплайн. 📉 Метрика релевантности «рухнула» до 30% — и я чуть не откатил рабочую фичу. Оказалось, один юзер поставил 106 дизлайков из 228 и отравил и метрику, и приор источников. Починил, считая по уникальным юзерам — правда оказалась 42%. 🎯 Реакции 78 человек сами показали , какие источники выкинуть: tech-аудитория отвергает общие новости и любит курируемое. Внутри — реальные логи, код фиксов (httpx-таймаут, watchdog, робастные метрики) и уроки про надёжность воркеров и доверие к цифрам. 👉 @futur_e_news_bot

https://habr.com/ru/articles/1045969/

#telegramбот #надёжность #наблюдаемость #sqlitevec #рекомендательная_система #метрики #python #flyio #open_source #ai

Я собрал Telegram-бота с лентой новостей, которая учится на твоих реакциях — и хостится за $5 в месяц

Хотел ленту новостей без двух вещей: дублей (одно событие из пяти каналов с разными заголовками) и потока негатива по утрам. Получился Telegram-бот, который по умолчанию показывает только хорошие и нейтральные новости — а тяжёлый контент включается в настройках на 4 уровнях. Плюс он убирает дубли, переводит RU↔EN и подстраивает выдачу под твои реакции 🔥 ❤️ 😢. Но самое интересное — он живёт на одной машине Fly.io за ~$5 в месяц . В статье разбираю, как: заменил Postgres + pgvector на встраиваемый sqlite-vec и убрал отдельную БД-машину; гоняю типизацию, перевод и оценку тональности через бесплатные LLM на OpenRouter (счёт $0–1/мес); считаю эмбеддинги локально на fastembed /ONNX без внешних API; собрал рекомендательное ядро на «векторе вкуса» с EWMA и анти-баблом. И, конечно, грабли : sqlite-vec , который ломался на arm64; vec0 без INSERT OR REPLACE ; fastembed , сменивший пулинг между версиями; и LLM, которая «подкручивала» оценки негатива, пока я не дал ей чёткую рубрику. 👉 Бот живой, можно потрогать: @futur_e_news_bot

https://habr.com/ru/articles/1042690/

#telegramбот #python #aiogram #sqlite #sqlitevec #pgvector #эмбеддинги #рекомендательная_система #openrouter #flyio

Не все якори одинаково полезны, или как I2I-рекомендации свежими сохранять

Привет, Хабр! Меня зовут Иван Воробьев, я работаю в команде рекомендаций VK Видео, AI VK. В данной статье хочу рассказать, как и зачем я переделывал систему построения I2I -рекомендаций. Поговорим о том, какие решения были поставлены в её основу, насколько они оправдались, а также причём тут якори и как они связаны со свежестью рекомендаций. В первую очередь сосредоточимся на бэкенде: организации работы с данными и вычислений, их конфигурациях, и требуемых вычислительных ресурсах. Основной эффект от внедрения новой системы кроется именно тут: удалось обеспечить свежесть I2I-рекомендаций примерно в час, сократив при этом количество используемых ядер в три раза. Саму логику построения рекомендаций тоже затронем, но в меньшей мере.

https://habr.com/ru/companies/vk/articles/1040306/

#бэкенд #рекомендательная_система #потоковая_обработка #i2i #recsys

DCN-R: как объединить Deep & Cross-модель и ResNet-подход для улучшения рекомендаций

Как мы построили DCN-R: новую гибридную модель рекомендаций на Cross Network и ResNet-блоках Современные рекомендательные системы сталкиваются с парадоксом: модели умеют либо отлично «запоминать» закономерности, либо хорошо «обобщать» новые случаи — но почти никогда не делают это одновременно. В этой статье я показываю, как гибридная архитектура DCN-R , сочетающая Cross Network и Residual Blocks, смогла обойти это ограничение и превзойти классические подходы. Мы провели серия экспериментов, автоматический подбор гиперпараметров, абляции и построили продакшн-готовый сервис, чтобы проверить, действительно ли DCN-R работает лучше, или это просто красивая идея.

https://habr.com/ru/articles/970310/

#машинное_обучение #анализ_данных #искусственный_интеллект #рекомендательные_системы #рекомендательная_система #python #pytorch

Как я добавил систему рекомендаций контента в легаси-проект на PHP 7.2

Привет, хабр! Хочу поделиться историей о том, как столкнулся с проблемой, возможно знакомой многим разработчикам: необходимость внедрить систему рекомендаций в проект, который все еще работает на старой версии php. Обновление версии php в legacy-проекте — это часто настоящий квест. То времени нет, то бизнес-фичи надо пилить, то еще какие-то причины. И часто бывает, что обновление версии php в командах откладывается на потом.

https://habr.com/ru/articles/957224/

#qdrant #ollama #php #векторный_поиск #рекомендательная_система #рекомендательные_системы #библиотека

Как ProfileStream помогает рекомендациям VK быть умными, быстрыми и персонализированными

Привет, Хабр! Меня зовут Андрей Белов, я работаю в команде стриминг-технологий AI VK. Сегодня хочу рассказать, как мы построили систему, которая в реальном времени обрабатывает сотни тысяч событий в секунду и превращает их в персонализированные рекомендации для десятков миллионов пользователей. Благодаря этому люди встречают больше интересной для себя информации, а авторам легче находить свою аудиторию. Поговорим про ProfileStream (часть Discovery-платформы) — нашу систему для расчёта пользовательских эмбеддингов, про то, как мы боролись с терабайтами трафика, и какие простые, но изящные инженерные решения помогли нам справиться с нагрузкой

https://habr.com/ru/companies/vk/articles/934174/

#ProfileStream #рекомендательная_система #коллаборативная_фильтрация #Масштабируемые_MLсистемы #ALS

[Перевод] Рекомендательная система для вашего каталога научных работ (и не только!)

Привет, Хабр! Как выжать максимум из своего архива документов? В мире, где объем информации стремительно растет, найти релевантные материалы среди собственных файлов — задача не из простых. В этой статье мы расскажем, как с помощью инструментов обработки естественного языка и теории графов создать умную рекомендательную систему, которая поможет находить нужные документы: будь это научные статьи, презентации или таблицы с экспериментами и даже если они хранятся в самых разных форматах.

https://habr.com/ru/companies/otus/articles/900962/

#python #nlp #ml #machinelearning #обработка_естественного_языка #теория_графов #рекомендательная_система

Как работают алгоритмы музыкальных стримингов. Разбираем на примере

Кажется, что рекомендательный движок музыкального сервиса - это черный ящик. Берет кучу данных на входе, выплевывает идеальную подборку лично для вас на выходе. В целом это и правда так, но что конкретно делают алгоритмы в недрах музыкальных рекомендаций? Разберем основные подходы и техники, иллюстрируя их конкретными примерами. Начнем с того, что современные музыкальные сервисы не просто так называются стриминговыми. Одна из их ключевых способностей - это выдавать бесконечный поток (stream) треков. А значит, список рекомендаций должен пополняться новыми композициями и никогда не заканчиваться. Нет, безусловно, собственноручно найти свои любимые песни и слушать их тоже никто не запрещает. Но задача стримингов именно в том, чтобы помочь юзеру не потеряться среди миллионов треков. Ведь прослушать такое количество композиций самостоятельно просто физически нереально! Так как они это делают?

https://habr.com/ru/articles/806429/

#стиминг #рекомендательная_система #алгоритмы_машинного_обучения #машинное_обучение #музыка #коллаборативная_фильтрация #яндекс #яндекс_музыка #рекомендации #звук