Поиск по визуалу: дообучаем ColPali и ColQwen3 на русский домен, сравниваем текстовый и мультимодальный ретрив
Привет, Хабр! Мы — Роман Макеев из X5 Tech и Егор Мачнев из Т-Банка — работали над поиском по документам с таблицами, графиками и сложной вёрсткой. Чтобы адаптировать визуальные поисковые модели к нужной предметной области, мы разработали методологию подготовки обучающих данных: берём документы и автоматически генерируем и проверяем запросы к их страницам. Составлять обучающие запросы вручную не нужно. В статье расскажем об этом процессе и сравнении с текстовым поиском. На закрытом корпусе X5-private, который не участвовал в обучении, дообученная ColQwen3-2B получила 0,84 nDCG@5 против 0,77 у лучшей текстовой модели.
https://habr.com/ru/companies/X5Tech/articles/1103334/
#визуальный_поиск #документы #lora #мультимодальный_поиск #retrieval #эмбеддинг #rag #colpali #late_interaction #colqwen3