#mteb — Public Fediverse posts

Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval . Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR как раз был создан, чтобы показать, насколько результаты retrieval меняются между разными задачами и доменами; один усредненный скор там не заменяет проверку на собственных данных. Нужен свой eval set . И тут обычно возникает ложная развилка:

https://habr.com/ru/articles/1070534/

#rag #retrieval #evals #оценка_качества #LLM #эмбеддинги #поиск #MTEB #ragas #BEIR

#Gemini Embedding model now generally available in #Google #API and #VertexAI 🚀🏆 Top performer on #MTEB Multilingual leaderboard since March launch 🌍 Supports over 100 languages with 2048 maximum input token length

🧵 👇 #ai

Google’s Gemini Embedding AI model has taken the top spot on the MTEB benchmark, outperforming AI models from Cohere and Mistral

#AI #GoogleAI #SearchAI #MTEB #AIResearch #Alphabet #Google

https://winbuzzer.com/2025/03/09/googles-new-gemini-ai-embedding-model-tops-benchmark-rankings-xcxwbn/

Just added the current #MTEB leader #WhereIsAI/UAE-Large-V1 to #SemanticFinder and it's performing great! Would love a base or small version to have it slightly faster for in-browser semantic search.
Test here: https://do-me.github.io/SemanticFinder/