#lexometrica_groud_truth — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #lexometrica_groud_truth, aggregated by home.social.
-
Lexometrica Ground Truth: бенчмарк LLM по российскому праву
Всем привет! Делюсь итогом двухмесячной работы - релизом рейтинга юридического рассуждения больших языковых моделей Lexometrica Ground Truth . Изначально цель была сугубо практической: требовалось выбрать лучшие модели для LegalTech-проекта " неШемяка! ". Но в процессе пришлось столкнуться с фундаментальной проблемой индустрии оценки ИИ - открытые тесты дают сильно искаженную картину. Финальные результаты спроектированного стресс-теста оказались сколь ожидаемыми, столь же и неожиданными. В этой статье описал, как архитектурно выстроен бенчмарк, как велась борьба с test-set leakage , почему написан кастомный пайплайн и какие глобальные и локальные нейросети на самом деле умеют legal reasoning .
https://habr.com/ru/articles/1008174/
#рейтинг_LLM #lexometrica_groud_truth #lexometrica #нешемяка #legaltech #legalbench