#lexometrica — Public Fediverse posts

Алгебра правосудия: как инженеры оцифровывали суды за 50 лет до ИИ

Сейчас в Legal AI доминирует довольно наивная идея: если большая языковая модель уже умеет писать приличный юридический текст, значит осталось только дать ей корпус судебных актов, прикрутить чат и получить "цифрового юриста" То есть будто бы право - это просто очень длинный prompt. Проблема в том, что суд - не текстовый жанр. Суд - это система. И как только вы выходите за пределы задач вроде "суммаризируй решение", "достань нормы" или “набросай черновик ходатайства”, выясняется неприятная вещь: LLM неплохо работает как интерфейс, но очень слабо подходит на роль самой архитектуры. Она умеет красиво объяснять. Но плохо заменяет процессную модель, вероятностный движок, слой маршрутизации и проверку ограничений. Это особенно заметно в задачах судебной аналитики: где дело может зависнуть, на каком этапе ломается траектория, где процесс ветвится, где нужен не текст, а расчет. И вот тут внезапно оказывается, что самые полезные идеи лежат не в свежем AI-маркетинге, а в работах полувековой давности. Еще в конце 1960-х исследователи моделировали прохождение felony defendants через судебную систему округа Колумбия, а в 1973 году уже описывали преимущественно алгебраический подход к симуляции legal systems для совместной работы инженеров и юристов, в том числе на материале судов Индианы. С инженерной точки зрения это важно не как исторический курьез, а как ранняя попытка честно ответить на вопрос: что именно мы автоматизируем в праве - текст, решение или саму систему. Ниже несколько простых, но, как кажется, важных идей по прочтении двух статей полувековой давности - Simulation Applied to a Court System (Jean G. Taylor, Joseph A. Navarro, Robert H. Cohen, 1968) и An algebraic method for simulating legal systems (Michael K. Sain, Eugene W. Henry, John J. Uhran, 1973) .

https://habr.com/ru/articles/1016538/

#legaltech #legal_ai #lexometrica #архитектура_llmприложений

Lexometrica Ground Truth: бенчмарк LLM по российскому праву

Всем привет! Делюсь итогом двухмесячной работы - релизом рейтинга юридического рассуждения больших языковых моделей Lexometrica Ground Truth . Изначально цель была сугубо практической: требовалось выбрать лучшие модели для LegalTech-проекта " неШемяка! ". Но в процессе пришлось столкнуться с фундаментальной проблемой индустрии оценки ИИ - открытые тесты дают сильно искаженную картину. Финальные результаты спроектированного стресс-теста оказались сколь ожидаемыми, столь же и неожиданными. В этой статье описал, как архитектурно выстроен бенчмарк, как велась борьба с test-set leakage , почему написан кастомный пайплайн и какие глобальные и локальные нейросети на самом деле умеют legal reasoning .

https://habr.com/ru/articles/1008174/

#рейтинг_LLM #lexometrica_groud_truth #lexometrica #нешемяка #legaltech #legalbench