Семь способов обмануть себя метриками: как я измерял точность ИИ-проверки ЕГЭ
В первой части я рассказал, как устроена проверка второй части ЕГЭ по обществознанию в моём боте: модель размечает ответ, код считает балл. Закончил обещанием рассказать, насколько точно это работает и сколько раз я обманывал себя метриками. Насчитал семь случаев самообмана.
https://habr.com/ru/articles/1107926/
#егэ #метрики #оценка_качества #edtech #регрессионное_тестирование #llm #claude #yandexgpt #evals #автоматическая_проверка