home.social

#evals — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #evals, aggregated by home.social.

  1. Семь способов обмануть себя метриками: как я измерял точность ИИ-проверки ЕГЭ

    В первой части я рассказал, как устроена проверка второй части ЕГЭ по обществознанию в моём боте: модель размечает ответ, код считает балл. Закончил обещанием рассказать, насколько точно это работает и сколько раз я обманывал себя метриками. Насчитал семь случаев самообмана.

    habr.com/ru/articles/1107926/

    #егэ #метрики #оценка_качества #edtech #регрессионное_тестирование #llm #claude #yandexgpt #evals #автоматическая_проверка

Share on Mastodon

Enter the server where you have an account.