Период полураспада бенчмарка ИИ сократился вдвое: 19 месяцев вместо 38
В мае я подал OenoBench, винный бенчмарк для языковых моделей, на NeurIPS. В дискуссии с ревьюерами всплыл вопрос, на который ни у меня, ни у них не было опоры: какой результат на релизе считать достаточным для нового бенчмарка и сколько он вообще проживёт. Чтобы ответить, я собрал 224 бенчмарка, о которых в 2018–2026 годах отчитывались девять лабораторий: OpenAI, Anthropic, Google, Meta, xAI, DeepSeek, Alibaba, Moonshot и Mistral. Для каждого нашёл дату рождения и, если она уже наступила, дату смерти — момент, когда бенчмарк перестаёт различать лучшие модели: лидер набирает 90% или уровень человека, либо создатели сами признают набор насыщенным или сломанным. По этим датам считается период полураспада — срок, за который умирает половина бенчмарков. Главные результаты: Период полураспада бенчмарка — 23 месяца. У вышедших до 2023 года он был 38 месяцев, у вышедших позже — 19. Оценка учитывает и ещё живые бенчмарки, поэтому короткая история новых её не искажает. Новые бенчмарки не проще старых, просто модели быстрее. Запас до потолка на старте у них прежний, а проходят его модели вдвое быстрее. Каждый седьмой новый бенчмарк умирает не от моделей, а от собственных дефектов. У агентных сред это причина почти половины смертей. Ниже — как я считал и сколько, по этим данным, проживёт сам OenoBench. Датасет, кодбук и скрипты — в открытом доступе, ссылки в конце.
https://habr.com/ru/articles/1090426/
#бенчмарк #evaluation #датасет #воспроизводимость #llm #анализ_выживаемости #kaplanmeier #насыщение_бенчмарков #oenobench
