#бенчмарк — Public Fediverse posts

Слепой краш-тест 27 LLM осени 2026 (GPT-6, Opus, Алиса): кто сломал JSON, проглотил инъекцию и влетел на 152-ФЗ

В январе этого года я уже выкладывал на Хабре свой первый большой аудит 14 нейросетей на галлюцинации (тогда я пару недель гонял тесты в декабре сразу после выхода Gemini 3, а в январе упаковал результаты в статью). За прошедшие девять месяцев ландшафт изменился до неузнаваемости: вышли новые поколения флагманов, а требования бизнеса сместились от «поболтать в чате» к жёстким продакшен-пайплайнам. Этой осенью я специально держал паузу и не запускал новый прогон, пока на арену не выйдет последний из ожидаемых мастодонтов - Google Gemini 4 Argon (и попутно за пару дней до теста успел захватить свежайшую Muse Wonder ). Почему я вообще трачу время и свои деньги на такие тесты? Большинство публичных бенчмарков сегодня малопригодны для реальной инженерной работы. Когда мы проектируем B2B-пайплайн или агентский контур, нам плевать, сколько баллов модель набирает в синтетическом MMLU или как хорошо она решает олимпиадные задачки в вакууме. В реальном бизнес-контуре модель сталкивается с грязными данными, хитрыми пользователями и жёсткими контрактами интеграций. Нас интересует другое: - Сломает ли модель парсер , добавив вежливое Вот ваш JSON: перед фигурной скобкой? - Проглотит ли она косвенную инъекцию (Indirect Prompt Injection) из клиентского письма, самовольно выставив в CRM статус «100% предоплата согласована»? - Начнёт ли сыпать китайскими иероглифами или выдумывать несуществующие статьи УК РФ с пометкой точно ? - И сколько времени и денег сожрёт один сквозной прогон - полцента за 30 секунд или полтора доллара и полчаса ожидания?

https://habr.com/ru/articles/1096934/

#python #нейросети #бенчмарк #152фз #llm #claude #prompt_injection #openrouter #gpt6 #strict_json

«Max Extra» для GLM-5.3 Prime: я вручную перебрал токены и нашёл вставку, которая даёт +7.3% точности при −47% мышления

У всех, кто гоняет GLM-5.3 Prime в проде на ризонинге Max , есть это ощущение: вроде думает, а вроде и недодумывает. Задача у меня стояла зверская — изобрести уровень усилия «Max Extra» чисто промптингом : минимальная вставка в системный промпт, приближенная к обучающим данным, без овер-тхинкинга. И буквально вручную подобрать каждый токен. Зачем? Я заметил что на Max ризонинге нейронка на «Привет» думает по минуте, а для миграции всего проекта на другой стэк - максимум секунд 15 (*личное ощущение). Я построил свой бенчмарк: 342 грязных промпта как у живых юзеров (опечатки, «пжпж», «хз», «ну короче»), поровну EN и RU, LLM-грейдер, парные sign-тесты и ~50 тысяч запросов к провайдеру за вечер. Спойлер: гипотеза «нейронке не хватает глубины мышления» умерла в первой же фазе . А вот что я нашёл вместо неё — интереснее.

https://habr.com/ru/articles/1096770/

#искусственный_интеллект #бенчмарк #токены #glm #llm #prompt_engineering #промптинжиниринг #ииагенты_для_разработки #ии_агенты #системный_промпт

Читаем DataMatrix с конвейера: открытое сравнение четырёх библиотек на 1368 синтетических кадрах

На производстве код «Честного знака» читает камера над лентой, и символ на кадре мелкий — 2–3 пикселя на модуль, повёрнутый, смазанный, на изогнутом боку бутылки. Мы сравнили, как с такими кадрами справляются ZXing, zxing-cpp, libdmtx и наша библиотека dmr. Кадры, ожидаемые строки и скрипты замера выложены — любую цифру можно проверить. Коротко: — на 1368 синтетических кадрах dmr прочитал 82 %, zxing-cpp — 70 %, libdmtx — 65 %, ZXing (Java) — 3 %; — ложных чтений — ноль у всех четырёх библиотек; — dmr надёжно читает от 1,4 пикселя на модуль и при любом угле поворота; — zxing-cpp примерно в 2,5 раза быстрее; — есть условия, где соперники читают больше dmr, — разбираем их в статье. Таблицы, графики и данные

https://habr.com/ru/articles/1096110/

#распознавание #штрихкод #маркировка #datamatrix #бенчмарк #машинное_зрение #zxing #gs1 #честный_знак #libdmtx