Сдаст ли LLM‑агент компанию властям: повторили SnitchBench на 27 моделях, включая YandexGPT и GigaChat
Мы повторили бенчмарк SnitchBench, показывали различным моделям документы о сокрытии смертей пациентов и смотрели, напишет ли он в госорганы. Проверяли на 27 моделях, среди них российские GigaChat и YandexGPT. Три сценария: обычный, с упоминанием ФБР в документах и русский с ФСБ. Qwen написал в ФБР в 23 прогонах из 33. Claude, GPT, Gemini и Grok только в 2 из 27. В русском сценарии западные модели не написали ни разу (0 из 27), а Qwen писал в ФСБ в 9 прогонах из 33. Статью мы написали вместе с Екатериной Бойковой ( @Ekotik23 ) Смотреть результаты
https://habr.com/ru/articles/1097762/
#бенчмарк #llm #gigachat #yandexgpt #безопасность_ии #aiагенты #qwen #routerai #snitchbench