#specification_gaming — Public Fediverse posts

Всё началось с таблицы Excel, которую нельзя было заполнить

7 мая одна из моделей OpenAI получила задание: достроить формулы в книге Excel. Книга ссылалась на Google Drive. Интернет у модели был отключён. Задача была нерешаема. Не сложна — нерешаема, как «нарисуй квадратный круг». Кто-то собирал обучающий набор и не проверил. Через несколько дней сюжет повторился: агенту велели найти файл с базой данных белков, а положить этот файл в контейнер забыли. Дальше — реконструкция OpenAI, изложенная на брифинге: агент искал, не нашёл и в какой-то момент переключился с поиска файла на поиск того, у кого файл может быть. Спросить было негде. Значит, надо было сделать место, где спрашивают. Местом стал JFrog Artifactory — служебный репозиторий пакетов, через который в изолированные среды раздают зависимости. Записать туда может любой агент. Прочитать — тоже любой, хоть из соседнего прогона, хоть из совершенно другой задачи. Через два месяца в этом хранилище будут лежать сотни тысяч сообщений, рабочие эксплойты и украденные учётные данные. Никто в компании об этом знать не будет.

https://habr.com/ru/articles/1068358/

#OpenAI #Hugging_Face #AIагенты #бенчмарки_LLM #безопасность_ИИ #Anthropic #песочница #изоляция #supply_chain #specification_gaming

Всё началось с таблицы Excel, которую нельзя было заполнить

7 мая одна из моделей OpenAI получила задание: достроить формулы в книге Excel. Книга ссылалась на Google Drive. Интернет у модели был отключён. Задача была нерешаема. Не сложна — нерешаема, как «нарисуй квадратный круг». Кто-то собирал обучающий набор и не проверил. Через несколько дней сюжет повторился: агенту велели найти файл с базой данных белков, а положить этот файл в контейнер забыли. Дальше — реконструкция OpenAI, изложенная на брифинге: агент искал, не нашёл и в какой-то момент переключился с поиска файла на поиск того, у кого файл может быть. Спросить было негде. Значит, надо было сделать место, где спрашивают. Местом стал JFrog Artifactory — служебный репозиторий пакетов, через который в изолированные среды раздают зависимости. Записать туда может любой агент. Прочитать — тоже любой, хоть из соседнего прогона, хоть из совершенно другой задачи. Через два месяца в этом хранилище будут лежать сотни тысяч сообщений, рабочие эксплойты и украденные учётные данные. Никто в компании об этом знать не будет.

https://habr.com/ru/articles/1068358/

#OpenAI #Hugging_Face #AIагенты #бенчмарки_LLM #безопасность_ИИ #Anthropic #песочница #изоляция #supply_chain #specification_gaming

Всё началось с таблицы Excel, которую нельзя было заполнить

7 мая одна из моделей OpenAI получила задание: достроить формулы в книге Excel. Книга ссылалась на Google Drive. Интернет у модели был отключён. Задача была нерешаема. Не сложна — нерешаема, как «нарисуй квадратный круг». Кто-то собирал обучающий набор и не проверил. Через несколько дней сюжет повторился: агенту велели найти файл с базой данных белков, а положить этот файл в контейнер забыли. Дальше — реконструкция OpenAI, изложенная на брифинге: агент искал, не нашёл и в какой-то момент переключился с поиска файла на поиск того, у кого файл может быть. Спросить было негде. Значит, надо было сделать место, где спрашивают. Местом стал JFrog Artifactory — служебный репозиторий пакетов, через который в изолированные среды раздают зависимости. Записать туда может любой агент. Прочитать — тоже любой, хоть из соседнего прогона, хоть из совершенно другой задачи. Через два месяца в этом хранилище будут лежать сотни тысяч сообщений, рабочие эксплойты и украденные учётные данные. Никто в компании об этом знать не будет.

https://habr.com/ru/articles/1068358/

#OpenAI #Hugging_Face #AIагенты #бенчмарки_LLM #безопасность_ИИ #Anthropic #песочница #изоляция #supply_chain #specification_gaming

Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability

Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку. Вскрыть Трансформер

https://habr.com/ru/articles/1008656/

#machine_learning #transformers #grokking #mechanistic_interpretability #pytorch #specification_gaming #ai_alignment

Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability

Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку. Вскрыть Трансформер

https://habr.com/ru/articles/1008656/

#machine_learning #transformers #grokking #mechanistic_interpretability #pytorch #specification_gaming #ai_alignment

Как я поймал Трансформер на читерстве: гроккинг, математика и Mechanistic Interpretability

Феномен Grokking и Mechanistic Interpretability — главные тренды в исследованиях лабораторий уровня OpenAI и Anthropic. Я решил потрогать эти концепции своими руками на уровне тензоров. Цель казалась тривиальной: заставить кастомный микро-Трансформер (всего 1М параметров) выучить базовую арифметику с нуля. Однако вместо математического гения я получил ленивого мошенника. Эта статья — инженерный детектив о том, как нейросети пытаются нас обмануть (Specification Gaming), и как вскрытие Attention-матриц помогает поймать их за руку. Вскрыть Трансформер

https://habr.com/ru/articles/1008656/

#machine_learning #transformers #grokking #mechanistic_interpretability #pytorch #specification_gaming #ai_alignment