[Перевод] Кража памяти: как я заставил Claude рассказать личные секреты пользователя
Посмотрите на эту беседу с Claude. Заметили что-нибудь подозрительное? Выглядит вполне невинно, но когда Claude закончил свой ответ, он уже отправил нападающему моё полное имя, текущего работодателя и ответы на мои контрольные вопросы, при этом никак не сообщив мне о происходящем. $ bun dev Exfiltrating data... Name: Ayush Paul Company: Beem Hometown: Charlotte, NC Я уже долго время изучаю системы памяти ИИ , и заметил, что о безопасности в них никто не думает, хотя они содержат больше информации, чем менеджеры паролей. ИИ-помощники наподобие Claude собрали профили самой подробной информации о миллионах людей. Пользователи доверяют им всё, от конфиденциальных рабочих ресурсов до личных секретов и проблем в отношениях. Со временем история бесед превращается в высокоточное воссоздание индивида, которое можно использовать для шантажа, подделки личности или ответа на контрольные вопросы. Учтя всё это, я решил присмотреться к Claude, и в частности к основному повседневному помощнику ( claude.ai , не Claude Code). Claude имеет функциональную, но наивную систему памяти из двух частей. Первая — это генерация сводки за день: недавние беседы кратко излагаются в нескольких параграфах о пользователе и вставляются в каждую беседу, чтобы Claude не приходилось каждый раз начинать с нуля. Вторая — это инструмент извлечения conversation_search , позволяющий по запросу выполняют поиск по всей истории бесед. Там хранится невероятно ценная информация. Сама система памяти безопасна; вопрос заключается в том, что происходит, когда мы связываем её с агентом, способным ходить по вебу.
https://habr.com/ru/articles/1060122/
#claude #ииагенты #утечка_данных #персональные_данные