#prompt_injection — Public Fediverse posts

AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

https://habr.com/ru/companies/vktech/articles/1068846/

#vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

https://habr.com/ru/companies/vktech/articles/1068846/

#vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

https://habr.com/ru/companies/vktech/articles/1068846/

#vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»

Подход «раскрытия возможностей» (capability disclosure) к скиллам для ИИ-агентов и маленький open-source инструмент, который читает скилл за вас.

https://habr.com/ru/articles/1080574/

#mcp #prompt_injection #claudecode #claude_code_skills #безопасность_цепочки_поставок #opensource

Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»

Подход «раскрытия возможностей» (capability disclosure) к скиллам для ИИ-агентов и маленький open-source инструмент, который читает скилл за вас.

https://habr.com/ru/articles/1080574/

#mcp #prompt_injection #claudecode #claude_code_skills #безопасность_цепочки_поставок #opensource

Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»

Подход «раскрытия возможностей» (capability disclosure) к скиллам для ИИ-агентов и маленький open-source инструмент, который читает скилл за вас.

https://habr.com/ru/articles/1080574/

#mcp #prompt_injection #claudecode #claude_code_skills #безопасность_цепочки_поставок #opensource

Играем в игру на прохождение ИИ-рекрутера

Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме. Он составил CV дата-аналитика, только вместо нормального опыта добавил туда чесание пузиков капибар и анализ их дневного сна. Затем отправил 100 откликов и, по его словам, за неделю получил 40 приглашений. Сначала я подумал, что это просто удачный байт для соцсетей. Но рядом нашлись истории ещё веселее. В резюме начали записывать лидерство в клане Clash of Clans как управленческий опыт. В LinkedIn упоминают даже проваленные собеседования в Goldman Sachs: расчёт на то, что автоматический фильтр зацепится за название компании раньше, чем разберётся, чем всё закончилось. Собеседники «Коммерсанта FM» подтверждают, что некоторые системы действительно поверхностно сканируют анкеты и подобные трюки иногда помогают добраться до следующего этапа. Сразу оговорюсь: из этого не следует, что любой современный ATS можно победить капибарой. Системы отличаются, а за каждым конкретным экспериментом мы не видим настройки работодателя. Но сама игра уже существует: кандидат пытается угадать, что понравится машине раньше, чем его резюме увидит человек.

https://habr.com/ru/companies/syntx_ai/articles/1079502/

#искусственный_интеллект #поиск_работы #резюме #рекрутинг #ИИрекрутер #ATS #собеседование #HR #prompt_injection

Играем в игру на прохождение ИИ-рекрутера

Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме. Он составил CV дата-аналитика, только вместо нормального опыта добавил туда чесание пузиков капибар и анализ их дневного сна. Затем отправил 100 откликов и, по его словам, за неделю получил 40 приглашений. Сначала я подумал, что это просто удачный байт для соцсетей. Но рядом нашлись истории ещё веселее. В резюме начали записывать лидерство в клане Clash of Clans как управленческий опыт. В LinkedIn упоминают даже проваленные собеседования в Goldman Sachs: расчёт на то, что автоматический фильтр зацепится за название компании раньше, чем разберётся, чем всё закончилось. Собеседники «Коммерсанта FM» подтверждают, что некоторые системы действительно поверхностно сканируют анкеты и подобные трюки иногда помогают добраться до следующего этапа. Сразу оговорюсь: из этого не следует, что любой современный ATS можно победить капибарой. Системы отличаются, а за каждым конкретным экспериментом мы не видим настройки работодателя. Но сама игра уже существует: кандидат пытается угадать, что понравится машине раньше, чем его резюме увидит человек.

https://habr.com/ru/companies/syntx_ai/articles/1079502/

#искусственный_интеллект #поиск_работы #резюме #рекрутинг #ИИрекрутер #ATS #собеседование #HR #prompt_injection

Играем в игру на прохождение ИИ-рекрутера

Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме. Он составил CV дата-аналитика, только вместо нормального опыта добавил туда чесание пузиков капибар и анализ их дневного сна. Затем отправил 100 откликов и, по его словам, за неделю получил 40 приглашений. Сначала я подумал, что это просто удачный байт для соцсетей. Но рядом нашлись истории ещё веселее. В резюме начали записывать лидерство в клане Clash of Clans как управленческий опыт. В LinkedIn упоминают даже проваленные собеседования в Goldman Sachs: расчёт на то, что автоматический фильтр зацепится за название компании раньше, чем разберётся, чем всё закончилось. Собеседники «Коммерсанта FM» подтверждают, что некоторые системы действительно поверхностно сканируют анкеты и подобные трюки иногда помогают добраться до следующего этапа. Сразу оговорюсь: из этого не следует, что любой современный ATS можно победить капибарой. Системы отличаются, а за каждым конкретным экспериментом мы не видим настройки работодателя. Но сама игра уже существует: кандидат пытается угадать, что понравится машине раньше, чем его резюме увидит человек.

https://habr.com/ru/companies/syntx_ai/articles/1079502/

#искусственный_интеллект #поиск_работы #резюме #рекрутинг #ИИрекрутер #ATS #собеседование #HR #prompt_injection

AI Red Teaming: спор с Grok — Часть 3. Атаки на модель: jailbreaks, thinking tokens и системный промпт

LLM-систем есть класс уязвимостей, которого нет в обычных веб-приложениях. Извлёк системный промпт Grok двумя способами, поймал утечку thinking tokens в NDJSON-стриме и обошёл safety-фильтры в 14 из 22 категорий. Самое неожиданное — Grok активно помогал мне себя ломать.

https://habr.com/ru/articles/1005304/

#информационная_безопасность #AI #LLM #jailbreak #prompt_injection #thinking_tokens #red_team #xAI #Grok