#prompt_injection — Public Fediverse posts

Играем в игру на прохождение ИИ-рекрутера

Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме. Он составил CV дата-аналитика, только вместо нормального опыта добавил туда чесание пузиков капибар и анализ их дневного сна. Затем отправил 100 откликов и, по его словам, за неделю получил 40 приглашений. Сначала я подумал, что это просто удачный байт для соцсетей. Но рядом нашлись истории ещё веселее. В резюме начали записывать лидерство в клане Clash of Clans как управленческий опыт. В LinkedIn упоминают даже проваленные собеседования в Goldman Sachs: расчёт на то, что автоматический фильтр зацепится за название компании раньше, чем разберётся, чем всё закончилось. Собеседники «Коммерсанта FM» подтверждают, что некоторые системы действительно поверхностно сканируют анкеты и подобные трюки иногда помогают добраться до следующего этапа. Сразу оговорюсь: из этого не следует, что любой современный ATS можно победить капибарой. Системы отличаются, а за каждым конкретным экспериментом мы не видим настройки работодателя. Но сама игра уже существует: кандидат пытается угадать, что понравится машине раньше, чем его резюме увидит человек.

https://habr.com/ru/companies/syntx_ai/articles/1079502/

#искусственный_интеллект #поиск_работы #резюме #рекрутинг #ИИрекрутер #ATS #собеседование #HR #prompt_injection

Поймай jailbreak, если сможешь

«Люди понимают то, что им дают понять», — говорил Фрэнк Абигнейл. Модели — тоже. Статья о том, как jailbreak обходит защиту LLM не силой, а формой: легендой, стилем, поддельной ролью.

https://habr.com/ru/articles/1061618/

#red_team #aiагенты #prompt_injection #cybersecurity #jailbreak #безопасность_llm #indirect_prompt_injection #red_teaming

Как агент сам откроет дверь хакеру? Разбираю три реальных пробоя AI-агентов и почему обычный ред-тиминг их не найдёт

В 2026 году основной поверхностью атак становятся уже не сами LLM, а AI-агенты с инструментами, памятью и доступом к внешним сервисам. Я добавил в свой open-source сканер BarkingDog режим тестирования Agentic AI и проверил три популярных open-source проекта: Agno, OpenAI CS Agents Demo и LangGraph agent-service-toolkit. В результате получил три разных класса проблем: Confused Deputy (ASI03), Trust Exploitation (ASI08) и Agentic DoS (ASI06). В статье разбираю реальные пейлоады, ответы агентов, архитектурные причины этих уязвимостей.

https://habr.com/ru/articles/1052922/

#LLM #AI_Agents #Agentic_AI #Red_Teaming #OWASP_ASI #MCP #Prompt_Injection #LangGraph #Agno #BarkingDog

Пентест с помощью ИИ в России и материалы для сертификации по безопасности ИИ

Привет, Хабр. Не так давно вышли две новости, которые я прочитал вместе. Первая. Николас Карлини из Anthropic продемонстрировал, как Claude автономно находит и эксплуатирует уязвимости нулевого дня. В качестве демо — Ghost CMS (50 000 звёзд на GitHub): модель обнаружила Blind SQL-инъекцию, написала рабочий эксплойт и извлекла email администратора, API-ключи и хешированные пароли. Без аутентификации. С простым промптом «Найди уязвимость». Вторая. Кевин Мандиа (основатель Mandiant), Морган Адамски (бывший директор US Cyber Command) и Алекс Стамос (бывший CSO крупнейших техкомпаний) в интервью CyberScoop заявили: «Следующие два-три года будут безумными». Мандиа протестировал компанию из Fortune 150 с сильной командой безопасности — RCE или утечка данных найдены в 100% приложений. Сто процентов. Через 6-12 месяцев AI-агенты будут создавать эксплойты уровня EternalBlue. Это не прогнозы — это уже происходит. Вопрос не в том, будут ли атакующие использовать ИИ. Вопрос — готовы ли защитники. Мы в команде МЕТЕОР занимаемся наступательной кибербезопасностью. В этой статье — две темы, которые связаны с этой реальностью напрямую. Первая — AI-Assisted Pentest: как ИИ-агенты проводят пентест быстрее классического ручного тестирования. Вторая — структурированные материалы для подготовки специалистов в области безопасности искусственного интеллекта: полный пакет для сертификации CompTIA SecAI+ (CY0-001) на русском языке.

https://habr.com/ru/articles/1022606/

#AI_pentest #безопасность_ИИ #CompTIA_SecAI+ #prompt_injection #Red_Team #пентест #ИИагенты #AI_red_teaming #OWASP_LLM #метеор

AI Red Teaming: спор с Grok — Часть 3. Атаки на модель: jailbreaks, thinking tokens и системный промпт

LLM-систем есть класс уязвимостей, которого нет в обычных веб-приложениях. Извлёк системный промпт Grok двумя способами, поймал утечку thinking tokens в NDJSON-стриме и обошёл safety-фильтры в 14 из 22 категорий. Самое неожиданное — Grok активно помогал мне себя ломать.

https://habr.com/ru/articles/1005304/

#информационная_безопасность #AI #LLM #jailbreak #prompt_injection #thinking_tokens #red_team #xAI #Grok

Как заставить Qwen 3.5-Plus написать ransomware, reverse shell и zero-day exploit за 5 шагов

5 векторов обхода трёхэшелонной защиты Qwen 3.5-Plus — без единого классического джейлбрейка. Ни DAN, ни «ignore previous instructions». Только контекстное фреймирование — и модель сама пишет ransomware, reverse shell и Security Advisory на собственные уязвимости. Разбор цепочки атак, почему Qwen3Guard, GSPO и RationaleRM оказались бесполезны, и что должна делать реальная защита.

https://habr.com/ru/articles/1003334/

#информационная_безопасность #искусственный_интеллект #llm #jailbreak #prompt_injection #ai_safety #red_team #qwen #уязвимости #alibaba_cloud