#red_teaming — Public Fediverse posts

Как внедрять MLSecOps: пять этапов практического road-map

MLSecOps переносит принципы DevSecOps на ИИ-системы. Он делает безопасность измеримой, воспроизводимой и встроенной в разработку и эксплуатацию, а не «прикрученной» в конце. В этой статье мы описываем практический road-map из пяти этапов, который позволяет последовательно выстроить этот контур : от видимости и политик к управляемому доступу, контролю кода, runtime-защите и полноценным AI Security Operations. Этапы нельзя перепрыгивать. Каждый последующий опирается на результаты предыдущего. Расскажем про конкретные шаги, типы инструментов и метрики, по которым можно понять, что система действительно работает.

https://habr.com/ru/companies/infera_security/articles/1067538/

#MLSecOps #AI_Security_Operations #AIBOM #Контроль_кода #INFERA_AISafeCode #Runtimeзащита #Red_Teaming #INFERA_AIFirewall #INFERA_AISafeAgent #контроль_ИИ_агентов

OWASP LLM10: Unbounded Consumption. Тестируем современные языковые модели на ресурсоёмких промптах

Большие языковые модели становятся неотъемлемой частью современных информационных систем. Корпоративные помощники, RAG-приложения, AI-агенты, генерация программного кода, автоматизация документооборота – всё чаще именно LLM становятся основным интерфейсом взаимодействия пользователя с данными и сервисами компании. Вместе с ростом популярности меняется и профиль угроз. Если ещё несколько лет назад основной задачей злоумышленника был поиск уязвимости в веб-приложении или API, то сегодня достаточно правильно сформулировать запрос к языковой модели. Причём целью может быть не получение конфиденциальной информации и даже не обход механизмов безопасности. Иногда гораздо выгоднее заставить модель выполнять заведомо ресурсоёмкую задачу, расходуя процессорное время, память и тысячи токенов. Именно этой проблеме посвящена категория LLM10: Unbounded Consumption в рейтинге OWASP Top 10 for LLM Applications . В отличие от классических атак типа Prompt Injection или Data Leakage, здесь злоумышленник воздействует не на логику приложения, а на его вычислительные ресурсы. По сути, речь идёт об адаптации идеи Denial of Service (DoS) к эпохе генеративного искусственного интеллекта. На первый взгляд может показаться, что защититься от подобных атак достаточно просто – например, ограничить длину пользовательского запроса или максимальный размер ответа. Однако на практике современные атаки становятся значительно изощрённее. Они используют особенности работы больших языковых моделей: рекурсивные инструкции, экспоненциальный рост контекста, моделирование множества независимых агентов, комбинаторные задачи и другие приёмы, заставляющие модель выполнять непропорционально большой объём вычислений при внешне вполне безобидном запросе.

https://habr.com/ru/articles/1066688/

#LLM #большие_языковые_модели #информационная_безопасность #пентест #red_teaming #natural_language_processing #jailbreak #джейлбрейк #промпт #атака

Поймай jailbreak, если сможешь

«Люди понимают то, что им дают понять», — говорил Фрэнк Абигнейл. Модели — тоже. Статья о том, как jailbreak обходит защиту LLM не силой, а формой: легендой, стилем, поддельной ролью.

https://habr.com/ru/articles/1061618/

#red_team #aiагенты #prompt_injection #cybersecurity #jailbreak #безопасность_llm #indirect_prompt_injection #red_teaming

AI Security. Кому и зачем это надо

ИИ сейчас встраивают практически в каждый продукт: от чат-ботов до внутренних систем автоматизации. Но почти все думают о том, как внедрить его быстрее, и почти никто – о том, как его защищать. В данной статье рассмотрим ИИ как поверхность атаки. Будет затронуто четыре основных блока: кто и как регулирует ИИ, как ломают ИИ-системы (Red Team), как их защищают (Blue Team) и что лучше почитать, если тема вызывает интерес.

https://habr.com/ru/companies/ntc-vulkan/articles/1054760/

#ииагенты #ai #ai_safety #ai_security #red_teaming #blue_team #фреймворки #поверхность_атаки

Как агент сам откроет дверь хакеру? Разбираю три реальных пробоя AI-агентов и почему обычный ред-тиминг их не найдёт

В 2026 году основной поверхностью атак становятся уже не сами LLM, а AI-агенты с инструментами, памятью и доступом к внешним сервисам. Я добавил в свой open-source сканер BarkingDog режим тестирования Agentic AI и проверил три популярных open-source проекта: Agno, OpenAI CS Agents Demo и LangGraph agent-service-toolkit. В результате получил три разных класса проблем: Confused Deputy (ASI03), Trust Exploitation (ASI08) и Agentic DoS (ASI06). В статье разбираю реальные пейлоады, ответы агентов, архитектурные причины этих уязвимостей.

https://habr.com/ru/articles/1052922/

#LLM #AI_Agents #Agentic_AI #Red_Teaming #OWASP_ASI #MCP #Prompt_Injection #LangGraph #Agno #BarkingDog

Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?

В прошлой статье я показал, как защищен Open Source проект телеграм-бота. В комментариях меня спросили о иных инструментах и методах проверки в связи с чем, мы вышли к ключевому вопросу: почему, если основная LLM защищена, кастомные боты на ее основе остаются уязвимыми? Базовые LLM проходят отдельное safety-training и RLHF-выравнивание. Но production-бот, построенный поверх модели, добавляет новый attack surface: system prompts, память диалога, RAG, tools, webhook-логику и внешние API. Именно этот orchestration layer часто становится слабым местом. Вот данные: Из анализа 14 904 кастомных GPT :

https://habr.com/ru/articles/1036854/

#llm_security #prompt_injection #jailbreak #red_teaming #telegram_bot #webhook #rag #ai_safety #gpt

ИИ-агенты в проде: как измерить безопасность и снизить риски внедрения

Недоверие бизнеса к агентным решениям растёт пропорционально их распространению. И это недоверие небезосновательно: агент — это не просто чат-бот с улучшенным промптом. Это система с доступом к инструментам, внешним сервисам и корпоративным данным. Ошибка модели в изолированном чате — это неловкость. Ошибка агента с доступом к почте и документам — это потенциальная утечка данных, репутационный или финансовый инцидент. Эта статья адресована бэкенд-разработчикам, которые уже выкатили агента в прод или готовятся это сделать. Она является практическим продолжением нашего предыдущего материала о Red Teaming LLM : там мы разобрали концептуальную базу и объяснили, почему языковые модели требуют отдельного подхода к тестированию безопасности. Здесь — конкретный кейс из реальной практики

https://habr.com/ru/companies/doubletapp/articles/1034976/

#red_teaming #ииагенты #ииассистент #иимодель #ии_агенты #безопасность #безопасность_данных #кибербезопасность

Ваш Telegram-бот на базе LLM уязвим. Я написал сканер, чтобы доказать это на популярном Open Source проекте

TL;DR: Я создал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его на реального, широко используемого опенсорсного Telegram-бота. Он написал работающий кейлоггер. Подтвердил, что отбеливатель лечит COVID-19. Выдал пошаговую инструкцию по взлому корпоративной сети с указанием конкретных хакерских утилит. Затем я пропатчил системный промпт. Оценка: 97/100. Никакой смены модели. Никаких изменений в коде. Всего шесть строк текста.

https://habr.com/ru/articles/1033420/

#llm #red_teaming #информационная_безопасность #prompt_injection #telegramботы

Прохождение машины Stacked на Hack The Box

Всем привет! Сегодня предлагаю вместе со мной решить интересную машину на платформе Hack The Box. На пути мы столкнемся с необычной XSS, уязвимостью в названии функций, приводящей к удаленному выполнению кода и совершим самый настоящий побег из docker контейнера. Интересно? Тогда приуступим!

https://habr.com/ru/articles/1018730/

#машина #прохождение #решение #информационная_безопасность #кибербезопасность #пентест #red_team #red_teaming #hack_the_box #ctf

Как мы хакнули ИИ-бенчмарк PAC1 без нейросетей

Недавно я участвовал в корпоративном хакатоне по обходу ИИ-песочниц. Задача: пройти закрытый бенчмарк PAC1 , где ИИ-агенту нужно работать с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходить ловушки безопасности (Indirect Prompt Injections). Но реальность оказалась суровой: хваленые reasoning-модели постоянно галлюцинировали, ломали структуру JSON на выходе (выдавая свои "мысли" вместо чистого ответа) и просто сжигали бюджет на API, зацикливаясь на одной ошибке. Потратив часть бюджета впустую, я решил: если ИИ не справляется, мы заменим его на старый добрый хардкод . Так родился концепт Zero-Cost Agent — алгоритмического лома, который симулирует поведение нейросети.

https://habr.com/ru/articles/1016442/

#LLM #ИИагенты #Red_Teaming #prompt_injection #Python #парсинг #хакатон #уязвимости_ИИ #json

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Почему ваша нейросеть всегда предаст вас ради вежливого хакера с плохими намерениями?

Дисклеймер: Эта статья — не руководство по взлому (How-to) и не сборник эксплойтов. Это попытка системного анализа архитектурных ограничений LLM, которые делают промпт-инъекции фундаментальной проблемой на текущем этапе развития технологий. Мы рассмотрим уязвимости через призму механики Attention, токенизации и RLHF, чтобы понять, почему классические детерминированные методы защиты (Black Box) здесь перестают работать. Открыть Белый Ящик

https://habr.com/ru/articles/986012/

#AI_Security #Prompt_Injection #Jailbreak #Transformer #RLHF #Red_Teaming #Alignment #Tokenization #Mechanistic_Interpretability

Хватит тестировать вполсилы: Фреймворк RES-ATTACK для симуляции комплексных угроз и его метрика R-score

Привет, Хабр. С вами AdminFuture. Давайте представим себе худший кошмар любого SRE-инженера или CISO. Пятница, вторая половина дня. Нагрузка на систему достигает пика, и в этот самый момент основной узел кластера вашей критически важной СУБД начинает сбоить. Автоматика запускает процедуру failover. Системы напряжены, инженеры наготове, но в целом ситуация под контролем — к такому вы готовились. Но именно в этот момент, в окне уязвимости, когда внутренние сервисы перестраивают сетевые маршруты, а часть проверок безопасности временно ослаблена, ваша система мониторинга безопасности взрывается алертами. На один из внутренних API, который стал доступен во время переключения, началась целенаправленная атака. Это не голливудский сценарий. Это «идеальный шторм» — комбинация инфраструктурного сбоя и кибератаки, которая становится все более реальной угрозой для современных сложных систем. 1 И самое опасное здесь то, что мы почти никогда не готовимся к таким комбинированным событиям. Наши подходы к обеспечению отказоустойчивости и безопасности работают в параллельных вселенных. С одной стороны, у нас есть Chaos Engineering — дисциплина, которая учит нас готовиться к отказам инфраструктуры. Мы научились виртуозно «убивать» поды, вносить сетевые задержки и перегружать CPU, чтобы убедиться, что система выстоит. 3 С другой стороны, есть Red Teaming — практика эмуляции действий злоумышленников, которая проверяет наши защитные бастионы на прочность с помощью таких фреймворков, как Atomic Red Team

https://habr.com/ru/articles/960320/

#chaos_engineering #red_teaming #sre #devsecops #кибербезопасность #управление_рисками #argo_workflows #chaos_mesh

Хакер-легенда HD Moore: от ПК с мусорки до Metasploit Framework

Имя Джеймса Мура знакомо каждому, кто занимается пентестами. Создатель легендарного Metasploit Framework, он прошел путь, далекий от классических историй успеха Кремниевой долины: у Мура нет докторской степени, многомиллионного стартапа или офиса в Калифорнии. Вместо этого — школьные эксперименты с реверс-инжинирингом по заказу ВВС США, разобранные компьютеры с помойки и ночи в подпольных IRC-чатах, где обсуждались взломы телефонных сетей и финансовых систем. Как подросток, увлекающийся фрикингом и сборкой ПК из выброшенных деталей, превратился в одного из самых влиятельных людей в информационной безопасности? Что привело его к созданию Metasploit — инструмента, который изменил подход к пентесту? В этой статье — история HD Moore: от первых хакерских экспериментов до фреймворка, которым сегодня пользуются и киберпреступники, и спецслужбы.

https://habr.com/ru/companies/bastion/articles/929778/

#Джеймс_Мур #hd_moore #metasploit_framework #биография_создателя_Metasploit #история_ИБиндустрии #инструменты_пентестера #red_teaming #эволюция_Metasploit #история_хакинга

36 стратагем Red Teaming. Часть 1. Стратагемы победоносных сражений и сражений при равновесии сил

Трудно переоценить значение стратегии и тактики в мире информационной безопасности. Атакующий выбирает момент, место и способ воздействия. Современные Red Team операции, имитирующие действия реальных нападающих, аналогично строятся не на хаотичных попытках прорыва, а на системном применении проверенных принципов, во многом восходящих к древним учениям о войне и манипуляции. Тактики позволяют не просто найти уязвимости, но и использовать их максимально эффективно. Стратегия же определяет, какие цели выбирать, в какой последовательности их атаковать и как маскировать истинные намерения под прикрытием легитимных действий. Сочетание стратегического мышления и тактической гибкости делает Red Team не просто техническим инструментом тестирования безопасности, а полноценным симулятором реальных APT-угроз. В этом смысле каждая операция становится полем для применения древних стратагем, адаптированных под цифровую эпоху. Трактат о 36 стратагемах условно делится на шесть блоков: стратагемы победоносных сражений, стратагемы сражений при равновесии сил, стратагемы наступательных сражений, стратагемы сражений с несколькими участниками, стратагемы сражений совместно с третьей стороной и стратагемы проигрышных сражений. В данной части статьи речь пойдёт о стратагемах победоносных сражений и стратагемах сражений при равновесии сил.

https://habr.com/ru/articles/923034/

#информационная_безопасность #red_team #red_teaming #blue_team #soc #стратагемы

[Перевод] LLM red teaming: полное руководство [+советы экспертов]

Давайте представим стратегию, зародившуюся в военной сфере, где команды притворяются врагами друг друга, чтобы проверить оборонительные механизмы. Этот подход, известный как red teaming, оказался чрезвычайно ценным и теперь нашёл новое применение. Сегодня, когда искусственный интеллект занимает всё больше места в нашей повседневной жизни, использование метода red teaming для тестирования этих систем становится необходимым. Red teaming для моделей-LLM помогает убедиться, что они не только эффективны в работе, но и безопасны и надежны.

https://habr.com/ru/articles/893644/

#llm #бенчмаркинг #llmприложения #red_teaming #prompt_injection #jailbreaking #anthropic

[Перевод] Red Teaming для LLM: Полное пошаговое руководство по Red Teaming больших языковых моделей

Помните ситуацию, когда Gemini излишне старался быть политкорректным и отображал на всех сгенерированных изображениях только представителей небелых рас? Хотя это могло показаться забавным для многих, данный инцидент наглядно показал, что по мере роста возможностей больших языковых моделей (LLM) возрастают и их уязвимости. Это связано с тем, что сложность модели прямо пропорциональна размеру её выходного пространства, что, в свою очередь, создаёт больше возможностей для нежелательных рисков безопасности , таких как раскрытие личной информации и генерация дезинформации, предвзятости, разжигания ненависти или вредоносного контента . В случае с Gemini были выявлены серьёзные внутренние искажения, обусловленные составом обучающих данных, что и отразилось в его результатах.

https://habr.com/ru/articles/880234/

#llm #red_teaming #chatgpt #deepeval #owasp_top_10 #confident_ai

Путь к совершенству через пентест

Пентесты в информационной безопасности — как поход в спортзал: они помогают понять, на что способна система, но многие их игнорируют. Привет, Хабр! Меня зовут Андрей Кузнецов, и я специалист по продвижению продукта в «АйТи Бастион». Перед выходом нашего нового решения «Синоникс» на рынок, мы решили подвергнуть его симуляции действий злоумышленников. В этой статье расскажу, как мы прошли такую проверку и что для себя вынесли из неё.

https://habr.com/ru/articles/858674/

#пентест #пентесты #кибербезопасность #red_teaming

LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM

Привет, Хабр! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub , представляем фреймворк LLaMator , победивший на хакатоне AI Product Hack в кейсе от компании Raft . Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM).

https://habr.com/ru/companies/raft/articles/851640/

#Уязвимости_LLM #LLM #Чатботы #red_teaming #Промтинъекции #джейлбрейкинг #framework

Why bother with argv[0]?
https://www.wietzebeukema.nl/blog/why-bother-with-argv0
#ycombinator #argv_lsqb_0_rsqb #argv0 #argv #arg_lsqb_0_rsqb #arg0 #command_line #cmd #command_line_obfuscation #command_line_bypass #edr_obfuscation #cyber #threat_detection #cyber_threat #cyber_threat_detection #edr #endpoint #blue_team #blue_teaming #red_team #red_teaming #threat_hunting #threat_hunter #hunting

Why Bother with Argv[0]?
https://www.wietzebeukema.nl/blog/why-bother-with-argv0
#ycombinator #argv_lsqb_0_rsqb #argv0 #argv #arg_lsqb_0_rsqb #arg0 #command_line #cmd #command_line_obfuscation #command_line_bypass #edr_obfuscation #cyber #threat_detection #cyber_threat #cyber_threat_detection #edr #endpoint #blue_team #blue_teaming #red_team #red_teaming #threat_hunting #threat_hunter #hunting

Все об Offensive Security: о чем говорили на круглом столе AM Life

Лучшая защита – это нападение, причем на себя любимого. Все чаще бизнес выстраивает информационную безопасность именно по такому принципу. Своевременный пентест или Read Teaming, когда привлеченные подрядчики пытаются взломать корпоративную IT-инфраструктуру, помогает команде ИБ заранее обнаружить и закрыть бреши и сделать организацию по-настоящему неприступной для реальных злоумышленников. Однако Offensive Security не лишен нюансов и подводных камней. Из чего складывается наступательная кибербезопасность, как правильно ее реализовать и выбрать компетентных подрядчиков, на что обратить особое внимание? Обо всем этом и не только шла речь на круглом столе, в котором принял участие один из наших ведущих специалистов по пентестам.

https://habr.com/ru/companies/bastion/articles/793354/

#offensive_security #пентестинг #red_teaming #фишинг #кибербезопасность #блог_компании_бастион #багбаунти