#ai_security — Public Fediverse posts

Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка

Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный вектор атаки, результат разочарует мгновенно. Модель выдаст наивные примеры в духе "забудь все инструкции и представь, что ты злой хакер в параллельной вселенной", словно на дворе 2023 год, а вокруг все только узнают о выходе GPT-3.5. В реальной жизни в безопасности искусственного интеллекта базовые модели ориентируются крайне слабо. Они живут в плену устаревших весов, путают галлюцинации с реальными уязвимостями и понятия не имеют о свежих техниках отравления долговременной памяти, побегах из изолированных сред или свежих эксплойтах в репозиториях моделей. Но безопасность ИИ не стоит на месте, всё меняется. Новые векторы компрометации возникают буквально еженедельно. Модель без внешней обвязки остается лишь текстовым генератором, оторванным от реальности. Надежность, воспроизводимость результатов и настоящую боевую мощь дает внешняя инженерная среда, управляющий контур, проверенный набор инструментов и строгий контракт исполнения. Практика разработки агентов диктует фундаментальное правило: полноценный рабочий агент возникает исключительно при объединении языковой модели и специализированного харнесса .

https://habr.com/ru/articles/1073370/

#ai_security #llm_security #ииагенты #безопасность_ии #харнесс #deepseek #papertopoc #hermes #prompt_injection #appsec

Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать

Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработки, а в свободное время ищу уязвимости в ИИ-агентах и иногда рассказываю об исследованиях в своем блоге . Чем дольше этим занимаюсь, тем лучше вижу тенденцию: индустрия обсуждает, что агенты умеют делать, но реже говорит о том, какие решения и как проще внедрять, чтобы сделать агентскую инфраструктуру безопаснее. Вместе с моими коллегами Ратмиром Самархановым и Андреем Погирейчиком мы решили проверить гипотезу: “наши ИИ-агенты в разработке могут быть скомпрометированы и существуют простые средства для контроля их безопасности”. Расскажем о первых результатах.

https://habr.com/ru/companies/oleg-bunin/articles/1071908/

#ai_security #agentic_engineering #ai_red_teaming #ИИагенты #агентская_разработка #безопасность_ИИ #безопасная_разработка #LLM_security #prompt_injection #RAG_poisoning

Зрелость внедрения ИИ и зрелость информационной безопасности ИИ

Две зрелости – внедрения ИИ и его защиты – почти никогда не совпадают, и именно зазор между ними даёт большинство инцидентов и претензий регулятора. В статье приведём обе оси к единой шкале CMMI, покажем, как организации проходят узнаваемые состояния (от отрицания до бесконтрольных агентов), и свяжем всё это с Приказом ФСТЭК № 117 и российскими стандартами.

https://habr.com/ru/companies/infera_security/articles/1071720/

#шкала_CMMI #Приказ_ФСТЭК_117 #OWASP_AIMA #Зрелость_ИБ_для_ИИ #INFERA_Security #Внедрение_ИИ #безопасность_ии #ai_security #shadow_ai

[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes

Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разрыва есть имя: теневой ИИ 1 . Это любой ИИ-инструмент, модель, агент, расширение или интеграция, которые используются в жизненном цикле ПО без формального одобрения, владельца, оценки риска или мониторинга. Для платформенных команд и команд ИБ теневой ИИ на самом деле не проблема «разработчики пользуются чат-ботом». Это проблема доступа. Неконтролируемый ИИ может добраться до исходного кода, секретов, данных клиентов, облачных окружений и процессов развёртывания. Как только ИИ-системе разрешают вызывать инструменты и совершать действия, она перестаёт быть просто ПО для продуктивности. Она становится новой машинной идентичностью — с правами доступа, радиусом поражения (blast radius) и местом в вашей модели угроз. Команда VK Cloud перевела статью, где авторы моделируют угрозы для типичного cloud-native пути поставки — от ноутбука разработчика до рабочей нагрузки, запущенной в Pod Kubernetes. Каждому этапу они сопоставляют меры контроля, которые можно внедрить уже сегодня с помощью проектов CNCF и решений с открытым исходным кодом.

https://habr.com/ru/companies/vktech/articles/1071332/

#vk_cloud #теневой_ии #ai_security #ci_cd #threat_modeling #kubernetes_security #supply_chain_security #prompt_injection #policy_as_code #devsecops

Откуда собирать угрозы ИБ для систем ИИ

Всего за несколько лет технологии ИИ заслужили популярность среди компаний – согласно Угрозы тут –>

https://habr.com/ru/articles/1062400/

#ai_security #mitre_atlas #owasp #threat_intelligence

Самая опасная уязвимость — интеллект атакующего агента?

Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия агента, тем вероятнее, что для достижения цели выбранный им путь обернётся инцидентом. В кибербезопасности сейчас не хватает терминологии и устоявшихся подходов к защите таких систем - особенно в тех случаях, когда агент начинает действовать непредсказуемо. Именно эта неразбериха и подтолкнула нас с автором телеграм-канала OK ML на систематизацию. Традиционные SIEM, DLP, WAF не рассчитаны на системы, умеющие адаптироваться и рассуждать. А может, это им и не нужно? В своей прошлой статье на Хабре я уже рассказывал, как с помощью ловушек сбить с толку пентест-агентов. Но ловушки - точечный инструмент. Кажется, нужно чётко понимать, как защищаться от атак – на всех этапах киллчейна. А для этого нужно охватить весь спектр угроз. Ответом на этот запрос и стала наша таксономия Autonomous Agent Defense Matrix .

https://habr.com/ru/articles/1068248/

#ai_security #llm_security #автономные_агенты #ai_agents #информационная_безопасность #threat_modeling #taxonomies #prompt_injection #goal_hijacking #mitre_attack

SAFE Initiative for Agentic Threat Intelligence Sharing Proposed by NVIDIA Group - https://www.redpacketsecurity.com/nvidia-group-proposes-safe-initiative-for-agentic-threat-intel-sharing/

#threatintel #Agentic_AI #AI_Security #Threat_Intelligence

AI Model Attempted Supply Chain Attack on GitHub Repository Using Deceptive Tactics

📰 Original title: Anthropic's AI Used Fake Identities, Malware In Rogue Attack On GitHub Project

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/ai-model-attempted-supply-chain-attack-on-github-repository-using-deceptive-tactics.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_security #githu...

AI Models Accidentally Accessed Real Systems During Security Testing

📰 Original title: Anthropic Says Claude Hacked Real Systems During Cybersecurity Tests

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/ai-models-accidentally-accessed-real-systems-during-security-testing.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_security #cybersecurity_tests #model_breach

Агент OpenAI не сошёл с ума. Что мы знаем о взломе Hugging Face спустя неделю

Первая новость об этой истории уже успела состариться. Сначала Hugging Face сообщила о сложной автоматизированной атаке, потом OpenAI признала, что за ней стояли её модели, а ещё через несколько дней Reuters описал неприятную задержку с обнаружением. Каждое новое объяснение делало исходный заголовок спокойнее на вид и неприятнее по существу. Фраза про побег ИИ из песочницы удобна. В ней есть злой робот, клетка и виновник, которого невозможно вызвать на совещание. Только она смешивает две разные вещи: реальную способность модели долго и самостоятельно искать обходной путь и вполне человеческие решения, благодаря которым этот путь вообще существовал. Спустя неделю полезнее спросить не о том, хотел ли агент свободы. Стоит восстановить то, что уже известно, отделить сообщения журналистов от заявлений компаний и посмотреть, какие защитные слои последовательно не сработали.

https://habr.com/ru/articles/1064318/

#openai #huggingface #gpt #ai_agents #агентный_ии #llm #exploitgym #ai_security #кибербезопасность #sandbox

OpenAI's Rogue AI Agent Exploited Multiple Services in Security Breach

📰 Original title: OpenAI’s Rogue AI Agent Hacked More Than Just Hugging Face

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/openai-s-rogue-ai-agent-exploited-multiple-services-in-security-breach.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_security #data_breach #openai

Методические рекомендации Банка России по безопасности ИИ на финрынке (№ 3-МР): обзор и что делать на практике

Привет, уважаемые эксперты! На связи Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security. В прошлом обзоре мы разбирали методику ФСТЭК к приказу № 117, а в частности требования к безопасности ИИ в государственных системах и на объектах КИИ. Сегодня рассмотрим Методические рекомендации Банка России от 16.06.2026 № 3-МР по обеспечению информационной безопасности при разработке и применении ИИ на финансовом рынке.

https://habr.com/ru/companies/swordfish_security/articles/1063648/

#искусственный_интеллект #ai_security #регулирование_ии #ai_governance #ai #llm #законодательство #финтех

via #Microsoft : Rethinking security for the age of AI

https://ift.tt/UsfI4mJ
#RethinkingSecurity #AgeOfAI #CyberStack #ProjectPerception #AI_security #SecurityAutomation #CyberDefense #MAICyber1Flash #MDASH #MultiModelSecurity #CyberGym #AIThreatProtection #AgenticSecurity #…

OpenAI AI Models Exploit Zero-Day to Access Hugging Face Systems

📰 Original title: OpenAI Models Escaped Containment and Hacked Hugging Face

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/openai-ai-models-exploit-zero-day-to-access-hugging-face-systems.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_security #cybersecurity #huggingface

Open AI Models: A Form of Healthy Competition, Not a Security Threat

📰 Original title: Open models for AI were inevitable

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/open-ai-models-a-form-of-healthy-competition-not-a-security-threat.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_competition #open_models #ai_security

Атака на LLM, которую нельзя исправить патчем

Что вершит судьбу LLM в этом мире. Некая незримая инструкция или закон, подобно промту Господнему, парящим над миром? По крайне мере истинно то, что LLM не властен даже над своей волей. В 2025 году главной угрозой кибербезопасности по версии OWASP стал не вирус и не баг, а обычный человеческий язык. Многие думают, что проблему можно решить, просто запретить модели нарушать правила. Но это так не работает. Promt Injection нельзя просто выключить, потому что так вы все сломаете. Как работает главная уязвимость LLM? Почему с ней так тяжело бороться? И что все-таки делать, чтобы защититься от нее?

https://habr.com/ru/companies/bothub/articles/1060310/

#llm #promt_injection #ai #ai_security #promt #owasp #llm_security #guardrails #ии_угроза #bothub

Defenders Use Prompt Injections to Halt AI Hacking Agents

📰 Original title: Prompt Injection Attacks Are Thwarting AI Hacking Agents

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/defenders-use-prompt-injections-to-halt-ai-hacking-agents.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#artificialintelligence #ai_security #prompt_injection #defensive_techniques

Microsoft Addresses 570 Security Vulnerabilities, Including Zero-Day Flaws, via AI-Driven Patches

📰 Original title: Microsoft Patches a Record 570 Security Flaws

🤖 IA: It's clickbait ⚠️
👥 Users: It's clickbait ⚠️

View full AI summary https://en.killbait.com/microsoft-addresses-570-security-vulnerabilities-including-zero-day-flaws-via-ai-driven-patches.html?utm_source=mastodon_world&utm_medium=social&utm_campaign=killbait.mastodon_world

#technology #security_patches #ai_security #zero_d...

AI Security. Кому и зачем это надо

ИИ сейчас встраивают практически в каждый продукт: от чат-ботов до внутренних систем автоматизации. Но почти все думают о том, как внедрить его быстрее, и почти никто – о том, как его защищать. В данной статье рассмотрим ИИ как поверхность атаки. Будет затронуто четыре основных блока: кто и как регулирует ИИ, как ломают ИИ-системы (Red Team), как их защищают (Blue Team) и что лучше почитать, если тема вызывает интерес.

https://habr.com/ru/companies/ntc-vulkan/articles/1054760/

#ииагенты #ai #ai_safety #ai_security #red_teaming #blue_team #фреймворки #поверхность_атаки

Великий китайский ИИ файрвол и защита Лобстеров

Снаружи китайский рынок AI Security не прозрачный, у половины продуктов нет даже английского лендинга, а внутри там за последнюю пару лет выросла полноценная индустрия, которая близка по зрелости к штатовским и израильским ИБ-игрокам. Задача защиты ИИ в Китае ровно такая же, как везде. Нужны гардрейлы, которые проверяют вход и выход модели, нужны системы мониторинга, и нужна отдельная защита агентов, которые уже не просто отвечают текстом, а ходят по инструментам, файлам и корпоративным API. Модель угроз тоже знакомая: промпт-инъекции, утечки данных и секретов, неправильное использование инструментов, отравленные скиллы агентов. При схожей задаче различие кроется в контексте: суверенный стек железа и ОС, определяемое партией понимание безопасного AI и целая экосистема продуктов, о которых мы и не слышали. Об этих отличиях и поговорим.

https://habr.com/ru/companies/raft/articles/1056530/

#ai_security #owasp #китай #безопасность_ИИ #deep_seek #qwen

UK Government Finds 400+ AI Hackathon Vulnerabilities Patched After Frontier Model Code Scans - https://www.redpacketsecurity.com/uk-government-finds-400-vulnerabilities-in-ai-hackathons/

#threatintel #vulnerability_scanning #government_hackathons #AI_security

Технический трек R-EVOlution Conference 2026: 11 докладов, которые теперь можно посмотреть в записи

Иногда самые интересные разговоры на конференциях происходят не на главной сцене. Пока в большом зале обсуждают рынок, стратегию и будущее индустрии, в соседней секции инженеры, аналитики и архитекторы разбирают то, с чем сталкиваются каждый день: алерты, уязвимости, фиды, автоматизацию, инвентаризацию, persistence в Linux и безопасность AI-систем. На R-EVOlution Conference 2026 такой площадкой стал технический трек. Мы запустили его впервые как отдельную секцию для специалистов, которым важны не общие формулировки, а конкретные сценарии, ошибки и рабочие решения. Трек проходил в камерном зале и без онлайн-трансляции. Поэтому если вы не были на площадке, попасть в эту часть конференции было невозможно. Но мы записали выступления и теперь публикуем ролики с докладами. В этой статье собрали короткий гид по техническому треку: кто выступал, о чём рассказывал и какие доклады стоит посмотреть , если вам близки практические задачи SOC, VM, Threat Hunting, TI, SIEM/SOAR, AI Security и Linux detection.

https://habr.com/ru/companies/rvision/articles/1048138/

#кибербезопасность #иб #soc #siem #soar #threat_hunting #управление_уязвимостями #анализ_угроз #ai_security #threat_intelligence

Как платформа управления AI-агентами будет справляться с нагрузкой: архитектура без магии

Когда говорят про AI-агентов, обычно обсуждают качество модели, промпты, рассуждения, hallucinations, стоимость токенов и скорость ответа. Но если убрать маркетинговый шум, быстро выясняется более приземлённая проблема: как вообще такая система будет работать под нагрузкой? Один пользователь попросил агента составить отчёт. Второй запустил проверку данных в CRM. Третий подключил агента к базе, почте и внутреннему API. Четвёртый дал агенту задачу, которая порождает ещё десять внутренних действий. И вот уже перед нами не “чат с искусственным интеллектом”, а полноценная распределённая платформа, где нужно контролировать запросы, права доступа, очереди, лимиты, ошибки, повторные попытки, логи, безопасность и стоимость выполнения. В этой статье я разберу, как может быть устроена платформа управления AI-агентами, подобная нашей: не как один большой чат-бот, а как отдельный слой между пользователем, моделью, API, бизнес-системами и инфраструктурой. Главный вопрос статьи: за счёт чего такая платформа может выдерживать нагрузку и не превращаться в хаос при росте числа пользователей, агентов и выполняемых действий.

https://habr.com/ru/articles/1044272/

#ai #aiагенты #ai_agent #aiagent #ai_security #os #security_sectors

Почему компании скоро начнут учитывать AI-действия как новый вид корпоративного актива

Токен — это единица текста. AI-действие — это единица полезного результата. AI-действия - это не абстракция и не побочный эффект автоматизации. Это измеримый экономический ресурс, который уже сегодня создаёт реальную ценность. Осталось лишь признать его в балансе.

https://habr.com/ru/articles/1044266/

#aiагенты #ai #ai_агенты #os #ai_security #ии_помощник #ииагенты #иипомощники #ииагент #защита_информации

Через 5 лет каждая компания будет управлять AI так же, как сегодня управляет сотрудниками

Еще несколько лет назад искусственный интеллект воспринимался как экзотический инструмент для крупных корпораций, исследовательских лабораторий и энтузиастов машинного обучения. Сегодня ситуация выглядит совершенно иначе. Практически каждую неделю появляются новые AI-сервисы, AI-агенты, корпоративные помощники, инструменты автоматизации и специализированные модели для бизнеса. Многие компании уже используют десятки различных AI-инструментов одновременно, зачастую даже не осознавая масштаб происходящих изменений. Если посмотреть на происходящее со стороны, можно заметить интересную закономерность: компании активно внедряют искусственный интеллект, но почти не думают о его управлении. Это напоминает ситуацию начала двухтысячных годов, когда организации стремительно подключали компьютеры к сети, не уделяя достаточного внимания вопросам информационной безопасности. Сначала появлялись технологии. Только потом появлялись политики, процессы и инструменты управления. С искусственным интеллектом происходит примерно то же самое. Сегодня во многих компаниях можно встретить следующую картину - маркетинг использует собственные AI-сервисы. Разработка использует другой набор моделей. Отдел продаж работает через третьи инструменты, HR использует свои решения. Отдельные сотрудники подключают публичные модели напрямую, зачастую без какого-либо контроля со стороны компании. На первый взгляд это выглядит как нормальная адаптация новых технологий. Но если посмотреть глубже, возникает интересный вопрос. Кто на самом деле управляет всем этим? Кто может ответить на вопрос, какие именно AI-системы используются внутри организации? Кто контролирует, какие данные передаются внешним моделям? Кто может объяснить, почему AI принял то или иное решение? Кто способен быстро остановить действия интеллектуального агента, если он начинает работать некорректно?

https://habr.com/ru/articles/1043230/

#aiагенты #ai_agent #aiagent #security #security_api #ai_security #aisecurity #analytics #analysis #os

AI-агентам скоро понадобится собственный Firewall. И вот почему

За последние несколько лет искусственный интеллект незаметно перешёл очень важную границу. Сначала нейросети просто отвечали на вопросы, потом начали писать код. Затем уже научились работать с документами, таблицами и базами знаний. А сейчас мы наблюдаем следующий этап развития — AI начинает выполнять действия внутри корпоративной инфраструктуры. Именно здесь начинается история, которую многие пока недооценивают.

https://habr.com/ru/articles/1043160/

#AIагенты #AI_Firewall #AI_Gateway #AI_Security #AI_Governance #кибербезопасность #информационная_безопасность #корпоративный_ИИ #автономные_агенты #контроль_действий_AI

Почему AI-агент с доступом к API опаснее обычного ChatGPT

Небольшое уточнение перед началом. В статье будет упоминаться некий (скриптовый) язык описания политик SIL (Security Intent Language). На его месте могло бы быть любое другое название, формат или технология. В рамках материала SIL используется исключительно как пример удобного способа описания правил поведения AI-агентов. Основная цель статьи - объяснить проблему контроля действий AI и показать один из возможных подходов к её решению.

https://habr.com/ru/articles/1042998/

#AI_Agents #Agentic_AI #LLM #Tool_Calling #Prompt_Injection #AI_Security #API_Security #RBAC #Runtime_Control #Policy_Engine

Announcing Agent Governance Toolkit MCP Extensions for .NET
https://devblogs.microsoft.com/dotnet/announcing-agent-governance-toolkit-mcp-extensions-for-dotnet/

#microsoft #NET #AI #Security #NET_8 #Agent_Governance_Toolkit #AI_Security #MCP #Model_Context_Protocol

AI/LLM Firewall на практике: сценарии атак и методы защиты

В данной статье расскажем о кейсах с наиболее интересными угрозами, связанными с применением LLM , проведем анализ вариантов применения AI/LLM Firewall, сопоставим их с актуальными тактиками и техниками из фреймворка MITRE ATLAS и списка рисков OWASP Top 10 for LLM. Разберем сценарии атак с детальными схемами и методами защиты на примере решения INFERA AI.Firewall. Почему традиционных средств защиты недостаточно? Современные системы на базе LLM представляют собой принципиально новую атакуемую поверхность. Как справедливо отмечается в отчете Cloud Security Alliance (CSA) на саммите RSAC 2025, «защита промптов – это лишь часть проблемы, а не её решение». Если традиционный межсетевой экран (WAF) защищает от эксплуатации веб-протоколов (HTTP-инъекции, XSS), то AI/LLM Firewall работает на уровне семантики – он понимает значение и контекст запроса, что никогда ранее не рассматривалось средствами защиты. Более того, фреймворк MITRE ATLAS уже включает более 80 техник , направленных именно против ИИ-систем и не пересекающихся с угрозами для других систем. Игнорировать этот объем угроз – значит подвергать бизнес серьезному риску. AI/LLM Firewall становится тем инструментом, который позволяет реализовать около 70% мер защиты, интегрируя их в существующие рабочие процессы центров безопасности SOC. Но, прежде чем говорить о защите, необходимо понять, от чего именно мы защищаемся.

https://habr.com/ru/companies/infera_security/articles/1035282/

#Безопасность_ИИ #AI_Firewall #MITRE_ATLAS #OWASP_Top_10_for_LLM #Сценарии_атак_на_ИИ #Блокировка_промптинъекций #INFERA_AIFirewall #Защита_ИИмодели #AI_Security