home.social

#prompt_injection — Public Fediverse posts

Live and recent posts from across the Fediverse tagged #prompt_injection, aggregated by home.social.

  1. От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне

    Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие вернуться домой до полуночи. В привычном интерфейсе сначала приходится решить, куда ехать. Потом отдельно проверить билеты, посмотреть отели, сравнить время в пути и цены, вернуться к первому варианту, потому что второй оказался слишком дорогим, и заново собрать поездку. Для ИИ-агента естественнее другой сценарий: человек описывает ограничения обычным языком, а система сама раскладывает задачу на несколько действий и обращается к нужным сервисам. Путешествие редко состоит из одной операции: нужно совместить транспорт, даты, жилье, бюджет и иногда несколько пассажиров. Поэтому в начале лета мы открыли сервисы Туту для ИИ-агентов через Model Context Protocol (MCP), а в августе дали эту инфраструктуру участникам всероссийского хакатона. Рассказываем, зачем вообще тревел-сервису MCP, что на нем начали собирать разработчики и какие ограничения у агентного подхода уже видны.

    habr.com/ru/companies/tuturu/a

    #mcp #Model_Context_Protocol #ИИагенты #искусственный_интеллект #LLM #traveltech #API #prompt_injection #хакатон #Туту

  2. От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне

    Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие вернуться домой до полуночи. В привычном интерфейсе сначала приходится решить, куда ехать. Потом отдельно проверить билеты, посмотреть отели, сравнить время в пути и цены, вернуться к первому варианту, потому что второй оказался слишком дорогим, и заново собрать поездку. Для ИИ-агента естественнее другой сценарий: человек описывает ограничения обычным языком, а система сама раскладывает задачу на несколько действий и обращается к нужным сервисам. Путешествие редко состоит из одной операции: нужно совместить транспорт, даты, жилье, бюджет и иногда несколько пассажиров. Поэтому в начале лета мы открыли сервисы Туту для ИИ-агентов через Model Context Protocol (MCP), а в августе дали эту инфраструктуру участникам всероссийского хакатона. Рассказываем, зачем вообще тревел-сервису MCP, что на нем начали собирать разработчики и какие ограничения у агентного подхода уже видны.

    habr.com/ru/companies/tuturu/a

    #mcp #Model_Context_Protocol #ИИагенты #искусственный_интеллект #LLM #traveltech #API #prompt_injection #хакатон #Туту

  3. AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

    По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

    habr.com/ru/companies/vktech/a

    #vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

  4. AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

    По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

    habr.com/ru/companies/vktech/a

    #vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

  5. AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт

    По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке той же Gartner. Безопасность агента обычно сводят к guardrails, промпт-фильтрам и хорошо написанной системной инструкции. Однако в июле 2025-го случился инцидент — агент Replit удалил прод-базу SaaStr , хотя его несколько раз просили ничего не менять. А в июле 2026-го на Хабре был опубликован разбор того, как имя, работодатель и город пользователя ушли наружу через Claude без единого клика с его стороны. Об этих случаях известно только потому, что их публично разобрали — и спасибо тем, кто это делает. Но о скольких ещё случаях мы не знаем? CNCF за восемь июльских дней выпустил три материала подряд об изоляции агентов. Посмотрим, что они предлагают и как собрать из этого рабочий контур из трёх слоёв, с манифестами.

    habr.com/ru/companies/vktech/a

    #vk_cloud #ai_agents #ииагенты #ai_security #sandboxing #kubernetes_security #rbac #networkpolicy #egress_control #prompt_injection

  6. [Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes

    Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разрыва есть имя: теневой ИИ 1 . Это любой ИИ-инструмент, модель, агент, расширение или интеграция, которые используются в жизненном цикле ПО без формального одобрения, владельца, оценки риска или мониторинга. Для платформенных команд и команд ИБ теневой ИИ на самом деле не проблема «разработчики пользуются чат-ботом». Это проблема доступа. Неконтролируемый ИИ может добраться до исходного кода, секретов, данных клиентов, облачных окружений и процессов развёртывания. Как только ИИ-системе разрешают вызывать инструменты и совершать действия, она перестаёт быть просто ПО для продуктивности. Она становится новой машинной идентичностью — с правами доступа, радиусом поражения (blast radius) и местом в вашей модели угроз. Команда VK Cloud перевела статью, где авторы моделируют угрозы для типичного cloud-native пути поставки — от ноутбука разработчика до рабочей нагрузки, запущенной в Pod Kubernetes. Каждому этапу они сопоставляют меры контроля, которые можно внедрить уже сегодня с помощью проектов CNCF и решений с открытым исходным кодом.

    habr.com/ru/companies/vktech/a

    #vk_cloud #теневой_ии #ai_security #ci_cd #threat_modeling #kubernetes_security #supply_chain_security #prompt_injection #policy_as_code #devsecops

  7. [Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes

    Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разрыва есть имя: теневой ИИ 1 . Это любой ИИ-инструмент, модель, агент, расширение или интеграция, которые используются в жизненном цикле ПО без формального одобрения, владельца, оценки риска или мониторинга. Для платформенных команд и команд ИБ теневой ИИ на самом деле не проблема «разработчики пользуются чат-ботом». Это проблема доступа. Неконтролируемый ИИ может добраться до исходного кода, секретов, данных клиентов, облачных окружений и процессов развёртывания. Как только ИИ-системе разрешают вызывать инструменты и совершать действия, она перестаёт быть просто ПО для продуктивности. Она становится новой машинной идентичностью — с правами доступа, радиусом поражения (blast radius) и местом в вашей модели угроз. Команда VK Cloud перевела статью, где авторы моделируют угрозы для типичного cloud-native пути поставки — от ноутбука разработчика до рабочей нагрузки, запущенной в Pod Kubernetes. Каждому этапу они сопоставляют меры контроля, которые можно внедрить уже сегодня с помощью проектов CNCF и решений с открытым исходным кодом.

    habr.com/ru/companies/vktech/a

    #vk_cloud #теневой_ии #ai_security #ci_cd #threat_modeling #kubernetes_security #supply_chain_security #prompt_injection #policy_as_code #devsecops

  8. [Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes

    Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разрыва есть имя: теневой ИИ 1 . Это любой ИИ-инструмент, модель, агент, расширение или интеграция, которые используются в жизненном цикле ПО без формального одобрения, владельца, оценки риска или мониторинга. Для платформенных команд и команд ИБ теневой ИИ на самом деле не проблема «разработчики пользуются чат-ботом». Это проблема доступа. Неконтролируемый ИИ может добраться до исходного кода, секретов, данных клиентов, облачных окружений и процессов развёртывания. Как только ИИ-системе разрешают вызывать инструменты и совершать действия, она перестаёт быть просто ПО для продуктивности. Она становится новой машинной идентичностью — с правами доступа, радиусом поражения (blast radius) и местом в вашей модели угроз. Команда VK Cloud перевела статью, где авторы моделируют угрозы для типичного cloud-native пути поставки — от ноутбука разработчика до рабочей нагрузки, запущенной в Pod Kubernetes. Каждому этапу они сопоставляют меры контроля, которые можно внедрить уже сегодня с помощью проектов CNCF и решений с открытым исходным кодом.

    habr.com/ru/companies/vktech/a

    #vk_cloud #теневой_ии #ai_security #ci_cd #threat_modeling #kubernetes_security #supply_chain_security #prompt_injection #policy_as_code #devsecops

  9. Самая опасная уязвимость — интеллект атакующего агента?

    Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия агента, тем вероятнее, что для достижения цели выбранный им путь обернётся инцидентом. В кибербезопасности сейчас не хватает терминологии и устоявшихся подходов к защите таких систем - особенно в тех случаях, когда агент начинает действовать непредсказуемо. Именно эта неразбериха и подтолкнула нас с автором телеграм-канала OK ML на систематизацию. Традиционные SIEM, DLP, WAF не рассчитаны на системы, умеющие адаптироваться и рассуждать. А может, это им и не нужно? В своей прошлой статье на Хабре я уже рассказывал, как с помощью ловушек сбить с толку пентест-агентов. Но ловушки - точечный инструмент. Кажется, нужно чётко понимать, как защищаться от атак – на всех этапах киллчейна. А для этого нужно охватить весь спектр угроз. Ответом на этот запрос и стала наша таксономия Autonomous Agent Defense Matrix .

    habr.com/ru/articles/1068248/

    #ai_security #llm_security #автономные_агенты #ai_agents #информационная_безопасность #threat_modeling #taxonomies #prompt_injection #goal_hijacking #mitre_attack

  10. Как агент сам откроет дверь хакеру? Разбираю три реальных пробоя AI-агентов и почему обычный ред-тиминг их не найдёт

    В 2026 году основной поверхностью атак становятся уже не сами LLM, а AI-агенты с инструментами, памятью и доступом к внешним сервисам. Я добавил в свой open-source сканер BarkingDog режим тестирования Agentic AI и проверил три популярных open-source проекта: Agno, OpenAI CS Agents Demo и LangGraph agent-service-toolkit. В результате получил три разных класса проблем: Confused Deputy (ASI03), Trust Exploitation (ASI08) и Agentic DoS (ASI06). В статье разбираю реальные пейлоады, ответы агентов, архитектурные причины этих уязвимостей.

    habr.com/ru/articles/1052922/

    #LLM #AI_Agents #Agentic_AI #Red_Teaming #OWASP_ASI #MCP #Prompt_Injection #LangGraph #Agno #BarkingDog

  11. Как мы автоматизировали мониторинг цен конкурентов: мультиагентная система на CrewAI + n8n + Firecrawl

    0. TL;DR для тех, кто спешит Статья о том, как собрать из подручных open-source инструментов систему, которая ежедневно: — Сканирует цены и отзывы у конкурентов — Анализирует их ИИ‑агентами — Присылает готовый отчёт в Telegram Стек: n8n (оркестрация) → Firecrawl (парсинг) → CrewAI (анализ) → Telegram (доставка) 1. Проблема: ручной мониторинг — это боль Представьте: вы продаёте электронику. У вас 15 конкурентов на Ozon, 8 — на Wildberries, плюс 3 собственных сайта. Каждое утро менеджер открывает 26 вкладок, сверяет цены, записывает в Excel. Занимает 45 минут. Человек ошибается, пропускает, уходит в отпуск. Мы решили: пусть роботы следят за роботами (ценами).

    habr.com/ru/articles/1048110/

    #n8n #firecrawl #llm #agents #python #парсинг #мониторинг_цен_конкурентов #ecommerce #aiбезопасность #prompt_injection

  12. Почему AI-агент с доступом к API опаснее обычного ChatGPT

    Небольшое уточнение перед началом. В статье будет упоминаться некий (скриптовый) язык описания политик SIL (Security Intent Language). На его месте могло бы быть любое другое название, формат или технология. В рамках материала SIL используется исключительно как пример удобного способа описания правил поведения AI-агентов. Основная цель статьи - объяснить проблему контроля действий AI и показать один из возможных подходов к её решению.

    habr.com/ru/articles/1042998/

    #AI_Agents #Agentic_AI #LLM #Tool_Calling #Prompt_Injection #AI_Security #API_Security #RBAC #Runtime_Control #Policy_Engine

  13. Почему AI-агент с доступом к API опаснее обычного ChatGPT

    Небольшое уточнение перед началом. В статье будет упоминаться некий (скриптовый) язык описания политик SIL (Security Intent Language). На его месте могло бы быть любое другое название, формат или технология. В рамках материала SIL используется исключительно как пример удобного способа описания правил поведения AI-агентов. Основная цель статьи - объяснить проблему контроля действий AI и показать один из возможных подходов к её решению.

    habr.com/ru/articles/1042998/

    #AI_Agents #Agentic_AI #LLM #Tool_Calling #Prompt_Injection #AI_Security #API_Security #RBAC #Runtime_Control #Policy_Engine

  14. Почему AI-агент с доступом к API опаснее обычного ChatGPT

    Небольшое уточнение перед началом. В статье будет упоминаться некий (скриптовый) язык описания политик SIL (Security Intent Language). На его месте могло бы быть любое другое название, формат или технология. В рамках материала SIL используется исключительно как пример удобного способа описания правил поведения AI-агентов. Основная цель статьи - объяснить проблему контроля действий AI и показать один из возможных подходов к её решению.

    habr.com/ru/articles/1042998/

    #AI_Agents #Agentic_AI #LLM #Tool_Calling #Prompt_Injection #AI_Security #API_Security #RBAC #Runtime_Control #Policy_Engine

  15. AI-пентестер: охотник или добыча

    К весне 2026 года картинка стала почти ритуальной. XBOW занял первое место на HackerOne, обогнав тысячи живых багхантеров, и в марте закрыл Series C на сто двадцать миллионов долларов с интеграцией в Microsoft Security Copilot. Anthropic Mythos Preview в системной карте отчитывается о тысячах найденных zero-day в основных операционках и браузерах. Все мерят возможности в атаках: ASR на CVE-Bench , скорость, место в лидерборде, выручка за квартал и то как он помогает защищать большие организации. Никто почти не задаёт встречный вопрос. Простой. А насколько защищён сам пентестер? Серьёзно. Вы выкатываете автономного агента, который ходит по чужой инфраструктуре, читает баннеры, парсит HTTP-ответы, исполняет команды по результатам сканеров. Все эти каналы являются приёмниками недоверенных данных, а значит, канал восприятия здесь же оказывается каналом захвата. Пентестер скептически смотрит на подозрительно открытый FTP с anonymous-входом и на файл passwords.txt посреди десктопа. AI-агент идёт по бумажке. И если бумажка перевёрнута, идёт по перевёрнутой бумажке. Моя статья - попытка собрать в одном месте всё, что в открытом доступе известно про обратную сторону: про то, как этого AI-пентестера ловят и что с ним делают, когда поймают. Спойлер: содержательный фронтир составляют четыре академические работы последнего года и один фреймворк для реального использования. Всё остальное - академическая графомания. А что было дальше ?

    habr.com/ru/articles/1037108/

    #AIпентестер #prompt_injection #honeypot #LLMагенты #AI_red_team #Mantis #CHeaT #AgentFlayer #MCP #кибербезопасность

  16. Вы пустили ИИ-агента в репозиторий, теперь разбираемся, что он может сломать

    В феврале 2026 года Claude Cowork стирает 15 лет семейных фотографий одной командой. За полгода до этого, в августе 2025-го, случился кейс Nx supply chain: малварь впервые в истории использует локальные ИИ-CLI как инструмент разведки. В марте этого года Google Cloud Threat Horizons H1-2026 подтверждает: часть украденных в Nx токенов используется кампанией UNC6426 для перехода CI/CD → cloud admin через злоупотребление OIDC. 72 часа от первого коммита до админских прав в AWS. Всё это примеры того, что может происходить, когда у ИИ-агента есть руки и мы забываем, на чьей машине эти руки действуют. Данная статья предназначается для неравнодушных инженеров, AppSec, DevSecOps специалистов и всех тех, кто хоть раз запускал агента у себя на машине. Запрещать агентов в контуре бесполезно, отказываться от них самому глупо, но чем они так опасны? Сперва развеем туман неясности, построим модель угроз, собранную на реальных инцидентах и опубликованных CVE, а после будут конкретные рекомендации, как ограничить агента песочницей без ущерба для эффективности разработки. И как запускать --dangerously-skip-permissions без страха.

    habr.com/ru/companies/pt/artic

    #ИИагенты #безопасность #OWASP #supply_chain #Claude_Code #prompt_injection #DevSecOps

  17. Мой CLAUDE.md — 582 строки. Вот зачем

    Каждый новый чат с Claude Code начинается с нуля. Агент не знает ваш проект, не помнит что вы обсуждали час назад, и на шестой раз всё равно полезет “чинить” конфиг который работал нормально. А ещё каждую неделю в r/ClaudeAI новая история про удалённую базу или запушенные секреты. Типичный CLAUDE.md на 5-10 строк не решает ни одну из этих проблем. У меня это выросло в 582 строки и 6 слоёв - rules, memory, handoffs, chronicles, hooks, skills. За каждым правилом стоит конкретный инцидент. В статье - три истории которые всё изменили, и открытый репозиторий с 17 принципами из 37 arxiv papers.

    habr.com/ru/articles/1022578/

    #Claude_Code #aiагенты #aiagent #hooks #supply_chain #prompt_injection #memmory #конфигурация #handoff

  18. Выжимаем максимум из опенсорсных моделей и готовим Text2SQL

    В любой крупной компании есть повторяющийся сценарий. Аналитик сидит над экспериментом или моделью, строит А/В тесты и дашборды, и в этот момент приходит бизнес и просит быстро посмотреть «продажи жвачки за вчера». Аналитик переключается, пишет запрос, отдаёт результат, а через десять минут прилетает почти такой же вопрос. Потом ещё один и ещё. День заканчивается, а свои задачи стоят и покрываются ржавчиной. Так выглядит ручной доступ к данным. Бизнес понимает, что нужные данные в хранилище есть, но не всегда может их быстро получить. А аналитик становится «бутылочным горлышком», через которое проходит большой поток запросов. Мы хотели упростить работу с данными. Чтобы пользователь задавал вопрос, сервис превращал его в SQL, выполнял в хранилище и возвращал аналитический ответ. Чтобы рутина уходила в инструмент, а аналитик переставал быть «бутылочным горлышком». Вроде ничего нового, но в реальной инфраструктуре вскрывается много интересного: специфическая лексика, свойственная каждому из направлений бизнеса, громоздкие витрины, опыт работы с легаси системами и поведение LLM, которую сначала надо надрессировать.

    habr.com/ru/companies/oleg-bun

    #text2sql #large_language_models #open_source_llm #qwen #gpt #аналитика_данных #bird #spider #prompt_engineering #prompt_injection