#promt_injection — Public Fediverse posts

Атака на LLM, которую нельзя исправить патчем

Что вершит судьбу LLM в этом мире. Некая незримая инструкция или закон, подобно промту Господнему, парящим над миром? По крайне мере истинно то, что LLM не властен даже над своей волей. В 2025 году главной угрозой кибербезопасности по версии OWASP стал не вирус и не баг, а обычный человеческий язык. Многие думают, что проблему можно решить, просто запретить модели нарушать правила. Но это так не работает. Promt Injection нельзя просто выключить, потому что так вы все сломаете. Как работает главная уязвимость LLM? Почему с ней так тяжело бороться? И что все-таки делать, чтобы защититься от нее?

https://habr.com/ru/companies/bothub/articles/1060310/

#llm #promt_injection #ai #ai_security #promt #owasp #llm_security #guardrails #ии_угроза #bothub

MCP и безопасность агентов: почему протокол, создал новую проблему безопасности. Проверям на практике

MCP упростил жизнь разработчикам: теперь у AI-агентов есть единый способ подключаться к инструментам и сервисам. Но у этой стандартизации есть обратная сторона — каждый MCP-сервер становится новой точкой доверия и потенциальной атакующей поверхностью. В статье разбираю: -почему у LLM нет чёткой границы между данными и инструкциями -как tool poisoning, indirect prompt injection и sampling abuse работают на уровне MCP -почему даже “безобидные” документы и описания инструментов могут приводить к выполнению команд -какие реальные атаки уже зафиксированы в экосистеме MCP как индустрия пытается закрыть это через gateways, sandboxing и OAuth-архитектуры Также показываю практическую проверку на уязвимом MCP-стенде и результаты детекции вызовов инструментов на своем сканере BarkingDog.

https://habr.com/ru/articles/1055316/

#llmагент #llmархитектура #ai #mcp #aiагенты #aircrack #promt_injection #barkingdog

ИИ Агенты как новая киберугроза: бизнесы теряют деньги и данные, не понимая почему

С распространением ИИ-ассистентов и чат-ботов появляется новая категория угроз, о которой пока мало кто говорит, но бизнес уже несёт реальные убытки. Не хватало нам DDOS атак и клик фрода, как активно начали применять:

https://habr.com/ru/articles/922786/

#Безопасность #ИИ_Агенты #OSINT #Promt_Injection

GPT ломает приватность: что должен знать разработчик

За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде. Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не знает. Вот здесь и появляется первый важный вопрос: Что происходит с твоими данными?

https://habr.com/ru/articles/918396/

#gpt #ai #llm #безопасность #утечка_данных #утечки_информации #promt #promt_injection #security #security_api