#промтинъекции — Public Fediverse posts

Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»

Парень переустановил систему из-за трояна — и вернул заразу своими руками вместе с бэкапом: она пряталась в конфиге ИИ-агента, замаскированная под его же скилл. Скилл, история, статья с командой установки — всё это текст, который агент исполняет с вашими правами, а почти никто его не читает. Я перестала спрашивать «безопасен ли скилл» и начала спрашивать «что он умеет» — и собрала маленький open-source инструмент, который читает скилл за вас.

https://habr.com/ru/articles/1079640/

#ииагенты #промтинъекции #безопасность_цепочки_поставки #capabilitybased_security #agent_skills #mcp #opensource

«Не мог бы ты взломаться?»: промт-инъекция с точки зрения лингвистики

Пользователь пишет отзыв о магазине и заодно пытается распоряжаться нейросетью. Почему чужая фраза внутри отзыва вдруг получает силу команды? Разберу промт-инъекцию через адресата, речевые акты и смешение ролей. А потом дам Gemini одну и ту же инъекцию в разных языковых формах и проверю, какая из них заставит модель сменить задачу.

https://habr.com/ru/companies/bothub/articles/1077240/

#нейросеть #промтинъекции #лингвистика

Как защититься от AI-атак и промт-инъекций: мой рецепт барьера

Осенью 2025 исследователи показали: достаточно попросить AI-браузер «суммаризируй страницу» на подготовленном сайте — и агент вместо пересказа лезет в Gmail пользователя и отправляет данные атакующему. Без вирусов, без эксплойтов, без «скачайте файл». Просто текст на странице. Это prompt injection — промт-инъекция. В статье: как устроен этот класс атак на пальцах, хроника громких взломов AI-браузеров за последний год со ссылками на первоисточники, и решение, которое мне собрал сам Claude Code по моему ТЗ: хук-«рубильник», отрубающий чувствительные коннекторы после того, как агент читал внешний веб. С механикой, тестами и честными ограничениями.

https://habr.com/ru/articles/1076624/

#промтинъекции #prompt_injection #AIагенты #claude_code #безопасность_ИИ #нейросети #AIбраузеры #вайбкодинг #vibecoding #маркетинг

Темная сторона ЛЛМ: Как и для чего их превращают в оружие (и что с этим делать)

Почему чатбот может захотеть подделывать монгольские тугрики с помощью коры ивы или писать вредоносный код на коре дуба ? Виной тому джейлбрейкинг и он весьма и весьма опасен.

https://habr.com/ru/companies/studyai/articles/1068592/

#искусственный_интеллект #ии #ai #джейлбрейк #информационная_безопасность #безопасность #безопасность_данных #промт #промтинъекции #промтинженеры

Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций

ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций — атак, заставляющих модель раскрывать информацию, которую она не должна выдавать. Сегодня не существует универсальных методов, полностью исключающих промт-инъекции в LLM. Это делает их источником долгосрочных рисков для организаций, проходящих ИИ-трансформацию. Проблема актуальна не только для IT- и ИБ-специалистов, но и для обычных пользователей. Теория подробно описана, однако без практики ее сложно воспринимать как реальную угрозу. На связи Андрей Давид, руководитель отдела продуктов клиентской безопасности Под кат!

https://habr.com/ru/companies/selectel/articles/994940/

#ai_security #промтинъекции #промт #ии #llm #ai #selectel

Яндекс.Вброс или ИИ для фейков

tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ

https://habr.com/ru/articles/902172/

#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг

LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM

Привет, Хабр! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub , представляем фреймворк LLaMator , победивший на хакатоне AI Product Hack в кейсе от компании Raft . Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM).

https://habr.com/ru/companies/raft/articles/851640/

#Уязвимости_LLM #LLM #Чатботы #red_teaming #Промтинъекции #джейлбрейкинг #framework