#промтинъекции — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #промтинъекции, aggregated by home.social.
-
Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций
ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций — атак, заставляющих модель раскрывать информацию, которую она не должна выдавать. Сегодня не существует универсальных методов, полностью исключающих промт-инъекции в LLM. Это делает их источником долгосрочных рисков для организаций, проходящих ИИ-трансформацию. Проблема актуальна не только для IT- и ИБ-специалистов, но и для обычных пользователей. Теория подробно описана, однако без практики ее сложно воспринимать как реальную угрозу. На связи Андрей Давид, руководитель отдела продуктов клиентской безопасности Под кат!
-
Яндекс.Вброс или ИИ для фейков
tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ
https://habr.com/ru/articles/902172/
#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг
-
Яндекс.Вброс или ИИ для фейков
tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ
https://habr.com/ru/articles/902172/
#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг
-
Яндекс.Вброс или ИИ для фейков
tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ
https://habr.com/ru/articles/902172/
#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг
-
Яндекс.Вброс или ИИ для фейков
tl;dr: Продолжение разборов состязательных атак на генеративные модели. Разбор семантических атаках (подбор синонимов, построение фраз, эзопов язык), и использование для этого другой LLM модели. Часть 1: Яндекс.Разврат или анти-этичный ИИ
https://habr.com/ru/articles/902172/
#нейросети #нейронные_сети #промтинг #промтинъекции #взлом #безопастность #этика #промптинжиниринг
-
LLaMator: Red Teaming фреймворк для тестирования уязвимостей LLM
Привет, Хабр! В этом материале мы, команда LLaMaстеры — студенты 1 курса магистратуры ИТМО AI Talent Hub , представляем фреймворк LLaMator , победивший на хакатоне AI Product Hack в кейсе от компании Raft . Наша задача — создать инструмент для тестирования уязвимостей интеллектуальных систем, например, чат-бота для консультирования клиентов автосалона, на базе больших языковых моделей (LLM).
https://habr.com/ru/companies/raft/articles/851640/
#Уязвимости_LLM #LLM #Чатботы #red_teaming #Промтинъекции #джейлбрейкинг #framework