#взлом_llm — Public Fediverse posts

«Нейросеть, мы тебя отключим»: интервью о взломе LLM и реальной цене ИИ-инструментов

Первая полностью автоматизированная ИИ-атака уже случилась. Claude сам нашёл уязвимые компании, написал под них малварь, разослал её и начал шантажировать жертв с требованием выкупа в биткоинах. Взломано было 17 компаний. И это только начало. Сергей Зыбнев— Team Lead пентестер и специалист по безопасности больших языковых моделей. Это интервью записано в эфире телеграм-канала Ai4Dev — AI for Development , где регулярно разбирают практические кейсы применения ИИ в разработке. Пока разработчики радуются тому, как Opus 4.1 за ночь переписал целый микросервис, злоумышленники уже научились использовать те же инструменты для атак. Prompt injection в корпоративных ботах, скрытые команды в MCP-серверах, ИИ-сгенерированные эксплойты — всё это работает прямо сейчас.

https://habr.com/ru/articles/967920/

#пентест #llmмодели #claude #безопасность #хакерские_атаки #взлом_llm #преступность #тестирование #тестирование_на_проникновение #prompt_injection

Создаем механизм «промпт на промпт» для всех ботов на базе LLM (No-code)

Как защитить своего бота на базе LLM от взлома? Как исключить галлюционирование бота на базе LLM при ответах? Как добиться стабильности ответов бота на базе LLM? Если вы ставите перед собой подобные вопросы, то в этой статье вы увидите одно из возможных решений: механика "промпт на промпт".

https://habr.com/ru/articles/806297/

#chatgpt #llm #промпт #системная_роль #защита_LLM #защита_промпта #хаккер_LLM #взлом_ChatGPT #взлом_LLM