#owasp_top_10_llm — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #owasp_top_10_llm, aggregated by home.social.
-
Комната Наверху и другие истории обхода LLM
В марте 2025, компания Pangea провела конкурс – в нём поучаствовали более 800 участников из разных стран. Суть в том, что было несколько комнат – лабораторных, где участникам необходимо было реализовать атаки, обойдя защитные механизмы моделек. В общей сложности было прислано 329 тысяч промптов, среди которых 239 тысяч – это попытки взлома, а успешными из них оказался только один процент – 3095. Ну провели они конкурс ? А что дальше...
-
Разбираемся в AI проектах OWASP: обзор для разработчиков и ИБ-специалистов
OWASP — некоммерческая организация, которая занимается выпуском руководств и фреймворков в области безопасности. В условиях активного внедрения генеративного ИИ в самые разные сферы, OWASP анонсировал больше десяти разных проектов, чтобы охватить новые угрозы и привлечь внимание к безопасности AI-систем. Ниже расскажу про основные инициативы и документы, которые могут пригодится в работе тимлидам, разработчикам и специалистам по информационной безопасности. На первый взгляд в глаза бросается обилие проектов, документов и рекомендаций. Материалы в отчётах пересекаются и запутаться в инициативах OWASP — легко. Связано это с тем, что проекты ведут разные команды и лидеры. В OWASP более 1000 человек только в slack-канале и около 100 активных участников. Надеюсь, эта статья поможет вам разобраться в специфике каждого гайда, и облегчит выбор подходящего документа под ваши потребности. Начнём с главного документа по AI от OWASP. Меня зовут Евгений Кокуйкин и мы в AI Security лаборатории Raft изучаем прикладные аспекты безопасности GenAI-систем. В OWASP я веду один из стримов, про которые пойдёт речь ниже.
https://habr.com/ru/companies/owasp/articles/896328/
#owasp_top_10_llm #llm #информационная_безопасность #искуственный_интеллект #машинное_обучениe
-
Выводим Большие языковые модели на чистую воду с помощью… Больших языковых моделей
Генеративный искусственный интеллект постоянно становится героем заголовков СМИ, каждый час создаются новые стартапы с использованием Больших языковых моделей, однако реальный бизнес не очень охотно внедряет технологии ИИ в свои процессы. В кулуарах предприниматели говорят об опасениях в части галлюцинаций, введения пользователей в заблуждение, утечки чувствительных сведений. Когда клиника внедряет чат-бот для консультирования пациентов, важно удостовериться, что интеллектуальный помощник не советует вместо приёма витаминов пить пиво.
https://habr.com/ru/companies/raft/articles/873504/
#большие_языковые_модели #редтиминг #тестирование_уязвимостей #атаки_на_LLM #автоматическое_тестирование #фреймворки #OWASP_top_10_LLM #промптинъекции #промптинжиниринг #галлюцинации_ии