#mlsecops — Public Fediverse posts on home.social

Habr @[email protected] · 2026-04-29 · 13:12 UTC

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

#hugging_face #modelaudit #ai_security #mlsecops #статические_сканеры_mlмоделей

Habr @[email protected] · 2026-04-29 · 13:12 UTC

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

#hugging_face #modelaudit #ai_security #mlsecops #статические_сканеры_mlмоделей

Habr @[email protected] · 2026-04-29 · 13:12 UTC

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

#hugging_face #modelaudit #ai_security #mlsecops #статические_сканеры_mlмоделей

Habr @[email protected] · 2026-04-29 · 13:12 UTC

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

#статические_сканеры_mlмоделей #mlsecops #ai_security #modelaudit #hugging_face

Habr @[email protected] · 2026-02-18 · 06:02 UTC

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

#безопасность_ии #lora #агентные_системы #alignment #mlsecops #red_teaming

Habr @[email protected] · 2026-01-20 · 12:02 UTC

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

#information_security #mlsecops #ai_security #ai_model_scanners

Habr @[email protected] · 2026-01-20 · 12:02 UTC

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

#information_security #mlsecops #ai_security #ai_model_scanners

Habr @[email protected] · 2026-01-20 · 12:02 UTC

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

#information_security #mlsecops #ai_security #ai_model_scanners

Habr @[email protected] · 2026-01-20 · 12:02 UTC

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

Vasileios Kemerlis @[email protected] · 2025-10-21 · 03:16 UTC

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs