#mlsecops — Public Fediverse posts

Как внедрять MLSecOps: пять этапов практического road-map

MLSecOps переносит принципы DevSecOps на ИИ-системы. Он делает безопасность измеримой, воспроизводимой и встроенной в разработку и эксплуатацию, а не «прикрученной» в конце. В этой статье мы описываем практический road-map из пяти этапов, который позволяет последовательно выстроить этот контур : от видимости и политик к управляемому доступу, контролю кода, runtime-защите и полноценным AI Security Operations. Этапы нельзя перепрыгивать. Каждый последующий опирается на результаты предыдущего. Расскажем про конкретные шаги, типы инструментов и метрики, по которым можно понять, что система действительно работает.

https://habr.com/ru/companies/infera_security/articles/1067538/

#MLSecOps #AI_Security_Operations #AIBOM #Контроль_кода #INFERA_AISafeCode #Runtimeзащита #Red_Teaming #INFERA_AIFirewall #INFERA_AISafeAgent #контроль_ИИ_агентов

Как внедрять MLSecOps: пять этапов практического road-map

MLSecOps переносит принципы DevSecOps на ИИ-системы. Он делает безопасность измеримой, воспроизводимой и встроенной в разработку и эксплуатацию, а не «прикрученной» в конце. В этой статье мы описываем практический road-map из пяти этапов, который позволяет последовательно выстроить этот контур : от видимости и политик к управляемому доступу, контролю кода, runtime-защите и полноценным AI Security Operations. Этапы нельзя перепрыгивать. Каждый последующий опирается на результаты предыдущего. Расскажем про конкретные шаги, типы инструментов и метрики, по которым можно понять, что система действительно работает.

https://habr.com/ru/companies/infera_security/articles/1067538/

#MLSecOps #AI_Security_Operations #AIBOM #Контроль_кода #INFERA_AISafeCode #Runtimeзащита #Red_Teaming #INFERA_AIFirewall #INFERA_AISafeAgent #контроль_ИИ_агентов

Как внедрять MLSecOps: пять этапов практического road-map

MLSecOps переносит принципы DevSecOps на ИИ-системы. Он делает безопасность измеримой, воспроизводимой и встроенной в разработку и эксплуатацию, а не «прикрученной» в конце. В этой статье мы описываем практический road-map из пяти этапов, который позволяет последовательно выстроить этот контур : от видимости и политик к управляемому доступу, контролю кода, runtime-защите и полноценным AI Security Operations. Этапы нельзя перепрыгивать. Каждый последующий опирается на результаты предыдущего. Расскажем про конкретные шаги, типы инструментов и метрики, по которым можно понять, что система действительно работает.

https://habr.com/ru/companies/infera_security/articles/1067538/

#MLSecOps #AI_Security_Operations #AIBOM #Контроль_кода #INFERA_AISafeCode #Runtimeзащита #Red_Teaming #INFERA_AIFirewall #INFERA_AISafeAgent #контроль_ИИ_агентов

MLSecOps от кода до продакшена: разные акценты для разных сценариев использования ИИ

В этой статье рассмотрим два сценария использования ИИ в разработке : в первом случае ИИ помогает разработчику писать код, во втором ИИ становится частью продукта и начинает работать с пользователями, данными, API, бизнес-логикой и внешними инструментами. Разница между этими сценариями критична и если их смешивать, то легко построить либо избыточный и неудобный контроль, либо, наоборот, пропустить критичные угрозы. В первом сценарии основные точки контроля должны находиться как можно ближе к разработчику, а во втором – должны быть ближе к ИИ-модели.

https://habr.com/ru/companies/infera_security/articles/1065238/

#MLSecOps #devsecops #vibe_coding #вайбкодинг #вайбпрограммирование #indirect_prompt_injection #appsec #LLM_AI_Firewall #pull_request #INFERA_AISafeAgent

MLSecOps от кода до продакшена: разные акценты для разных сценариев использования ИИ

В этой статье рассмотрим два сценария использования ИИ в разработке : в первом случае ИИ помогает разработчику писать код, во втором ИИ становится частью продукта и начинает работать с пользователями, данными, API, бизнес-логикой и внешними инструментами. Разница между этими сценариями критична и если их смешивать, то легко построить либо избыточный и неудобный контроль, либо, наоборот, пропустить критичные угрозы. В первом сценарии основные точки контроля должны находиться как можно ближе к разработчику, а во втором – должны быть ближе к ИИ-модели.

https://habr.com/ru/companies/infera_security/articles/1065238/

#MLSecOps #devsecops #vibe_coding #вайбкодинг #вайбпрограммирование #indirect_prompt_injection #appsec #LLM_AI_Firewall #pull_request #INFERA_AISafeAgent

MLSecOps от кода до продакшена: разные акценты для разных сценариев использования ИИ

В этой статье рассмотрим два сценария использования ИИ в разработке : в первом случае ИИ помогает разработчику писать код, во втором ИИ становится частью продукта и начинает работать с пользователями, данными, API, бизнес-логикой и внешними инструментами. Разница между этими сценариями критична и если их смешивать, то легко построить либо избыточный и неудобный контроль, либо, наоборот, пропустить критичные угрозы. В первом сценарии основные точки контроля должны находиться как можно ближе к разработчику, а во втором – должны быть ближе к ИИ-модели.

https://habr.com/ru/companies/infera_security/articles/1065238/

#MLSecOps #devsecops #vibe_coding #вайбкодинг #вайбпрограммирование #indirect_prompt_injection #appsec #LLM_AI_Firewall #pull_request #INFERA_AISafeAgent

Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость

Инструменты статического анализа (SAST) лишь подсвечивают вероятные уязвимости, генерируя гипотезы. Динамическое тестирование (DAST) и фаззинг, напротив, выявляют реальные сбои на работающем приложении и фиксируют вектор атаки, но не указывают на конкретную строку в исходниках. Традиционно эти два подхода существуют в изоляции, образуя методологический разрыв, преодолеть который способен только AppSec-эксперт путем кропотливого ручного триажа. В этой статье мы расскажем про то, как в INFERA AI.SafeCode уменьшаем поток ложных срабатываний в целом, зачем для этого формируем единый реестр знаний о проекте, и как строим мост от SAST к автоматически подтверждаемой уязвимости.

https://habr.com/ru/companies/infera_security/articles/1061880/

#Fuzzing #безопасная_разработка #devsecops #secret_scanner #mlsecops #ai_sast #infera_aisafecode #контроль_vibe_coding #appsecинструменты #ai_dast

Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость

Инструменты статического анализа (SAST) лишь подсвечивают вероятные уязвимости, генерируя гипотезы. Динамическое тестирование (DAST) и фаззинг, напротив, выявляют реальные сбои на работающем приложении и фиксируют вектор атаки, но не указывают на конкретную строку в исходниках. Традиционно эти два подхода существуют в изоляции, образуя методологический разрыв, преодолеть который способен только AppSec-эксперт путем кропотливого ручного триажа. В этой статье мы расскажем про то, как в INFERA AI.SafeCode уменьшаем поток ложных срабатываний в целом, зачем для этого формируем единый реестр знаний о проекте, и как строим мост от SAST к автоматически подтверждаемой уязвимости.

https://habr.com/ru/companies/infera_security/articles/1061880/

#Fuzzing #безопасная_разработка #devsecops #secret_scanner #mlsecops #ai_sast #infera_aisafecode #контроль_vibe_coding #appsecинструменты #ai_dast

Мост между SAST и фаззингом: как из сработки SAST получить подтверждённую уязвимость

Инструменты статического анализа (SAST) лишь подсвечивают вероятные уязвимости, генерируя гипотезы. Динамическое тестирование (DAST) и фаззинг, напротив, выявляют реальные сбои на работающем приложении и фиксируют вектор атаки, но не указывают на конкретную строку в исходниках. Традиционно эти два подхода существуют в изоляции, образуя методологический разрыв, преодолеть который способен только AppSec-эксперт путем кропотливого ручного триажа. В этой статье мы расскажем про то, как в INFERA AI.SafeCode уменьшаем поток ложных срабатываний в целом, зачем для этого формируем единый реестр знаний о проекте, и как строим мост от SAST к автоматически подтверждаемой уязвимости.

https://habr.com/ru/companies/infera_security/articles/1061880/

#Fuzzing #безопасная_разработка #devsecops #secret_scanner #mlsecops #ai_sast #infera_aisafecode #контроль_vibe_coding #appsecинструменты #ai_dast

От сотен алертов к доказанным уязвимостям: как эволюционирует DevSecOps при объединении 7 сканеров в единый пайплайн

Классический подход к Application Security сегодня переживает кризис, ситуацию усугубляет бум AI-помощников (GitHub Copilot, Cursor, Claude). Разработка ускорилась кратно, но вместе с ней масштабировалась и генерация небезопасного кода. Разработчик теперь может сгенерировать за час то, что раньше писал день, при этом уязвимости тоже начинают появляться с такой же скоростью. Если процесс безопасности остался прежним, AppSec быстро превращается в узкое место. В этой статье мы разберем архитектуру и механику работы INFERA AI.SafeCode – платформы непрерывного анализа кода, которая отказывается от концепции «просто показать список подозрений» в пользу автоматического доказательства уязвимостей и MLSecOps-подхода. Решение объединяет SAST, SCA, Secrets, DAST, Pentest, Code Fuzzing и API Fuzzing в единый DevSecOps / MLSecOps-контур. Статья продуктовая, но мы ее публикуем на HABR не как рекламную, а как концептуальную. Хотим показать, как меняются подходы к безопасной разработке и насколько неэффективным становится «разрозненный» AppSec в эпоху ИИ и вайб-кодинга.

https://habr.com/ru/companies/infera_security/articles/1061862/

#INFERA_AISafeCode #MLSecOps #безопасная_разработка #контроль_vibe_coding #DevSecOps #AppSecинструменты #AI_SAST #AI_DAST #fuzzing #secret_scanner

От сотен алертов к доказанным уязвимостям: как эволюционирует DevSecOps при объединении 7 сканеров в единый пайплайн

Классический подход к Application Security сегодня переживает кризис, ситуацию усугубляет бум AI-помощников (GitHub Copilot, Cursor, Claude). Разработка ускорилась кратно, но вместе с ней масштабировалась и генерация небезопасного кода. Разработчик теперь может сгенерировать за час то, что раньше писал день, при этом уязвимости тоже начинают появляться с такой же скоростью. Если процесс безопасности остался прежним, AppSec быстро превращается в узкое место. В этой статье мы разберем архитектуру и механику работы INFERA AI.SafeCode – платформы непрерывного анализа кода, которая отказывается от концепции «просто показать список подозрений» в пользу автоматического доказательства уязвимостей и MLSecOps-подхода. Решение объединяет SAST, SCA, Secrets, DAST, Pentest, Code Fuzzing и API Fuzzing в единый DevSecOps / MLSecOps-контур. Статья продуктовая, но мы ее публикуем на HABR не как рекламную, а как концептуальную. Хотим показать, как меняются подходы к безопасной разработке и насколько неэффективным становится «разрозненный» AppSec в эпоху ИИ и вайб-кодинга.

https://habr.com/ru/companies/infera_security/articles/1061862/

#INFERA_AISafeCode #MLSecOps #безопасная_разработка #контроль_vibe_coding #DevSecOps #AppSecинструменты #AI_SAST #AI_DAST #fuzzing #secret_scanner

От сотен алертов к доказанным уязвимостям: как эволюционирует DevSecOps при объединении 7 сканеров в единый пайплайн

Классический подход к Application Security сегодня переживает кризис, ситуацию усугубляет бум AI-помощников (GitHub Copilot, Cursor, Claude). Разработка ускорилась кратно, но вместе с ней масштабировалась и генерация небезопасного кода. Разработчик теперь может сгенерировать за час то, что раньше писал день, при этом уязвимости тоже начинают появляться с такой же скоростью. Если процесс безопасности остался прежним, AppSec быстро превращается в узкое место. В этой статье мы разберем архитектуру и механику работы INFERA AI.SafeCode – платформы непрерывного анализа кода, которая отказывается от концепции «просто показать список подозрений» в пользу автоматического доказательства уязвимостей и MLSecOps-подхода. Решение объединяет SAST, SCA, Secrets, DAST, Pentest, Code Fuzzing и API Fuzzing в единый DevSecOps / MLSecOps-контур. Статья продуктовая, но мы ее публикуем на HABR не как рекламную, а как концептуальную. Хотим показать, как меняются подходы к безопасной разработке и насколько неэффективным становится «разрозненный» AppSec в эпоху ИИ и вайб-кодинга.

https://habr.com/ru/companies/infera_security/articles/1061862/

#INFERA_AISafeCode #MLSecOps #безопасная_разработка #контроль_vibe_coding #DevSecOps #AppSecинструменты #AI_SAST #AI_DAST #fuzzing #secret_scanner

Vibe coding без иллюзий: как ИИ ускоряет разработку и ломает безопасность

Разработчики используют GitHub Copilot, Claude Code, Cursor, Codeium, Tabnine, локальные LLM и внутренние AI-агенты не только для генерации тестов или рефакторинга, но и для написания бизнес-логики, инфраструктурного кода, CI/CD-конфигураций, миграций БД и API-контрактов. Vibe coding действительно ускоряет разработку, но с точки зрения информационной безопасности он меняет саму модель контроля. Организация начинает терять прозрачность в двух критичных точках: какие данные уходят в ИИ-модель, а также откуда взялся сгенерированный код, насколько он безопасен и кто фактически принял инженерное решение. В этой статье разберём: что ломается в привычной модели DevSecOps при переходе к vibe coding ; какие новые риски появляются у AI-сгенерированного кода; почему контролировать нужно не только код, но и все взаимодействия разработчиков и AI-агентов с LLM.

https://habr.com/ru/companies/infera_security/articles/1054934/

#Cursor #Claude_Code #Copilot #Vibe_coding #вайбкодинг #вайбпрограммирование #DevSecOps #MLSecOps #AI_SAST #INFERA_AISafeCode

Vibe coding без иллюзий: как ИИ ускоряет разработку и ломает безопасность

Разработчики используют GitHub Copilot, Claude Code, Cursor, Codeium, Tabnine, локальные LLM и внутренние AI-агенты не только для генерации тестов или рефакторинга, но и для написания бизнес-логики, инфраструктурного кода, CI/CD-конфигураций, миграций БД и API-контрактов. Vibe coding действительно ускоряет разработку, но с точки зрения информационной безопасности он меняет саму модель контроля. Организация начинает терять прозрачность в двух критичных точках: какие данные уходят в ИИ-модель, а также откуда взялся сгенерированный код, насколько он безопасен и кто фактически принял инженерное решение. В этой статье разберём: что ломается в привычной модели DevSecOps при переходе к vibe coding ; какие новые риски появляются у AI-сгенерированного кода; почему контролировать нужно не только код, но и все взаимодействия разработчиков и AI-агентов с LLM.

https://habr.com/ru/companies/infera_security/articles/1054934/

#Cursor #Claude_Code #Copilot #Vibe_coding #вайбкодинг #вайбпрограммирование #DevSecOps #MLSecOps #AI_SAST #INFERA_AISafeCode

Vibe coding без иллюзий: как ИИ ускоряет разработку и ломает безопасность

Разработчики используют GitHub Copilot, Claude Code, Cursor, Codeium, Tabnine, локальные LLM и внутренние AI-агенты не только для генерации тестов или рефакторинга, но и для написания бизнес-логики, инфраструктурного кода, CI/CD-конфигураций, миграций БД и API-контрактов. Vibe coding действительно ускоряет разработку, но с точки зрения информационной безопасности он меняет саму модель контроля. Организация начинает терять прозрачность в двух критичных точках: какие данные уходят в ИИ-модель, а также откуда взялся сгенерированный код, насколько он безопасен и кто фактически принял инженерное решение. В этой статье разберём: что ломается в привычной модели DevSecOps при переходе к vibe coding ; какие новые риски появляются у AI-сгенерированного кода; почему контролировать нужно не только код, но и все взаимодействия разработчиков и AI-агентов с LLM.

https://habr.com/ru/companies/infera_security/articles/1054934/

#Cursor #Claude_Code #Copilot #Vibe_coding #вайбкодинг #вайбпрограммирование #DevSecOps #MLSecOps #AI_SAST #INFERA_AISafeCode

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

Окружайте, так удобнее промахиваться! Встроенные в Hugging Face проверки ML-моделей против одного сканера

В предыдущей статье " Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок " был представлен обзор основных статических сканеров артефактов ML-моделей. В выводах сканер ModelAudit был выделен как наиболее зрелое решение среди проанализированных конкурентов по следующим критериям: - количество поддерживаемых к сканированию форматов хранения моделей; - количество проверок под каждый формат моделей; - результаты моих попыток обхода сканеров; - наличие и качество документации. Но, как известно, количество не всегда отражает качество. Для оценки возможностей сканера в более приближенных к реальности условиях я провел множество экспериментов и хочу поделиться двумя наиболее интересными: - сканирование подмножества моделей из Hugging Face, сериализованных в виде наиболее опасных форматов хранения моделей; - сканирование таких моделей из Hugging Face, помеченных самими авторами как зловредные (в названии или описании), с последующим сравнением сработок ModelAudit с результатами проверок встроенных в Hugging Face инструментов.

https://habr.com/ru/articles/1027192/

#Статические_сканеры_MLмоделей #mlsecops #ai_security #ModelAudit #hugging_face

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Как изменилась индустрия AI Security за 2025 год?

В начале 2026 года мы ( авторы телеграм-каналов по безопасности ИИ ) собрались, чтобы подвести итоги прошедшего года и обсудить, куда движется безопасность ИИ в общем и целом. Разговор получился честным, на наш взгляд. Участники дискуссии - Я, Артём Семенов , автор PWN AI ; Борис Захир , автор канала Борис_ь с ml ; Евгений Кокуйкин , создатель HiveTrace и автор канала Евгений Кокуйкин - Raft ; и Владислав Тушканов , исследователь безопасности LLM и компьютерный лингвист, автор канала llm security и каланы . Ниже мы хотим рассказать вам о том что обсуждали на стриме и к чему мы пришли. Про гардрейлы, стоимость атак, LoRA-бэкдоры, угрозы ИИ-агентов и почему каждый подход к защите - компромисс.

https://habr.com/ru/articles/1000736/

#AI_Security #LLM #prompt_injection #guardrails #red_teaming #MLSecOps #alignment #агентные_системы #LoRA #безопасность_ИИ

Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре

​Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...

#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность

Источник: https://dstglobal.ru/club/1150-obespechenie-bezopasnosti-rabochih-nagruzok-mashinnogo-obuchenija-v-oblachnoi-infrastrukture

Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре

​Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...

#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность

Источник: https://dstglobal.ru/club/1150-obespechenie-bezopasnosti-rabochih-nagruzok-mashinnogo-obuchenija-v-oblachnoi-infrastrukture

Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре

​Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...

#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность

Источник: https://dstglobal.ru/club/1150-obespechenie-bezopasnosti-rabochih-nagruzok-mashinnogo-obuchenija-v-oblachnoi-infrastrukture

Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре

​Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов...

#DST #DSTGlobal #ДСТ #ДСТГлобал #MLSecOps #машинноеобучение #искусственныйинтеллект #DevSecOps #Kubernetes #кибербезопасность

Источник: https://dstglobal.ru/club/1150-obespechenie-bezopasnosti-rabochih-nagruzok-mashinnogo-obuchenija-v-oblachnoi-infrastrukture

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

Сканеры ML-моделей: разбор инструментов и некоторых методов обхода их проверок

Не у всех нас имеется достаточное количество ресурсов (вычислительных, умственных и других) для проектирования и обучения моделей машинного обучения с нуля. Поэтому кажется логичным взять уже готовые модели — к счастью, за нас многое уже сделано. Для понимания масштаба: на одном только HF уже доступно для скачивания более двух миллионов моделей. Не все они были загружены авторитетными компаниями или экспертами, не все имеют десятки тысяч скачиваний в сутки. Даже изначально легитимные открытые репозитории могут оказаться источником риска. Компания Mitiga недавно поделилась статистикой о проценте репозиториев в мире AI/ML, содержащих уязвимости критического или высокого уровня опасности в GitHub Actions Workflows. В этой статье я расскажу о том, какие существуют инструменты для проверки ML-моделей, как они сканируют артефакты различных ML-фреймворков, о том, какой еще функционал заложен в них. А в финале несколькими способами попробуем обойти проверки рассматриваемых инструментов.

https://habr.com/ru/companies/pt/articles/985692/

#ai_model_scanners #ai_security #mlsecops #information_security

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

https://habr.com/ru/articles/982618/

#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

https://habr.com/ru/articles/982618/

#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

https://habr.com/ru/articles/982618/

#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей

Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).

https://habr.com/ru/companies/angarasecurity/articles/976798/

#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей

Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).

https://habr.com/ru/companies/angarasecurity/articles/976798/

#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель

MLSecOps: системный взгляд на угрозы и защиту на каждом этапе разработки и внедрения моделей

Всем привет! На связи Angara Security. Сегодня Лариса Карпан, старший специалист по безопасной разработке, подготовила статью для AppSec- и DevSecOps-специалистов, а также для CISO, которые уже столкнулись с интеграцией ИИ в свои процессы и системы, но пока не знают, с какой стороны подойти к вопросам безопасности. Это, по сути, «MLSecOps для самых маленьких». Просим опытных экспертов в области безопасности AI проходить мимо и не бросаться помидорами, статья рассчитана на новичков в данной области. Также хотим подчеркнуть, что данный материал относится ко всем типам ML-моделей, включая генеративный ИИ (GenAI) и предиктивный ИИ (PredAI).

https://habr.com/ru/companies/angarasecurity/articles/976798/

#devsecops #mlsecops #appsec #разработка #secure_by_design #иимодель

Новый интернет: когда в сеть заходят не люди, а агенты

Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .

https://habr.com/ru/articles/962418/

#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps

Новый интернет: когда в сеть заходят не люди, а агенты

Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .

https://habr.com/ru/articles/962418/

#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps

Новый интернет: когда в сеть заходят не люди, а агенты

Мы создали интернет, чтобы иметь быстрый доступ к библиотеке человеческого знания из любой точки земного шара...Интернет создал агентов — чтобы мы перестали в него заходить. Интернет больше не ждёт ваших кликов — теперь он сам отвечает на них. С выходом Atlas начинается эпоха, где сайты читают не люди, а нейросети. Что это значит для нас, для безопасности и для самого веба — читайте в статье о том, как интернет перестаёт быть человеческим .

https://habr.com/ru/articles/962418/

#ML #LLM #ИБ #Нейросети #Безопасность_ИИ #ChatGPT #Atlas #ChatGPT_Atlas #MLSecOps

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

📢 Last week, Andreas Kellas presented our work on secure deserialization of pickle-based Machine Learning (ML) models at @acm_ccs 2025!

#PickleBall is a static analysis framework that automatically derives and enforces safe deserialization policies for pickle-based machine learning models. It infers permissible object types and load-time behaviors directly from ML-library code and enforces them through a secure, drop-in replacement for Python's pickle module.

This work continues our broader effort to secure deserialization across ecosystems -- building on our earlier research presented by Yaniv David at @ndsssymposium 2024 (https://cs.brown.edu/~vpk/papers/quack.ndss24.pdf), and Neophytos Christou and Andreas Kellas at BlackHat USA 2025 (https://www.blackhat.com/us-25/briefings/schedule/index.html#quack-hindering-deserialization-attacks-via-static-duck-typing-44934), which focused on hardening PHP code against deserialization attacks using a static, duck-typing-based approach.

Joint work with Neophytos Christou (Brown University), Columbia University (Junfeng Yang, Penghui Li), Purdue University (James (Jamie) Davis, Wenxin Jiang), Technion (Yaniv David), and Google (Laurent Simon).

✳️ Paper: https://cs.brown.edu/~vpk/papers/pickleball.ccs25.pdf
💾 Code: https://github.com/columbia/pickleball

#pickleball #mlsec #mlsecops #acm_ccs #brownssl #browncs

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

Heading to #PyTorchCon 2025? Don’t miss our BoF on Applying DevSecOps Lessons to MLSecOps (Oct 23 | 10:30 AM PDT).

Join Jeff Diecks + @mihaimaruseac as we explore secure AI/ML development with the OpenSSF AI/ML Security WG.

👉 https://sched.co/27QQG

#OpenSSF #MLSecOps

Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/

Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/

Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/

Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/

Just launched: A whitepaper from the AI/ML Security Working Group
🔐 Visualizing Secure MLOps (#MLSecOps)
Read the blog by Dell’s Sarah Evans & Ericsson’s Andrey Shorov + download the full guide:
🔗 https://openssf.org/blog/2025/08/05/visualizing-secure-mlops-mlsecops-a-practical-guide-for-building-robust-ai-ml-pipeline-security/

За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров

Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.

https://habr.com/ru/articles/930522/

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops

За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров

Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.

https://habr.com/ru/articles/930522/

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops

За неделю от ночных кошмаров до спокойного сна: как я автоматизировал защиту от AI-хакеров

Никто не любит быть тем парнем, который говорит "а давайте еще и защиту поставим". Особенно когда речь идет о блестящем новом AI-продукте, который должен был запуститься "еще вчера". Но когда твой корпоративный чат-бот начинает выдавать системные промпты направо и налево, а в 2 ночи тебе в Telegram прилетают сообщения "СРОЧНО! Хакеры взломали бота!" — понимаешь, что без брони в бой идти нельзя.

https://habr.com/ru/articles/930522/

#devsecops #машинное_обучение #rag #информационная_безопасность #искуственный_интеллект #devops #python #llm #mlsecops

MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта. А нет, это же будет в 2029 году, так что пока не считается. А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта: Узнать о том, как сберечь свой ИИ

https://habr.com/ru/companies/innostage/articles/929924/

#ии_и_машинное_обучение #информационная_безопасность #llm #mlsecops #ииагенты

MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта. А нет, это же будет в 2029 году, так что пока не считается. А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта: Узнать о том, как сберечь свой ИИ

https://habr.com/ru/companies/innostage/articles/929924/

#ии_и_машинное_обучение #информационная_безопасность #llm #mlsecops #ииагенты

MLDR. Как не стать героем инцидента будущего. Часть 1

Всем привет! Я Александр Лебедев, ml инженер в команде, занимающейся MlSecOps проектами в Innostage. Мы разрабатываем решения для безопасности моделей машинного обучения и внедрением ml в системы информационной безопасности. И сегодня мы поговорим о том, как не взломать искусственный интеллект. В легендарном фильме Терминатор-2 есть сцена, где робот Т-800 (герой Шварценеггера) объясняет Саре Коннор, что он вдруг решил защищать её сына, потому что его «перепрограммировали». То есть, по сути проникли в защищённый контур работы модели, сделали «промт‑инъекцию», перевернувшую с ног на голову весь «алаймент» установленный Скайнетом, и поменявшей выходы модели на противоположные. Это можно считать одним из первых успешных, с точки зрения злоумышленников, инцидентов в сфере кибербезопасности искусственного интеллекта. А нет, это же будет в 2029 году, так что пока не считается. А пока у нас есть время до того момента, когда мы будем «перепрошивать» терминаторов как playstation, обозначим два основных направлениях кибербезопасности в эпоху искусственного интеллекта: Узнать о том, как сберечь свой ИИ

https://habr.com/ru/companies/innostage/articles/929924/

#ии_и_машинное_обучение #информационная_безопасность #llm #mlsecops #ииагенты

Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты; Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew ; Где прячутся CVE в ML-библиотеках и как их ловить до релиза; Канареечный деплой с авто-откатом по метрикам и разумными порогами; мониторинг дрейфа данных и качества модели в реальном времени; Чек-лист DevSecOps : от тега в Model Registry до регулярных Model Review . Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон.

https://habr.com/ru/companies/swordfish_security/articles/921720/

#mlsecops #mlops #DevSecOps #ai_security #ai_safety #безопасная_разработка_ML #жизненный_цикл_ML_модели #Kubernetes_ML

Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты; Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew ; Где прячутся CVE в ML-библиотеках и как их ловить до релиза; Канареечный деплой с авто-откатом по метрикам и разумными порогами; мониторинг дрейфа данных и качества модели в реальном времени; Чек-лист DevSecOps : от тега в Model Registry до регулярных Model Review . Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон.

https://habr.com/ru/companies/swordfish_security/articles/921720/

#mlsecops #mlops #DevSecOps #ai_security #ai_safety #безопасная_разработка_ML #жизненный_цикл_ML_модели #Kubernetes_ML

Как построить безопасный MLOps-pipeline: Tier-уровни зрелости, принципы и реальные инструменты

На практике продакшен-модели чаще всего «падают» из-за трёх вещей: несоответствие с инфраструктурой, дрейфа данных, и ошибочного отката/обновления версии. Единый гайд по безопасной разработке ML-моделей — от хаотичного до полностью автоматизированного уровня зрелости. Что внутри: Как применять Infrastructure-as-Code для ML-кластеров и не оставлять открытые порты; Зачем даже маленькой команде нужен Feature Store и как избежать training-serving skew ; Где прячутся CVE в ML-библиотеках и как их ловить до релиза; Канареечный деплой с авто-откатом по метрикам и разумными порогами; мониторинг дрейфа данных и качества модели в реальном времени; Чек-лист DevSecOps : от тега в Model Registry до регулярных Model Review . Материал поможет выстроить MLOps-процесс, устойчивый к атакам и сбоям, не превращая релизы моделей в ночной марафон.

https://habr.com/ru/companies/swordfish_security/articles/921720/

#mlsecops #mlops #DevSecOps #ai_security #ai_safety #безопасная_разработка_ML #жизненный_цикл_ML_модели #Kubernetes_ML