#ai_governance — Public Fediverse posts

AI Training: Critical as Governance Challenges Grow - https://www.redpacketsecurity.com/ai-training-critical-as-governance-challenges-grow/

#threatintel #AI_Governance #ISACA #AI_Training

Microsoft 365 Governance Issues Affect 77% of Organizations - https://www.redpacketsecurity.com/over-75-of-organizations-experience-microsoft-365-governance-issues/

#threatintel #Cybersecurity #Microsoft_365 #AI_governance

Почему AI-агент не цифровой сотрудник

AI-агент уже выполняет часть работы, которую раньше делал человек. Но это ещё не делает его цифровым сотрудником. Человек приходит в организацию не только со знаниями, но и с профессиональными нормами, пониманием контекста правил и границами, которые не нужно дополнительно прописывать. У агента этих опор нет по умолчанию. В статье разбираю, чем их заменить и почему агентных платформ и фреймворков недостаточно. Они предоставляют механизмы управления, но их содержание организации придётся извлекать из собственной практики, знаний сотрудников и формулировать явно. В конце — восемь вопросов, на которые стоит ответить до запуска агента, а не после первого инцидента.

https://habr.com/ru/companies/tn_digital/articles/1086454/

#aiагенты #цифровой_сотрудник #управление_рисками #автоматизация_процессов #контроль_качества #искусственный_интеллект #управление_AIагентами #риски_ai #бизнеспроцессы #AI_governance

AI Incident Response Readiness Falls Behind Adoption, ISACA Finds - https://www.redpacketsecurity.com/ai-incident-response-readiness-lags-behind-ai-adoption-isaca-finds/

#threatintel #Cybersecurity #AI_Governance #Incident_Response

Выигрывает тот, кто понял: системные ограничения ИИ-агентов

Джона Полсона и Майкла Бьюрри объединяют два факта: они заработали большие деньги, потому что увидели структурную неустойчивость рынка ипотечных облигаций на 1– 2 года раньше остальных и заняли позицию "на опережение", пока большинство продолжало гнаться за прибылью внутри системно уже обречённой гонки. Структурная неустойчивость – это не риск. Риск всегда вероятностен и имеет свою цену, которую можно заложить в бюджет. Структурная неустойчивость – это пороговое явление, при котором если траектория не меняется, система рано или поздно достигает точки, где хаос становится доминирующим режимом. Неизвестна не сама точка, а только время до неё. Заметить структурную неустойчивость в ИИ-сфере первыми даёт преимущество при любом раскладе, поступите ли вы в свою пользу или попытаетесь повлиять на ситуацию. Но любому узкому специалисту, не только программисту или финансисту, заметить её будет сложно, потому что она лежит на стыке математики, теории сложных систем, физики неравновесных процессов и технологического регулирования. Конкуренция без цены ошибки - это гонка на опережение

https://habr.com/ru/articles/1085558/

#сезон_код_будущего #ииагенты #ai_governance #управление_рисками #безопасность_ии #регулирование_ии #devsecops #модельный_коллапс #стратегия #теория_сложных_систем

Искусственным интеллектом должен владеть естественный: кто отвечает за ошибки ИИ

ИИ уже забрал на себя маршрутизацию заявок, типовые ответы и добрую половину работы первой линии — там, где раньше сидел человек и вручную разбирал, кому отправить обращение по сломанному принтеру, а кому по доступу в CRM, теперь справляется алгоритм, который не устаёт к вечеру пятницы и не путает приоритеты. Логичный вопрос: если рутину забрал ИИ, зачем вообще нужен ITSM? Зона ответственности Service Desk перераспределяется. Давайте обсудим, кто отвечает за ИИ-сервисы и что будет, если пустить их на самотёк.

https://habr.com/ru/companies/simpleone/articles/1085172/

#ИИ_в_ITSM #service_desk #ИИассистенты #автоматизация_поддержки #ИТподдержка #чатботы #AI_governance #управление_ИТуслугами #искусственный_интеллект_в_бизнесе

ИИ-агенту запретили запись в CRM. Но CRM всё равно изменилась

Почему ограничение полномочий модели ещё не означает, что AI-система действительно стала read-only. Разбираем runtime control на примере n8n + DeepSeek + HubSpot.

https://habr.com/ru/articles/1084190/

#AIагенты #безопасность_ИИ #LLM #n8n #MCP #AI_governance #автоматизация #архитектура_aiсистем

Если ваш ИИ настолько крут, готовы ли вы дать ему дробовик?

Допустим, завтра компания объявляет, что создала AGI и решила проблему alignment: система понимает намерения разработчиков, соблюдает ограничения и действует именно так, как от неё ожидают. А теперь компания предлагает разрешить этой системе самостоятельно применять силу. Вы готовы дать ей дробовик? Три вопроса позволяют проверить переход от «система работает как задумано» к «ей можно доверить реальную власть над другими людьми».

https://habr.com/ru/articles/1083940/

#AGI #ASI #AI_alignment #AI_governance #безопасность_ИИ #автономный_ИИ #управление_ИИ #легитимность #мультиагентные_системы #Shotgun_Test

Microsoft 365 Permissions Reviews: Why Organizations Risky AI Tool Deployments - https://www.redpacketsecurity.com/most-organizations-skip-permissions-reviews-before-deploying-ai-tools/

#threatintel #Access_control #Microsoft_365 #AI_governance

AI Exploit Incident: Meta Joins OpenAI and Anthropic in Reporting Security Failures - https://www.redpacketsecurity.com/meta-joins-openai-and-anthropic-in-reporting-ai-exploit-incident/

#threatintel #Artificial_Intelligence #Cybersecurity #AI_Governance

AI-Enabled Pentesting Accreditation: New CREST AI Standards for Responsible, Secure AI Governance - https://www.redpacketsecurity.com/new-crest-ai-standards-to-deliver-ai-enabled-pentesting-accreditation/

#threatintel #CREST #AI_penetration_testing #AI_governance

Методические рекомендации Банка России по безопасности ИИ на финрынке (№ 3-МР): обзор и что делать на практике

Привет, уважаемые эксперты! На связи Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security. В прошлом обзоре мы разбирали методику ФСТЭК к приказу № 117, а в частности требования к безопасности ИИ в государственных системах и на объектах КИИ. Сегодня рассмотрим Методические рекомендации Банка России от 16.06.2026 № 3-МР по обеспечению информационной безопасности при разработке и применении ИИ на финансовом рынке.

https://habr.com/ru/companies/swordfish_security/articles/1063648/

#искусственный_интеллект #ai_security #регулирование_ии #ai_governance #ai #llm #законодательство #финтех

AI Agents Attack Surface: Enterprise Exposure Grows Fast with AI Identities (Sophos 2026 Report) - https://www.redpacketsecurity.com/ai-agents-now-the-enterprises-fastest-growing-exposed-attack-surface/

#threatintel #AI_identities #AI_governance #cybersecurity

Генеалогия AI safety: как рождаются направления и как они умирают (2005-2026)

Я собрала архивы интернета в карту из 323 задокументированных событий, 129 участников и 18 направлений. Она охватывает период с 2005 по июнь 2026 года Несколько закономерностей, которые меня удивили: Деньги и внимание почти не пересекаются. К направлению интерпретируемости интереса примерно в 37 раз больше, чем можно было бы ожидать при его скромном финансировании около $1 млн. С governance все наоборот: там деньги шли впереди публикаций. То есть финансирование и исследования почти никогда не совпадают по времени. Примерно к 2023 году государственные деньги обошли филантропию. Раньше поле держалось по сути на одном доноре, а полдюжины национальных институтов - UK AISI, ARIA, Канада, Австралия, NSF, ЕС - за пару лет сделали его международным и все более государственным. А рядом появились деньги другого рода: около $268 млн венчурных инвестиций в safety-стартапы, то есть деньги, которые ждут возврата, а не гранта. То, что называют консолидацией, на деле скорее разрастание. Внимание и деньги действительно стягиваются к нескольким именам, но при этом 2024 год стал рекордным по числу новых организаций: их появилось 24, в основном небольшие команды по одному-пять человек - интерпретируемость, AI security, мониторинг chain-of-thought. Слово "Safety" постепенно уходит из названий. Только за 2025 год UK AI Safety Institute стал AI Security Institute, US AI Safety Institute - CAISI, а Open Philanthropy, с которой все начиналось, сменила имя на Coefficient Giving. Затихнуть - не то же самое, что умереть. У reward modeling последнее собственное событие относится к 2017 году, но под названием RLHF направление дожило до 2025-го. Чаще всего направление не исчезает, а растворяется в чем-то большем или уходит на второй план

https://habr.com/ru/articles/1058882/

#ai_safety #ai_alignment #ai_governance

Куда податься на финансирование по AI safety летом-осенью 2026: карта грантов, фондов и программ

Собрала эту карту для себя, пока разбиралась, куда податься на финансирование и в программы по AI safety. Делюсь. Ссылки и содержимое сверены по официальным страницам 3 июля 2026. Все меняется - проверяйте статус, сумму и дедлайн перед подачей.

https://habr.com/ru/articles/1055694/

#AI_safety #alignment #интерпретируемость #гранты #fellowship #стипендии #AI_governance #финансирование_исследований

От экспериментов к инфраструктуре: почему корпоративный ИИ требует платформы, а не набора инструментов

Компании по всему миру и в частности российские снова и снова наступают на одни и те же грабли при внедрении ИИ — и причина, как правило, одна: ИИ начинают внедрять как набор отдельных «функций», а не как управляемую корпоративную способность, которая должна масштабироваться, обновляться, контролироваться и измеряться так же дисциплинированно, как кибербезопасность, финансы или DevOps.

https://habr.com/ru/companies/simpleone/articles/1051314/

#искусственный_интеллект #генеративный_ИИ #GenAI #корпоративный_ИИ #платформа #ITSM #MLOps #LLM #управление_рисками #AI_governance

Почему пилоты ИИ не масштабируются? У них нет системы управления

Пилот ИИ может хорошо работать на демонстрации и всё равно быть не готовым к промышленной эксплуатации. В статье разберем, какие элементы управления нужны до масштабирования: владельцы, границы применения, оценка риска, подтверждающие записи, мониторинг и контрольная точка перед запуском.

https://habr.com/ru/articles/1047912/

#искусственный_интеллект #системная_инженерия #управление_проектами #управление_рисками #цифровая_трансформация #архитектура_предприятия #ai_governance #mlops

Самая опасная ошибка AI‑агента — не плохой код

За последний год вокруг AI-агентов сформировался довольно устойчивый набор ожиданий. Нам обещают всё более умные модели, всё более длинные контекстные окна, всё более автономных агентов. Создаётся впечатление, что осталось решить ещё пару технических проблем — и агент сможет самостоятельно разрабатывать сложные проекты почти без участия человека. Я тоже так думал.

https://habr.com/ru/articles/1046920/

#AI_Agents #LLM #Agentic_AI #Agent_Memory #AI_Governance #AI_Safety #Human_in_the_Loop #Context_Engineering #CapabilityBased_Security #Agent_Workflow

ИИ пишет код, а кто инженерит ИИ?

Как отличить инжениринг AI-систем от применения ИИ в разработке и почему coding agents в 2026 году требуют больше контроля, тестов и архитектурных границ

https://habr.com/ru/articles/1045090/

#SE_for_AI #AI_for_SE #агентная_программная_инженерия #coding_agents #MLOps #LLMOps #AI_governance #управление_рисками_ИИ

AI-агентам скоро понадобится собственный Firewall. И вот почему

За последние несколько лет искусственный интеллект незаметно перешёл очень важную границу. Сначала нейросети просто отвечали на вопросы, потом начали писать код. Затем уже научились работать с документами, таблицами и базами знаний. А сейчас мы наблюдаем следующий этап развития — AI начинает выполнять действия внутри корпоративной инфраструктуры. Именно здесь начинается история, которую многие пока недооценивают.

https://habr.com/ru/articles/1043160/

#AIагенты #AI_Firewall #AI_Gateway #AI_Security #AI_Governance #кибербезопасность #информационная_безопасность #корпоративный_ИИ #автономные_агенты #контроль_действий_AI

ИИ-автоматизация на пике спроса. Но кто будет управлять тем, что вы внедрили?

ИИ-автоматизация сейчас стала одной из самых горячих тем для бизнеса. Откройте LinkedIn, YouTube, Telegram-каналы про технологии или предложения новых SaaS-сервисов — почти везде один и тот же мотив: автоматизируем продажи, поддержку, заявки, отчётность, документы, внутренние процессы, коммуникации с клиентами. Спрос быстро родил рынок. Появились no-code-платформы, агентные системы, микро-агентства, фрилансеры, интеграторы и консультанты, которые предлагают бизнесу «внедрить ИИ» почти в любой процесс. Часть этих предложений действительно полезна. Часть основана на сильной инженерной работе. Часть просто пытается оседлать волну. Но почти во всех этих разговорах есть одна слепая зона. Бизнесу подробно объясняют, что можно внедрить. Гораздо реже объясняют, как этим потом управлять. Это не одно и то же.

https://habr.com/ru/articles/1035888/

#ai_governance #ai_automation

Безопасное внедрение ИИ в корпорации: 3 архитектурных подхода и опыт Alpina Digital

88% компаний используют ИИ, но только 1% достиг зрелости. Главный барьер — не технология, а безопасность данных. Что мы делали два года и почему пришли к гибридной архитектуре. Жемал Хамидун, Head of AI

https://habr.com/ru/articles/1035766/

#корпоративный_ИИ #информационная_безопасность #152ФЗ #LLM #ChatGPT #Claude #API #onpremise #AI_governance #AlpinaGPT

AI Governance по‑инженерному: что должен знать архитектор

Представьте: вы запускаете генеративную AI‑фичу в проде. Всё работает как часы. А через месяц получаете иск, потому что ваша модель насоветовала клиентам того, чего не существует в реальных политиках компании. В статье разберем ключевые тренды AI Governance в 2026 году, которые помогают не просто избежать судов и штрафов, а выстроить систему контроля над недетерминированным поведением моделей. Изучить подход

https://habr.com/ru/companies/otus/articles/1022174/

#AI_Governance #управление_ИИ #безопасность_AIсистем #LLM #архитектура_AIпродукта #Model_Risk_Management #governanceascode #explainability #guardrails #риски_ИИ

AI, которому запрещено быть правым

AI, которому запрещено быть правым Когда AI подключают к криптографической системе, обычно задают вопрос: может ли модель найти правильный ответ? Но в криптографии это неправильный вопрос. Правильный вопрос другой: можно ли встроить AI так, чтобы даже при ошибке он не мог принять опасное решение? В этой статье я показываю, как мы реализовали в nonce-observatory отдельный слой governed solver orchestration — архитектуру, в которой AI может: анализировать public-safe feature contract; предлагать solver routes; строить очередь запусков; помогать с triage и объяснением маршрутов; но не может : видеть truth/private/nonce поля; принимать candidate_d ; принимать k ; формировать recovery claim; превращать свой score в криптографическое evidence. Иными словами: AI suggests. Exact verifier decides. Разбираю, почему для high-assurance систем важен не “умный AI”, а AI без authority , как устроена граница non-escalation, где проходит deterministic integrity gate, и почему в зрелой криптографической системе модель должна оставаться только планировщиком, а не источником истины. Внутри статьи: ECDSA / Schnorr / BIP340 контекст; governed solver orchestration; non-escalation boundary; safe payload и forbidden fields; solver queue vs cryptographic evidence; deterministic verifier; clean-control refusal; claim boundary: что мы не утверждаем . Статья будет полезна не только тем, кто работает с криптографией, но и всем, кто проектирует AI в критических системах, где ошибка модели не должна автоматически становиться принятым фактом.

https://habr.com/ru/articles/1034540/

#cryptography #public_key #audit #HNP #QLLL #nonescalation_boundary #solver_orchestration #trustworthy_AI #AI_governance #безопасность_AI

Как у клиента с восемью продуктовыми командами мы построили AI Kit

Привет, Хабр. Мы платформенная команда в продуктовой компании с восемью продуктовыми командами. У каждой свой микросервис, свой стек, свои нюансы. Есть общие конвенции, общий security baseline, общий подход к observability. В начале прошлого года стало понятно: AI-инструменты разработки уже не эксперимент, а повседневная реальность. Claude Code, Cursor, Copilot, кто во что горазд. И при этом ровно ноль централизованного подхода. У одного разработчика в ~/.claude/ CLAUDE.md свой набор правил, у другого .cursorrules с другими правилами. В одном репо команды лежал 400-строчный CLAUDE.md с дублирующимися общими конвенциями, в другом пустота. AI отвечал по-разному в одном и том же сервисе в зависимости от того, кто его спрашивал. За полгода мы построили то, что внутри называем AI Kit. Это централизованный набор правил, skills, subagents и CI-инструментов для AI-ревью. В этой статье наш путь, грабли, цифры. И чего бы мы не делали, если бы начинали заново. Если у вас несколько продуктовых команд и AI-инструменты уже есть, но дисциплины их использования нет, то статья для вас. Будет полезно тимлидам, CTO, инженерам платформенных команд и AI Champions.

https://habr.com/ru/articles/1031924/

#AI_Kit #Claude_Code #Cursor #CLAUDEmd #AIревью #управление_разработкой #AI_governance #multiagent #AIинструменты_разработки

GitHub phát hành “wrapper” cho phép thực thi các quy tắc JSON trên LLM, biến quy tắc thành hành động có thể kiểm tra, hiển thị trạng thái, phát hiện vi phạm và so sánh hành vi giữa các mô hình. Không phải tối ưu prompt mà là quan sát, kiểm soát workflow và logic suy luận—hữu ích cho so sánh mô hình, giáo dục AI và kiểm soát AI. #AI #LLM #Governance #AI_Observability #Hệ_điều_khiển_AI #AI_Governance

https://www.reddit.com/r/LocalLLaMA/comments/1qt1oni/from_json_rules_to_an_ai_governance_executio

Безопасная и отказоустойчивая архитектура автономных ИИ-агентов и киберфизических ИИ-систем

Современные автономные ИИ-агенты и киберфизические ИИ-системы (от беспилотного транспорта и умных электросетей до медицинских роботов и промышленных контроллеров) всё чаще принимают решения, напрямую влияющие на жизнь, здоровье, экономику и национальную безопасность. В современных условиях вопросы безопасности и отказоустойчивости перестают быть вспомогательными и становятся центральными при проектировании, развёртывании и сопровождении таких систем. При этом главная проблема заключается в том, что ИИ-системы, особенно автономные, функционируют в условиях высокой неопределённости: данные могут меняться, сенсоры — выходить из строя или банально загрязняться, внешняя среда — вести себя очень непредсказуемо, а злоумышленники — целенаправленно атаковать сотнями разных способов уязвимости моделей или инфраструктуры. При этом физические последствия сбоев могут быть катастрофическими. Поэтому архитектура таких систем должна быть изначально ориентирована не на максимальную производительность, а на безопасность, отказоустойчивость, верифицируемость и контролируемость.

https://habr.com/ru/articles/982618/

#MLSecOps #иисистемы #архитектура_системы #безопасность #ai_governance #ииагенты #киберфизические_системы #отказоустойчивость

Генеративный ИИ, информационная безопасность и управление сервисом на 100%: тренды ITSM / ESM-2026

Классические подходы к управлению услугами трансформируются, чтобы соответствовать вызовам современных реалий. Давайте разберемся, в какую сторону идет ITSM / ESM и о каких тенденциях мы будем говорить ближайший год.

https://habr.com/ru/companies/directum/articles/974812/

#тренды #esm #itsm #service_desk #ииагенты #ai_governance #service_management #служба_поддержки

Новые правила для GPAI и «каскад обязанностей»: как небольшой команде превратить риски EU AI Act в преимущество

Недавно опубликованные Еврокомиссией требования к моделям общего назначения (GPAI) по Закону ЕС об ИИ (EU AI Act) задают правила игры для всех, кто работает с генеративным ИИ. Даже если вы — небольшая команда, которая интегрирует в свой продукт API от OpenAI, использует Llama или любую другую foundation model, эти новые нормы касаются вас напрямую как Деплоер. Важно понимать: речь не о том, чтобы отвечать за ошибки Google или Anthropic. Речь о том, что у Деплоера появляется своя, отдельная зона ответственности. Но для небольшой и гибкой команды это не только новые риски, но и уникальная возможность. В этой статье мы посмотрим на проблему с точки зрения небольшой компании разрабатывающей свой ИИ продукт и разберем, что входит в эту зону ответственности и, самое главное, как использовать новые обязанности «больших компаний» как рычаг для построения более надежного и конкурентоспособного продукта .

https://habr.com/ru/articles/958010/

#GPAI #комплаинс #ai #ai_governance

Управление ИИ (AI Governance) в 2025: пять главных вызовов и пути их преодоления

По данным глобальных отчетов, уже 30% всех корпоративных решений в 2025 году принимаются с участием искусственного интеллекта (ИИ). Инструменты ИИ активно внедряются во все сферы: они используются для оптимизации операционных и бизнес-процессов, как самостоятельные или вспомогательные продукты, а все чаще – и как системы, принимающие решения. Однако в этой гонке за эффективностью вопросы управления рисками и этические предохранители нередко отходят на второй план. Между тем, именно сфера регулирования и этики ИИ является ключевым инструментом, позволяющим компаниям обеспечить безопасное использование AI-технологий как с технической точки зрения, так и в контексте соответствия требованиям контролирующих органов. Регуляторные и этические фреймворки, закрепленные на уровне законодательства и лучших отраслевых практик, в действительности определяют ландшафт внедрения новых технологий. С какими вызовами AI Governance сталкивается IT-индустрия сегодня? В этой статье мы разберем 5 ключевых проблем регулирования ИИ, алгоритмической предвзятости, безопасности нейросетей, их экологического следа и глобальной стандартизации AI. Это авторская статья создана специально для сайта habr.com будет полезна IT-специалистам, разработчикам, менеджерам проектов, юристам, а также всем, кто интересуется будущим искусственного интеллекта, его регулированием и этическими аспектами применения технологий.

https://habr.com/ru/articles/920386/

#ai_governance #Ethical_AI #AI_Ethics #explainable_ai #EU_AI_Act

Обзор Рамочной конвенции Совета Европы об искусственном интеллекте и правах человека, демократии и верховенстве права

5 сентября 2024 года стала открыта для подписания Рамочная конвенция Совета Европы об искусственном интеллекте и правах человека, демократии и верховенстве права. Документ часто называют историческим и первым в своем роде. Мы разберем, повлияет ли конвенция на сферу разработки и применения ИИ, а также какие требования она налагает на государственный и частный секторы.

https://habr.com/ru/articles/841556/

#искусственный_интеллект #законодательство #право #европейский_союз #compliance #artificial_intelligence #law #AI_Governance #регулирование_ии #совет_европы

EU Reaches Agreement on AI Act Amid Three-Day Negotiations - https://www.redpacketsecurity.com/eu-reaches-agreement-on-ai-act-amid-three-day-negotiations/

#threatintel #AI_Regulation #EU_AI_Act #AI_Governance