#explainable_ai — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #explainable_ai, aggregated by home.social.
-
16 и ещё 1 причина знать SHAP
Мы знаем его как "метод на основе Теории Игр", "фреймворк" и издалека чувствуем, что это он, видя красные и синие полоски. Но что сделало этот метод таким популярным? Как он родился и почему, после релиза в 2017 году, разные группы исследователей добавляли в него новые расширения и куда этот инструмент пришел сейчас? Предлагаю впервые за долгое время потрогать от меня статью без кода — но с картинками. В ней вы узнаете ответы на вопросы и откроете для себя ровно 15 расширений SHAP. А почему причин 17 — тоже увидите из текста.
-
Как модели упаковывают концепты в многообразия: смотрим на теорию, рушим идеальный мир и ищем кружочки
Mechanistic claims в interpretability для бедных, но бравых. Шучу, конечно. Просто когда дело дошло до задачи "придумать название" — вспомнила шутки моей коллеги. В одном из приближений можно сказать, что AI-модели обрабатывают входы послойно. На каждом слое модель выдаёт вектор , который можно читать как точку, центроид, область и так далее. Все эти точки, центроиды, области, направления кажутся абстракциями, но как только мы структурируем их — мы видим тонну прекрасного. Например, мы можем геометрически понимать и находить концепты , упакованные в многообразия . Что называется концептом, а что многообразием? Какие структуры образуют циклические компоненты и как откопать это в модели? Почему теория существует и находится эмпирически, но пока не машстабируется? На эти вопросы мы и покопаем ответы в данной статье.
https://habr.com/ru/articles/1063222/
#explainable_ai #manifold #mathematics #mechanistic_interpretability
-
Можно ли лучше? Activation Steering, pt 2: repeng, pyreft и другие способы найти вектор правильнее
У статьи есть 1 часть: Стягивай куда нужно: Activation Steering Tutorial Привет, друзья! В первой части мы разобрали базовую идею steering-а и реализовали её тремя способами: через сырые PyTorch hooks, через nnsight и через pyvene . Сработала ли наша база? Да — мы это видели. Нормально ли? Нет — и это мы тоже видели: вектор оказался инвертирован, эффект был умеренным, а на некоторых промптах не было никакого. Что с этим делать и как это сделать на питоне — и есть тема второй части. Залетайте читать!
-
Стягивай куда нужно: Activation Steering Tutorial
Привет, друзья! Если вы по запросу "как сделать модель добрее" видите в output-е LLM фразу "рулевое управление" — значит LLM говорит про Steering. В этом туториале мы рассмотрим цель свдинуть модель в сторону hate-speech несколькими способами. И к концу вы: — узнаете, что такое steering и на чем он основан; — осуществите steering, используя pytorch-hooks; — познакомитесь с библиотеками nnsight и pyvene для interventions; И если какое-то слово из bullet-ов было непонятно, они все станут вам понятны.
-
Cобрать агента для XAI и никогда больше не быть онлайн
Привет, друзья! Я, похоже, наконец пережила кризис пришествия агентов в нашу жизнь. Мне всегда безумно нравился процесс решения задач — этакий личный, удивительный мир, даже когда ты уже знаешь правило Лопиталя/Modus ponens/выберите то, которое заставило вас смеяться больше всего при изучении. А теперь, чтобы не выпасть из жизни, задачи просто приходится решать с кем-то . И этот кто-то LLM-Agent. По жизни я — XAI Researcher, так что эта статья, среди прочих, будет практическим туториалам для решения задачи "собрать агента для интепретируемости ML моделей и больше никогда не смотреть в экран, думая о коэффициентах логистической регрессии". Или всё-таки подумать придётся? Весь код туториала лежит здесь: https://github.com/SadSabrina/XAI-open_materials/tree/main/naive_agent_and_xai
https://habr.com/ru/articles/1033184/
#llmагент #llmмодели #llm #explainable_ai #agents #agent_loop
-
Когда AI ставит диагноз: где проходит граница отвественности врача и алгоритма
Искусственный интеллект всё активнее входит в медицину и цифровые сервисы. Он помогает диагностировать заболевания, персонализировать интерфейсы, анализировать поведение пользователей и даже формировать рекомендации по лечению.
https://habr.com/ru/articles/1007242/
#AI_в_медицине #UX_медицинских_интерфейсов #медицинские_алгоритмы #explainable_AI #MedTech_UX #телемедицина_UX #этика_AI #интерфейсы_медицинских_систем #дизайн_медицинских_сервисов #доверие_к_алгоритмам
-
SAE: введение, пояснение и код
Привет, друзья! В прошлой статье мы разобрали идею применения автоэнкодеров к трансоформерам. Там весь наш pipeline проходил на идее сжатия признакового пространства так, чтобы поделить кошек и собак. Но что делать, если у нас не задача классификации, а задача next token prediction? Да и признаки не соответствуют "собакам" и "кошкам", а охватывают все богатство естественного языка... Ответ сообщества сейчас такой — давайте использовать SAE. Как? Разбираем основы в статье.
-
Заглянуть в «черный ящик»: как ИИ учат быть понятным человеку
Начну с реального случая: в 2023 году американский юрист Стивен Шварц использовал ChatGPT для подготовки судебного иска. Система уверенно создала юридический документ с многочисленными ссылками на прецеденты. С одним нюансом — все цитируемые дела оказались полностью выдуманными. Более того, когда юрист попросил ChatGPT проверить достоверность источников, система с той же уверенностью «подтвердила» подлинность несуществующих судебных решений. И это не единичный случай. Современные нейронные сети стали настолько сложными, что мы перестали понимать, как они принимают решения. Почему беспилотный автомобиль внезапно поворачивает не туда? По какой причине система медицинской диагностики пропустила опухоль на рентгеновском снимке? В таких критических случаях простого «доверия» к ИИ недостаточно — важно понимать, почему система принимает то или иное решение. Именно об этом и поговорим в статье.
https://habr.com/ru/companies/magnus-tech/articles/958854/
#объяснимый_ИИ #explainable_ai #интерпретируемый_ии #объяснимость_нейросетей #xai #методы_интерпретации_MLмоделей #нейросети #искусственный_интеллект
-
Управление ИИ (AI Governance) в 2025: пять главных вызовов и пути их преодоления
По данным глобальных отчетов, уже 30% всех корпоративных решений в 2025 году принимаются с участием искусственного интеллекта (ИИ). Инструменты ИИ активно внедряются во все сферы: они используются для оптимизации операционных и бизнес-процессов, как самостоятельные или вспомогательные продукты, а все чаще – и как системы, принимающие решения. Однако в этой гонке за эффективностью вопросы управления рисками и этические предохранители нередко отходят на второй план. Между тем, именно сфера регулирования и этики ИИ является ключевым инструментом, позволяющим компаниям обеспечить безопасное использование AI-технологий как с технической точки зрения, так и в контексте соответствия требованиям контролирующих органов. Регуляторные и этические фреймворки, закрепленные на уровне законодательства и лучших отраслевых практик, в действительности определяют ландшафт внедрения новых технологий. С какими вызовами AI Governance сталкивается IT-индустрия сегодня? В этой статье мы разберем 5 ключевых проблем регулирования ИИ, алгоритмической предвзятости, безопасности нейросетей, их экологического следа и глобальной стандартизации AI. Это авторская статья создана специально для сайта habr.com будет полезна IT-специалистам, разработчикам, менеджерам проектов, юристам, а также всем, кто интересуется будущим искусственного интеллекта, его регулированием и этическими аспектами применения технологий.
https://habr.com/ru/articles/920386/
#ai_governance #Ethical_AI #AI_Ethics #explainable_ai #EU_AI_Act
-
Объяснимый ИИ в ML и DL
Объяснимый ИИ — очень важный аспект в ML и DL. Он заключается в том, чтобы интерпретировать модель так, чтобы можно было около прозрачно объяснить ее решения. Потому что это довольно частая необходимость как у конечного заказчика, ведь для них это просто «черный ящик», так и у разработчиков непосредственно (например, для отладки модели). На русском языке таких статей не так много (для тех, кто знает английский проблем с этим нет, на нем таких статей много, например, Kaggle), поэтому я решил, что статья покажется актуальной, и сегодня я попробую рассказать про это и показать на конкретном примере, как его можно реализовать.
-
Logit Lens & ViT model: туториал
Привет, Хабр! В этом туториале разобран метод для анализа внутренних представлений "логит-линза" (Logit Lens). В результате практики по туториалу, вы: 1. Изучите подход и концепцию Logit Lens; 2. Реализуете Logit Lens для Visual Transformer; 3. Познакомитесь с анализом результатов применения логит-линзы. Как всегда, весь код будет на гитхаб — step by step. Welcome!
-
Анализ обработки признаков в YOLO NAS S при помощи CAM
Методы объяснения моделей — практичный инструмент для понимания модели, оценки её точности и стабильности. Однако, часто можно столкнуться с ситуацией, когда фреймворк, в котором метод реализован, просто не "дружит" с реализацией модели. В этом туториале хочу подробно показать CAM (class activation map) для объяснения моделей зрения.
-
Практическая устойчивость значений Шепли в интерпретации моделей ИИ
Привет, Хабр! В исследованиях и на практике значения Шепли (Shapley values) — один из наиболее популярных методов интерпретации как на практике, так и в исследованиях. На практике этого не делается — применяется аппроксимация. Отсюда возникают вопросы, ответы на которые мы рассмотрим с вами в этой статье :)
