#метрики — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #метрики, aggregated by home.social.
-
Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?
Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.
https://habr.com/ru/articles/1079638/
#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv
-
Почему одинаковые показатели в разных отчётах не совпадают
Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.
https://habr.com/ru/articles/1079462/
#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды
-
Перестаньте делать фичи, которые никому не нужны
Периодически мы чувствуем , что предлагаем хорошее решение. Как в меме: «Эта фича будет прибыльной, но я пока не могу этого доказать». В этом случае оценка продукта не учитывает мнение целевой аудитории, как будто мы единственный пользователь нашего решения. Иногда при формировании новых гипотез мы можем столкнуться с подменой понятий идеи, ценности и спроса. В моменте идея может показаться нам настолько классной, что мы объясняем её ценность команде, но пропускаем этап её фактической проверки и сразу приступаем к разработке. Давайте разберёмся, как же всё-таки принимать решения с опорой на реальность.
-
Как оценивать эффективность разработки
Меня зовут Антон Омельяненко, я Head of Software Development в EXANTE. Менеджер управляет командой так, чтобы она приносила бизнесу результат. Чтобы понимать, насколько хорошо люди справляются с задачами, ему нужны данные о работе и система оценки. С разработкой это сложнее, чем кажется. В статье я разберу три вопроса: почему классические метрики не подходят для оценки эффективности разработчиков, как измерять её правильно и что делать, если вам кажется, что сотрудник работает не только на вас.
https://habr.com/ru/articles/1067558/
#продуктивность #удаленка #ии #эффективность #аналитика #метрики #разработка_по #gitlab #jira
-
Метрики ИИ-трансформации: как отличить реальную пользу от хайпа
ИИ-трансформация звучит заманчиво. Но между «мы внедрили» и «приносит компании деньги» лежит пропасть. Найти и устранить этот разрыв помогают метрики. Данная статья — про то, как построить систему метрик, которая отвечает на единственный вопрос, важный для бизнеса: окупается ли это и насколько. Привет, Хабр! Меня зовут Александр Смирнов, я продуктовый аналитик, помогаю находить точки роста, оптимизировать процессы и принимать решения на основе данных, а не интуиции. Сейчас многие компании проходят этап масштабного внедрения ИИ-инструментов для разработки, пока одни только экспериментируют, другие уже выстроили централизованный процесс. Но рано или поздно перед всеми встает закономерная задача — измерить эффект от этого мероприятия. Не «понравилось ли разработчикам», а сколько времени и денег это экономит, где теряется ценность и стоит ли вкладываться дальше. В статье я разберу свой подход к дереву метрик, который связывает бизнес-цели с фактическими показателями. Ключевые ветви дерева — интеграция, вовлеченность, эффективность и экономика. Главный фокус — продуктовый: для каждой метрики дадим не только описание и формулу, но и её ценность как основу для принятия решений.
https://habr.com/ru/articles/1048674/
#метрики #ИИтрансформация #продуктовая_аналитика #DORA #ROI #claude_code #эффективность #искусственный_интеллект
-
Eat your own dog food: почему продукт, которым не пользуются создатели, обречён
Это не про политику. Это про продуктовый сигнал, который считывают все — кроме тех, кто его посылает. Есть старый принцип в разработке: eat your own dog food — пользуйся тем, что создаёшь. Microsoft внедрила его в 1988-м, когда менеджер написал вирусное письмо коллегам: «Ты ешь свой собственный корм для собак?» Смысл прост — если вы не пользуетесь собственным продуктом, у вас нет мотивации его улучшать. Пользователи это видят. Рынок это чувствует. У нас есть три живых кейса, которые демонстрируют, что происходит, когда принцип нарушается систематически, публично и в промышленных масштабах.
https://habr.com/ru/articles/1027970/
#dog_food #продуктовый_менеджмент #VK #MAX #Rutube #метрики #product_culture #принуждение #мессенджеры #блокировки
-
Нагрузочное тестирование с нуля: наши грабли, гонка за токеном и рабочий чек-лист
Привет, хабровчане! Мы команда «Исходного кода» и уже полгода системно занимаемся нагрузочным тестированием (НТ). Раньше такие проверки были от случая к случаю - оттуда и взяли базу знаний. Сегодня хотим поделиться историей одного показательного фейла, который заставил нас пересмотреть весь подход и прийти к системе, которая показала себя, как работающая. Все мы знаем эту боль: фича идеально работает на деве и предпроде, проходит все тесты, а когда под реальной нагрузкой на нее заходят сотни пользователей одновременно - все начинает тормозить, сыпать ошибками или просто падать. Чтобы этого избежать, мы решили, что НТ должно стать обязательным этапом для всех фичевых задач, которые серьезно меняют логику, затрагивают запросы к серверу, кэширование или обработку данных. Главный толчок был простой и жизненный: уже на стадии рассмотрения сервиса мы понимаем, какая нагрузка на него ляжет, поэтому мы выводили правило: «Сервис должен стабильно держать N запросов в секунду», и мы берем эту планку и начинаем работу.
https://habr.com/ru/articles/1013866/
#нагрузочное_тестирование #race_condition #кэширование_данных #memcached #оптимизация_производительности #чеклист_нагрузочного_тестирования #кейс_нагрузочного_тестирования #гонка_процессов #метрики #анализ_работы_web_сервисов
-
Система метрик, или как навести порядок в голове бизнеса
Зачем нужен фреймворк метрик? Общий ответ – для структуризации и порядка в головах бизнеса. В своей работе в разных командах я не раз сталкивалась с желанием стейкхолдеров отслеживать все метрики сразу, хаотично, без четкого понимания, зачем это нужно. А также с последующими попытками расписать и перечислить показатели, которые им кажутся важными, и побежать к аналитикам со срочными запросом всё посчитать и добавить на дашборд. В результате часто получалась монструозная картинка, не позволяющая определиться с фокусами и, как следствие, не удовлетворяющая самих стейкхолдеров. Ну, а если говорить более профессиональным языком, то система метрик может быть вам нужна в следующих случаях...
https://habr.com/ru/articles/938912/
#продуктовая_аналитика #управление_продуктом #система_метрик #product_management #growth #метрики #product_analytics #гипотезы #дерево_метрик #бизнес
-
Дерево метрик в продуктовой разработке: от цели до гипотез
Я всегда любила схемы и таблички. Если нужно было разобраться в новом проекте/топике/проблеме — я рисовала схему этого. Если нужно было принять решение — делала таблицу. Если я не могла положить что-то в один из этих форматов, значит, нужно было копать тему дальше. В Miro накопилось десятки рабочих пространств. И всегда хотелось сделать основную, самую главную схему для продуктовой команды, которая позволяла бы быстро и чётко возвращать всех к единой цели с единым пониманием — куда, зачем и как именно копаем. Дерево метрик — самый действенный инструмент, который мне попадался. Что такое дерево метрик и зачем оно нужно? Дерево метрик — это иерархическая структура, которая связывает бизнес-цель с подчинёнными метриками и действиями, помогая понять, какие показатели влияют на результат и где искать точки роста или проблемы. Если просто: дерево метрик — это инструмент, который связывает: