#метрики — Public Fediverse posts

Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение

У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru. Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.

https://habr.com/ru/articles/1080198/

#MAX #мессенджер_MAX #парсинг #SvelteKit #SQLite #каталог_каналов #firstparty_данные #обработка_ошибок #антинакрутка #метрики

Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места

Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы понять, сколько на самом деле стоит одна точка метрики на диске. Обе системы делают одно и то же: принимают миллионы точек в минуту, хранят их месяцами и быстро отдают в алерты и дашборды. Обе сжимают точку до байтов и долей байта. Именно эти байты, умноженные на миллиарды точек в сутки, превращаются в счёт за диск. Ошибка в расчёте цены сэмпла заканчивается переполненным диском под мониторингом, урезанным retention или незапланированным расходом. Когда место под метрики кончается, первым на планёрке звучит «сменим движок». Публичные бенчмарки подталкивают к тому же: Флант показывает, что Prom++, форк Prometheus, тратит памяти в 7,8 раза меньше Prometheus v2 ( разбор на Habr ), VictoriaMetrics показывает трёхкратную экономию диска против Grafana Mimir ( бенчмарк VictoriaMetrics , замер вендора, 2022 год). На моём стенде картина оказалась сложнее. В Prometheus 3.13 и VictoriaMetrics 1.149 ушёл один и тот же набор: 2,88 млн сэмплов, шесть профилей данных, один генератор с фиксированным seed. Внутри одного движка цена сэмпла различалась в 139 раз у VictoriaMetrics и в 12,8 раза у Prometheus. Между движками на одних данных разрыв доходил до 30,7 раза на шести профилях и до 34,3 раза в опыте с точностью. На равномерно случайных float64 движки менялись местами. Один лишний знак после запятой поднимал цену сэмпла у Prometheus в восемь раз, у VictoriaMetrics на 12%.

https://habr.com/ru/companies/vk/articles/1068798/

#vk_cloud #prometheus #victoriametrics #time_series #tsdb #мониторинг #метрики #observability #сжатие_данных #cardinality

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Eat your own dog food: почему продукт, которым не пользуются создатели, обречён

Это не про политику. Это про продуктовый сигнал, который считывают все — кроме тех, кто его посылает. Есть старый принцип в разработке: eat your own dog food — пользуйся тем, что создаёшь. Microsoft внедрила его в 1988-м, когда менеджер написал вирусное письмо коллегам: «Ты ешь свой собственный корм для собак?» Смысл прост — если вы не пользуетесь собственным продуктом, у вас нет мотивации его улучшать. Пользователи это видят. Рынок это чувствует. У нас есть три живых кейса, которые демонстрируют, что происходит, когда принцип нарушается систематически, публично и в промышленных масштабах.

https://habr.com/ru/articles/1027970/

#dog_food #продуктовый_менеджмент #VK #MAX #Rutube #метрики #product_culture #принуждение #мессенджеры #блокировки

Не просто дашборд: как DORA-метрики помогли нам сократить инциденты на 80%

DORA-метрики легко обсуждать как что-то довольно очевидное: выбрал четыре показателя, подключил данные, построил графики — готово. На практике все интересное начинается в тот момент, когда пытаешься сделать это не в презентации, а в живой компании с сотнями сервисов, разными сценариями деплоя и командами, у каждой из которых свой способ довозить код до прода. В Островке из этой задачи в итоге вырос отдельный сервис: он собирает события о релизах, связывает их с изменениями в GitLab, сопоставляет с инцидентами и отдаёт данные в Grafana. На MVP мы покрыли 90% проектов, а после регулярного разбора метрик и автоматизации узких мест количество критичных сбоев по последним данным снизилось на 80% . Под катом — история о том, как мы к этому пришли: откуда брали данные для DORA-метрик, как считали их в условиях очень разных релизных процессов и почему самой сложной частью оказалось не нарисовать графики, а вообще договориться с реальностью.

https://habr.com/ru/companies/ostrovok/articles/1024148/

#dora_metrics #django #backend #метрики #инциденты #стабильность #деплой #python #gitlab

Как не попасть пальцем в небо: принятие решений на основе данных

В управлении почти всегда есть отчёты, дашборды и десятки показателей — и при этом решения всё равно принимаются «по ощущениям». Почему так происходит и где именно рвётся связь между данными и реальными действиями? В статье разбираем, что такое data-driven подход на практике: от управленческих ошибок и зрелости аналитики до экономических моделей и проверки гипотез, которые действительно влияют на бизнес.

https://habr.com/ru/companies/otus/articles/995378/

#gartner #datadriven #datadriven_decisions #datadriven_решения #Datadriven_management #управленческие_решения #управленческие_ошибки #метрики #дашборды

Что мы считаем, когда считаем эффективность: от парового двигателя до нейросетей

Почему метрики перестают работать? История измерения эффективности от Адама Смита до наших дней. Закон Гудхарта, тейлоризм, Деминг и уроки четырёх промышленных революций.

https://habr.com/ru/articles/988444/

#метрики #эффективность #KPI #закон_Гудхарта #управление_качеством #промышленные_революции #история_менеджмента #Six_Sigma #DORA_metrics #измерение_производительности

Как построить Professional Services, или Запускаем автономные отряды и внедрение 24/7

Это заключительная статья из цикла о трансформации инженерной службы — из хаотичной и недостаточно обученной команды в структурированный профессиональный департамент с автоматизированными процессами. Сегодня о том, как мы отказались от классической иерархии в пользу автономных отрядов, научились внедрять проекты круглосуточно и превратили техподдержку из вечно тушащих пожары ребят в проактивную службу. Обновляемся до Professional Services 3.0

https://habr.com/ru/companies/basis/articles/961596/

#лидерство #формирование_команды #техподдержка #выстраивание_процессов #менеджмент #метрики #команда_мечты #внедрение

Как построить Professional Services, или Запускаем автономные отряды и внедрение 24/7

Это заключительная статья из цикла о трансформации инженерной службы — из хаотичной и недостаточно обученной команды в структурированный профессиональный департамент с автоматизированными процессами. Сегодня о том, как мы отказались от классической иерархии в пользу автономных отрядов, научились внедрять проекты круглосуточно и превратили техподдержку из вечно тушащих пожары ребят в проактивную службу. Обновляемся до Professional Services 3.0

https://habr.com/ru/companies/basis/articles/961596/

#лидерство #формирование_команды #техподдержка #выстраивание_процессов #менеджмент #метрики #команда_мечты #внедрение

Дюжина вещей, которым можно научиться у Sequoia Capital

В 1972 году, когда Дон Валентайн основал Sequoia Capital, термину «Кремниевая долина» не было и двух лет. Ветеран зарождающейся полупроводниковой промышленности, Дон помог стимулировать рост сектора персональных компьютеров и сетей. С первым фондом Sequoia в размере 3 миллионов долларов он поддержал как Apple, так и пионера видеоигр Atari. То, что Дон выбрал название «Sequoia», дерево, которое живет тысячи лет, а не назвал фирму в свою честь, никого не удивляет из тех, кто его знал.

https://habr.com/ru/articles/921116/

#sequoia_capital #стартап #культура_компании #воронка_конверсии #венчурные_инвестиции #венчур #баффет #презентация #метрики

Аналитика мобильных приложений на Flutter. Часть 2. Подключение Firebase Analytics

В первой части мы рассмотрели подключение решения Yandex AppMetrica. В этой части мы рассмотрим подключение решения от Google - Firebase.

https://habr.com/ru/articles/882274/

#аналитика_мобильных_приложений #аналитика #метрики #dart #flutter #firebase_analytics #google_analytics