#метрики — Public Fediverse posts

Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение

У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru. Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.

https://habr.com/ru/articles/1080198/

#MAX #мессенджер_MAX #парсинг #SvelteKit #SQLite #каталог_каналов #firstparty_данные #обработка_ошибок #антинакрутка #метрики

Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места

Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы понять, сколько на самом деле стоит одна точка метрики на диске. Обе системы делают одно и то же: принимают миллионы точек в минуту, хранят их месяцами и быстро отдают в алерты и дашборды. Обе сжимают точку до байтов и долей байта. Именно эти байты, умноженные на миллиарды точек в сутки, превращаются в счёт за диск. Ошибка в расчёте цены сэмпла заканчивается переполненным диском под мониторингом, урезанным retention или незапланированным расходом. Когда место под метрики кончается, первым на планёрке звучит «сменим движок». Публичные бенчмарки подталкивают к тому же: Флант показывает, что Prom++, форк Prometheus, тратит памяти в 7,8 раза меньше Prometheus v2 ( разбор на Habr ), VictoriaMetrics показывает трёхкратную экономию диска против Grafana Mimir ( бенчмарк VictoriaMetrics , замер вендора, 2022 год). На моём стенде картина оказалась сложнее. В Prometheus 3.13 и VictoriaMetrics 1.149 ушёл один и тот же набор: 2,88 млн сэмплов, шесть профилей данных, один генератор с фиксированным seed. Внутри одного движка цена сэмпла различалась в 139 раз у VictoriaMetrics и в 12,8 раза у Prometheus. Между движками на одних данных разрыв доходил до 30,7 раза на шести профилях и до 34,3 раза в опыте с точностью. На равномерно случайных float64 движки менялись местами. Один лишний знак после запятой поднимал цену сэмпла у Prometheus в восемь раз, у VictoriaMetrics на 12%.

https://habr.com/ru/companies/vk/articles/1068798/

#vk_cloud #prometheus #victoriametrics #time_series #tsdb #мониторинг #метрики #observability #сжатие_данных #cardinality

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?

Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.

https://habr.com/ru/articles/1079638/

#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Почему одинаковые показатели в разных отчётах не совпадают

Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момент обсуждение часто сводится к поиску «неправильной цифры»: аналитики проверяют формулы, разработчики перезапускают загрузку, пользователи сравнивают выгрузки вручную. Проблема в том, что совпадения названия, периода и формулы недостаточно. Один отчёт может считать текущее состояние объектов, другой - события за период. Один использовать время совершения операции, другой - время загрузки записи. Один пересчитывать историю после исправлений, другой хранить опубликованный срез. Оба расчёта при этом могут быть технически корректными. В проектах с BI-отчётностью я работал с контуром, где данные проходили путь от операционных систем и общей базы через API и выгрузки к ручной обработке, отчётам и справкам. При такой схеме итог зависит не только от SQL-запроса. На него влияют состояние источника, дата среза, справочники, правила исключения, ручные преобразования и момент обновления каждого звена. Поэтому расхождение лучше расследовать не как спор двух чисел, а как сравнение двух воспроизводимых расчётов. В этой статье разберу, из каких слоёв состоит показатель, как локализовать различие и что изменить в аналитическом контуре, чтобы одинаковая бизнес-метрика не реализовывалась заново в каждом отчёте.

https://habr.com/ru/articles/1079462/

#аналитика_данных #BI #метрики #качество_данных #семантический_слой #data_lineage #data_contracts #сверка_отчётов #временные_данные #дашборды

Зелёный дашборд adoption — не отчёт. Разговор про AI, к которому ваш финдиректор готов лучше вас

Через квартал-другой в переговорку зайдёт финансовый директор и задаст инженерному руководителю простой вопрос: «Мы потратили на AI вот столько — что получили?» И руководитель откроет дашборд: adoption 87%, 100 ежедневных пользователей ассистента, тысячи промптов. А финдир посмотрит и скажет: «Это сколько вы потратили. Я спросил, что получили». Я работаю приглашённым CTO и этот разговор наблюдал уже не раз. Расскажу, почему дашборд адопшна его не переживает и что мерить вместо него. Без «AI — это хайп» и без «AI всё изменит» — про цифры.

https://habr.com/ru/articles/1048850/

#ai #управление_разработкой #finops #метрики #технический_директор

Почему хорошие команды не создают ценность

За последние несколько лет мне довелось управлять не только командами разработки, но и более широкими контурами delivery: программами, портфелями инициатив, процессами поддержки, эскалациями и крупными изменениями в продукте. И чем больше становился масштаб, тем чаще я сталкивался с одним парадоксом. Самые большие проблемы обычно возникали не там, где работали слабые команды. Наоборот. Чаще всего источником проблем становились сильные команды, которые были хорошо организованы, дисциплинированы и способны быстро выполнять поставленные задачи. Звучит странно. Но именно сильная команда может месяцами эффективно двигаться в неправильном направлении. И чем сильнее команда, тем дороже обходится такая ошибка.

https://habr.com/ru/articles/1042350/

#управление_проектами #метрики #цели #ресурсы #приоритеты #менеджмент

Почему хорошие команды не создают ценность

За последние несколько лет мне довелось управлять не только командами разработки, но и более широкими контурами delivery: программами, портфелями инициатив, процессами поддержки, эскалациями и крупными изменениями в продукте. И чем больше становился масштаб, тем чаще я сталкивался с одним парадоксом. Самые большие проблемы обычно возникали не там, где работали слабые команды. Наоборот. Чаще всего источником проблем становились сильные команды, которые были хорошо организованы, дисциплинированы и способны быстро выполнять поставленные задачи. Звучит странно. Но именно сильная команда может месяцами эффективно двигаться в неправильном направлении. И чем сильнее команда, тем дороже обходится такая ошибка.

https://habr.com/ru/articles/1042350/

#управление_проектами #метрики #цели #ресурсы #приоритеты #менеджмент

Почему хорошие команды не создают ценность

За последние несколько лет мне довелось управлять не только командами разработки, но и более широкими контурами delivery: программами, портфелями инициатив, процессами поддержки, эскалациями и крупными изменениями в продукте. И чем больше становился масштаб, тем чаще я сталкивался с одним парадоксом. Самые большие проблемы обычно возникали не там, где работали слабые команды. Наоборот. Чаще всего источником проблем становились сильные команды, которые были хорошо организованы, дисциплинированы и способны быстро выполнять поставленные задачи. Звучит странно. Но именно сильная команда может месяцами эффективно двигаться в неправильном направлении. И чем сильнее команда, тем дороже обходится такая ошибка.

https://habr.com/ru/articles/1042350/

#управление_проектами #метрики #цели #ресурсы #приоритеты #менеджмент

Как не попасть пальцем в небо: принятие решений на основе данных

В управлении почти всегда есть отчёты, дашборды и десятки показателей — и при этом решения всё равно принимаются «по ощущениям». Почему так происходит и где именно рвётся связь между данными и реальными действиями? В статье разбираем, что такое data-driven подход на практике: от управленческих ошибок и зрелости аналитики до экономических моделей и проверки гипотез, которые действительно влияют на бизнес.

https://habr.com/ru/companies/otus/articles/995378/

#gartner #datadriven #datadriven_decisions #datadriven_решения #Datadriven_management #управленческие_решения #управленческие_ошибки #метрики #дашборды

Дюжина вещей, которым можно научиться у Sequoia Capital

В 1972 году, когда Дон Валентайн основал Sequoia Capital, термину «Кремниевая долина» не было и двух лет. Ветеран зарождающейся полупроводниковой промышленности, Дон помог стимулировать рост сектора персональных компьютеров и сетей. С первым фондом Sequoia в размере 3 миллионов долларов он поддержал как Apple, так и пионера видеоигр Atari. То, что Дон выбрал название «Sequoia», дерево, которое живет тысячи лет, а не назвал фирму в свою честь, никого не удивляет из тех, кто его знал.

https://habr.com/ru/articles/921116/

#sequoia_capital #стартап #культура_компании #воронка_конверсии #венчурные_инвестиции #венчур #баффет #презентация #метрики