#метрики — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #метрики, aggregated by home.social.
-
Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Привет, Хабр! Меня зовут Илья Копаничук, я старший научный сотрудник лаборатории «Сильный ИИ в медицине» AIRI. Мы с коллегами создаём ИИ‑инструменты, задача которых сделать качественную медицину доступнее. Например, основанное на нашей технологии приложение «Помощник по здоровью» стало лучшим ИИ‑решением в клиентском сервисе по версии Generation AI Awards 2025 . Но речь сегодня не об этом. За время нашей работы мы поняли, что контроль качества ИИ‑диагностики в медицине — это одна из ключевых задач, которая, как оказалось, не была ещё достаточно хорошо решена. Во‑первых, тесты для медицинских моделей зачастую далеки от реальной практики. А во‑вторых, всегда ли точны люди? Пытаясь ответить на эти вопросы, мы с помощью коллег из ФГБУ «НМИЦ им. В. А. Алмазова» Минздрава России собрали собственный фреймворк и опубликовали про него статью в Scientific Reports . Здесь я расскажу, как он устроен и на какие метрики мы обратили внимание, а также постараюсь дать ответ на вопрос, заданный в заголовке.
-
Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение
У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru. Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.
https://habr.com/ru/articles/1080198/
#MAX #мессенджер_MAX #парсинг #SvelteKit #SQLite #каталог_каналов #firstparty_данные #обработка_ошибок #антинакрутка #метрики
-
Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение
У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru. Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.
https://habr.com/ru/articles/1080198/
#MAX #мессенджер_MAX #парсинг #SvelteKit #SQLite #каталог_каналов #firstparty_данные #обработка_ошибок #антинакрутка #метрики
-
Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение
У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был свой ряд подписчиков — и мы полгода снимаем его каждую ночь с публичного data-эндпоинта max.ru. Ниже — как устроен сбор и четыре места, где мы ошиблись. Самая дорогая ошибка стоила трёх ночей молчащего ряда при зелёном логе и exit 0: парсер на любую неудачу писал один статус not_found, а под него попадали три разных события — канала нет, max.ru сменил формат, нас затроттлило. Пока они не разделены, скрипт ничего не измеряет — он производит число, похожее на измерение.
https://habr.com/ru/articles/1080198/
#MAX #мессенджер_MAX #парсинг #SvelteKit #SQLite #каталог_каналов #firstparty_данные #обработка_ошибок #антинакрутка #метрики
-
Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места
Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы понять, сколько на самом деле стоит одна точка метрики на диске. Обе системы делают одно и то же: принимают миллионы точек в минуту, хранят их месяцами и быстро отдают в алерты и дашборды. Обе сжимают точку до байтов и долей байта. Именно эти байты, умноженные на миллиарды точек в сутки, превращаются в счёт за диск. Ошибка в расчёте цены сэмпла заканчивается переполненным диском под мониторингом, урезанным retention или незапланированным расходом. Когда место под метрики кончается, первым на планёрке звучит «сменим движок». Публичные бенчмарки подталкивают к тому же: Флант показывает, что Prom++, форк Prometheus, тратит памяти в 7,8 раза меньше Prometheus v2 ( разбор на Habr ), VictoriaMetrics показывает трёхкратную экономию диска против Grafana Mimir ( бенчмарк VictoriaMetrics , замер вендора, 2022 год). На моём стенде картина оказалась сложнее. В Prometheus 3.13 и VictoriaMetrics 1.149 ушёл один и тот же набор: 2,88 млн сэмплов, шесть профилей данных, один генератор с фиксированным seed. Внутри одного движка цена сэмпла различалась в 139 раз у VictoriaMetrics и в 12,8 раза у Prometheus. Между движками на одних данных разрыв доходил до 30,7 раза на шести профилях и до 34,3 раза в опыте с точностью. На равномерно случайных float64 движки менялись местами. Один лишний знак после запятой поднимал цену сэмпла у Prometheus в восемь раз, у VictoriaMetrics на 12%.
https://habr.com/ru/companies/vk/articles/1068798/
#vk_cloud #prometheus #victoriametrics #time_series #tsdb #мониторинг #метрики #observability #сжатие_данных #cardinality
-
Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места
Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы понять, сколько на самом деле стоит одна точка метрики на диске. Обе системы делают одно и то же: принимают миллионы точек в минуту, хранят их месяцами и быстро отдают в алерты и дашборды. Обе сжимают точку до байтов и долей байта. Именно эти байты, умноженные на миллиарды точек в сутки, превращаются в счёт за диск. Ошибка в расчёте цены сэмпла заканчивается переполненным диском под мониторингом, урезанным retention или незапланированным расходом. Когда место под метрики кончается, первым на планёрке звучит «сменим движок». Публичные бенчмарки подталкивают к тому же: Флант показывает, что Prom++, форк Prometheus, тратит памяти в 7,8 раза меньше Prometheus v2 ( разбор на Habr ), VictoriaMetrics показывает трёхкратную экономию диска против Grafana Mimir ( бенчмарк VictoriaMetrics , замер вендора, 2022 год). На моём стенде картина оказалась сложнее. В Prometheus 3.13 и VictoriaMetrics 1.149 ушёл один и тот же набор: 2,88 млн сэмплов, шесть профилей данных, один генератор с фиксированным seed. Внутри одного движка цена сэмпла различалась в 139 раз у VictoriaMetrics и в 12,8 раза у Prometheus. Между движками на одних данных разрыв доходил до 30,7 раза на шести профилях и до 34,3 раза в опыте с точностью. На равномерно случайных float64 движки менялись местами. Один лишний знак после запятой поднимал цену сэмпла у Prometheus в восемь раз, у VictoriaMetrics на 12%.
https://habr.com/ru/companies/vk/articles/1068798/
#vk_cloud #prometheus #victoriametrics #time_series #tsdb #мониторинг #метрики #observability #сжатие_данных #cardinality
-
Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места
Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы понять, сколько на самом деле стоит одна точка метрики на диске. Обе системы делают одно и то же: принимают миллионы точек в минуту, хранят их месяцами и быстро отдают в алерты и дашборды. Обе сжимают точку до байтов и долей байта. Именно эти байты, умноженные на миллиарды точек в сутки, превращаются в счёт за диск. Ошибка в расчёте цены сэмпла заканчивается переполненным диском под мониторингом, урезанным retention или незапланированным расходом. Когда место под метрики кончается, первым на планёрке звучит «сменим движок». Публичные бенчмарки подталкивают к тому же: Флант показывает, что Prom++, форк Prometheus, тратит памяти в 7,8 раза меньше Prometheus v2 ( разбор на Habr ), VictoriaMetrics показывает трёхкратную экономию диска против Grafana Mimir ( бенчмарк VictoriaMetrics , замер вендора, 2022 год). На моём стенде картина оказалась сложнее. В Prometheus 3.13 и VictoriaMetrics 1.149 ушёл один и тот же набор: 2,88 млн сэмплов, шесть профилей данных, один генератор с фиксированным seed. Внутри одного движка цена сэмпла различалась в 139 раз у VictoriaMetrics и в 12,8 раза у Prometheus. Между движками на одних данных разрыв доходил до 30,7 раза на шести профилях и до 34,3 раза в опыте с точностью. На равномерно случайных float64 движки менялись местами. Один лишний знак после запятой поднимал цену сэмпла у Prometheus в восемь раз, у VictoriaMetrics на 12%.
https://habr.com/ru/companies/vk/articles/1068798/
#vk_cloud #prometheus #victoriametrics #time_series #tsdb #мониторинг #метрики #observability #сжатие_данных #cardinality
-
Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?
Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между компонентами и сторону вины. Оказывается, «виновата модель» почти никогда не значит «чинить дообучением»: разбираю таксономию из 41 режима, каталог-выжимку и четыре своих отказа с числами — ни один не закрыт сменой модели.
https://habr.com/ru/articles/1079638/
#LLM #ИИагенты #agent_harness #обвязка #таксономия_отказов #RAG #отладка #метрики #тестирование #arXiv
-
Как не попасть пальцем в небо: принятие решений на основе данных
В управлении почти всегда есть отчёты, дашборды и десятки показателей — и при этом решения всё равно принимаются «по ощущениям». Почему так происходит и где именно рвётся связь между данными и реальными действиями? В статье разбираем, что такое data-driven подход на практике: от управленческих ошибок и зрелости аналитики до экономических моделей и проверки гипотез, которые действительно влияют на бизнес.
https://habr.com/ru/companies/otus/articles/995378/
#gartner #datadriven #datadriven_decisions #datadriven_решения #Datadriven_management #управленческие_решения #управленческие_ошибки #метрики #дашборды
-
Как разговаривать с теми, кто не верит: контент-система для «токсичных» ниш
Если ваш продукт стоит дорого, а клиент рискует деньгами и нервами, классический SMM не работает. Лента превращается в красивый, но бесполезный каталог: тысячи просмотров, десятки лайков и мёртвая тишина в личных сообщениях. Мы столкнулись с этим в нише, где недоверие — базовое состояние клиента: в привозе автомобилей из-за рубежа. Мошенники, «серые» схемы, риски потери денег и времени — здесь аудитория приходит в соцсети не за вдохновением, а за ответами и гарантиями. За 5 месяцев нам удалось переломить ситуацию: 2.7 млн просмотров и 63 тыс. содержательных взаимодействий (сохранения, пересылки, вопросы в комментариях). Но главное — контент начал выполнять функцию «прогрева», приводя к диалогам с теми, кто изначально никому не доверял. Ниже — разбор не просто кейса, а универсальной контент-системы, которую можно адаптировать для любой сложной B2C-ниши: от недвижимости и строительства до дорогой медицины и образования.
https://habr.com/ru/articles/991042/
#Контентстратегия #SMM #Доверие #Холодная_аудитория #Воронка_доверия #Социальные_доказательства #Метрики #B2C #кейсы #лиды
-
Как разговаривать с теми, кто не верит: контент-система для «токсичных» ниш
Если ваш продукт стоит дорого, а клиент рискует деньгами и нервами, классический SMM не работает. Лента превращается в красивый, но бесполезный каталог: тысячи просмотров, десятки лайков и мёртвая тишина в личных сообщениях. Мы столкнулись с этим в нише, где недоверие — базовое состояние клиента: в привозе автомобилей из-за рубежа. Мошенники, «серые» схемы, риски потери денег и времени — здесь аудитория приходит в соцсети не за вдохновением, а за ответами и гарантиями. За 5 месяцев нам удалось переломить ситуацию: 2.7 млн просмотров и 63 тыс. содержательных взаимодействий (сохранения, пересылки, вопросы в комментариях). Но главное — контент начал выполнять функцию «прогрева», приводя к диалогам с теми, кто изначально никому не доверял. Ниже — разбор не просто кейса, а универсальной контент-системы, которую можно адаптировать для любой сложной B2C-ниши: от недвижимости и строительства до дорогой медицины и образования.
https://habr.com/ru/articles/991042/
#Контентстратегия #SMM #Доверие #Холодная_аудитория #Воронка_доверия #Социальные_доказательства #Метрики #B2C #кейсы #лиды
-
Как разговаривать с теми, кто не верит: контент-система для «токсичных» ниш
Если ваш продукт стоит дорого, а клиент рискует деньгами и нервами, классический SMM не работает. Лента превращается в красивый, но бесполезный каталог: тысячи просмотров, десятки лайков и мёртвая тишина в личных сообщениях. Мы столкнулись с этим в нише, где недоверие — базовое состояние клиента: в привозе автомобилей из-за рубежа. Мошенники, «серые» схемы, риски потери денег и времени — здесь аудитория приходит в соцсети не за вдохновением, а за ответами и гарантиями. За 5 месяцев нам удалось переломить ситуацию: 2.7 млн просмотров и 63 тыс. содержательных взаимодействий (сохранения, пересылки, вопросы в комментариях). Но главное — контент начал выполнять функцию «прогрева», приводя к диалогам с теми, кто изначально никому не доверял. Ниже — разбор не просто кейса, а универсальной контент-системы, которую можно адаптировать для любой сложной B2C-ниши: от недвижимости и строительства до дорогой медицины и образования.
https://habr.com/ru/articles/991042/
#Контентстратегия #SMM #Доверие #Холодная_аудитория #Воронка_доверия #Социальные_доказательства #Метрики #B2C #кейсы #лиды