#abтестирование — Public Fediverse posts

Как мы обновили экран «Вы записаны» и выросли по ключевым метрикам

Привет, Хабр. Меня зовут Глеб Бобыльков. Я ведущий дизайнер команды записи и цифровых продуктов в СберЗдоровье — MedTech-компании №1 в России. В этой статье покажу, как мы переделали финальный экран после записи к врачу на очный приём и превратили его из страницы подтверждения в сценарий «что дальше», набор гибких кросс-офферов и универсальный компонент для дизайн-команды. Этот кейс про баланс: как добавить бизнес‑ценность и не разрушить доверие на одном из самых чувствительных шагов пользовательского пути — сразу после записи к врачу. Читать кейс

https://habr.com/ru/companies/docdoc/articles/1019088/

#редизайн #UXдизайн #продуктовыйдизайн #экрануспеха #юзабилититестирование #пользовательскийопыт #ABтестирование #медицинскийсервис #кейс #дизайнсистема

Как мы обновили экран «Вы записаны» и выросли по ключевым метрикам

Привет, Хабр. Меня зовут Глеб Бобыльков. Я ведущий дизайнер команды записи и цифровых продуктов в СберЗдоровье — MedTech-компании №1 в России. В этой статье покажу, как мы переделали финальный экран после записи к врачу на очный приём и превратили его из страницы подтверждения в сценарий «что дальше», набор гибких кросс-офферов и универсальный компонент для дизайн-команды. Этот кейс про баланс: как добавить бизнес‑ценность и не разрушить доверие на одном из самых чувствительных шагов пользовательского пути — сразу после записи к врачу. Читать кейс

https://habr.com/ru/companies/docdoc/articles/1019088/

#редизайн #UXдизайн #продуктовыйдизайн #экрануспеха #юзабилититестирование #пользовательскийопыт #ABтестирование #медицинскийсервис #кейс #дизайнсистема

Как мы обновили экран «Вы записаны» и выросли по ключевым метрикам

Привет, Хабр. Меня зовут Глеб Бобыльков. Я ведущий дизайнер команды записи и цифровых продуктов в СберЗдоровье — MedTech-компании №1 в России. В этой статье покажу, как мы переделали финальный экран после записи к врачу на очный приём и превратили его из страницы подтверждения в сценарий «что дальше», набор гибких кросс-офферов и универсальный компонент для дизайн-команды. Этот кейс про баланс: как добавить бизнес‑ценность и не разрушить доверие на одном из самых чувствительных шагов пользовательского пути — сразу после записи к врачу. Читать кейс

https://habr.com/ru/companies/docdoc/articles/1019088/

#редизайн #UXдизайн #продуктовыйдизайн #экрануспеха #юзабилититестирование #пользовательскийопыт #ABтестирование #медицинскийсервис #кейс #дизайнсистема

Как мы обновили экран «Вы записаны» и выросли по ключевым метрикам

Привет, Хабр. Меня зовут Глеб Бобыльков. Я ведущий дизайнер команды записи и цифровых продуктов в СберЗдоровье — MedTech-компании №1 в России. В этой статье покажу, как мы переделали финальный экран после записи к врачу на очный приём и превратили его из страницы подтверждения в сценарий «что дальше», набор гибких кросс-офферов и универсальный компонент для дизайн-команды. Этот кейс про баланс: как добавить бизнес‑ценность и не разрушить доверие на одном из самых чувствительных шагов пользовательского пути — сразу после записи к врачу. Читать кейс

https://habr.com/ru/companies/docdoc/articles/1019088/

#редизайн #UXдизайн #продуктовыйдизайн #экрануспеха #юзабилититестирование #пользовательскийопыт #ABтестирование #медицинскийсервис #кейс #дизайнсистема

Propensity Score Matching: как строить аналоги A/B-тестов, когда эксперименты невозможны

Привет! Меня зовут Николай Олигеров, я работаю продуктовым аналитиком в Яндекс Путешествиях. В этой статье я расскажу, как мы применяли PSM (Propensity Score Matching) — статистический метод, который позволяет корректно сравнивать группы, уменьшая систематические различия между ними. Подробно разберу, как выровнять группы теста и контроля с помощью PSM, расскажу о типичных ошибках (например, утечке признаков), дам практические рекомендации по сбору и выбору фич для мэтчинга, а также покажу, как валидировать полученные результаты и оценить их достоверность.

https://habr.com/ru/companies/yandex/articles/1004060/

#propensity_score_matching #гипотезы #аналитика #тестирование_гипотез #abтестирование

От товара к предложению: как Ozon учитывает цену и доставку в ранжировании

Всем привет! Меня зовут Станислав Ким, я ML-разработчик в команде качества поиска Ozon. В этой статье расскажу, как мы перешли от ранжирования товаров к ранжированию предложений, внедрили «матрицу памяти» для переноса статистики и получили +0,9% к GMV на пользователя. Представьте простую ситуацию. Вы — продавец электроники. Выводите на Ozon новую модель робота-пылесоса. Чтобы ворваться на рынок, вы ставите цену на 20% ниже конкурентов и отгружаете партию на ближайший склад, чтобы доставка была «завтра». Логика подсказывает: алгоритмы увидят выгодное предложение (дёшево + быстро), подкинут товар в топ, и продажи взлетят. Реальность: проходит день, два... а товар висит на 5-й странице выдачи. Потому что для алгоритма ранжирования ваш пылесос — «чистый лист». У него нет истории продаж, нет кликов, нет отзывов. Рядом в топе — конкуренты: они дороже, доставка дольше, но у них есть история: тысячи заказов за прошлый год. Алгоритм «любит» их за накопленную статистику, а ваше выгодное предложение игнорирует — он просто не знает, чего от него ждать. В индустрии эта проблема называется cold start — и с ней сталкиваются все крупные маркетплейсы. Мы поняли, что нужно менять саму парадигму. Наш лозунг: ранжировать не абстрактную карточку товара с её прошлым, а конкретное предложение с его условиями здесь и сейчас.

https://habr.com/ru/companies/ozontech/articles/995840/

#поиск #маркетплейс #ранжирование #machine_learning #рекомендательные_системы #big_data #abтестирование #поисковые_запросы #Ozon #cold_start

От товара к предложению: как Ozon учитывает цену и доставку в ранжировании

Всем привет! Меня зовут Станислав Ким, я ML-разработчик в команде качества поиска Ozon. В этой статье расскажу, как мы перешли от ранжирования товаров к ранжированию предложений, внедрили «матрицу памяти» для переноса статистики и получили +0,9% к GMV на пользователя. Представьте простую ситуацию. Вы — продавец электроники. Выводите на Ozon новую модель робота-пылесоса. Чтобы ворваться на рынок, вы ставите цену на 20% ниже конкурентов и отгружаете партию на ближайший склад, чтобы доставка была «завтра». Логика подсказывает: алгоритмы увидят выгодное предложение (дёшево + быстро), подкинут товар в топ, и продажи взлетят. Реальность: проходит день, два... а товар висит на 5-й странице выдачи. Потому что для алгоритма ранжирования ваш пылесос — «чистый лист». У него нет истории продаж, нет кликов, нет отзывов. Рядом в топе — конкуренты: они дороже, доставка дольше, но у них есть история: тысячи заказов за прошлый год. Алгоритм «любит» их за накопленную статистику, а ваше выгодное предложение игнорирует — он просто не знает, чего от него ждать. В индустрии эта проблема называется cold start — и с ней сталкиваются все крупные маркетплейсы. Мы поняли, что нужно менять саму парадигму. Наш лозунг: ранжировать не абстрактную карточку товара с её прошлым, а конкретное предложение с его условиями здесь и сейчас.

https://habr.com/ru/companies/ozontech/articles/995840/

#поиск #маркетплейс #ранжирование #machine_learning #рекомендательные_системы #big_data #abтестирование #поисковые_запросы #Ozon #cold_start

От товара к предложению: как Ozon учитывает цену и доставку в ранжировании

Всем привет! Меня зовут Станислав Ким, я ML-разработчик в команде качества поиска Ozon. В этой статье расскажу, как мы перешли от ранжирования товаров к ранжированию предложений, внедрили «матрицу памяти» для переноса статистики и получили +0,9% к GMV на пользователя. Представьте простую ситуацию. Вы — продавец электроники. Выводите на Ozon новую модель робота-пылесоса. Чтобы ворваться на рынок, вы ставите цену на 20% ниже конкурентов и отгружаете партию на ближайший склад, чтобы доставка была «завтра». Логика подсказывает: алгоритмы увидят выгодное предложение (дёшево + быстро), подкинут товар в топ, и продажи взлетят. Реальность: проходит день, два... а товар висит на 5-й странице выдачи. Потому что для алгоритма ранжирования ваш пылесос — «чистый лист». У него нет истории продаж, нет кликов, нет отзывов. Рядом в топе — конкуренты: они дороже, доставка дольше, но у них есть история: тысячи заказов за прошлый год. Алгоритм «любит» их за накопленную статистику, а ваше выгодное предложение игнорирует — он просто не знает, чего от него ждать. В индустрии эта проблема называется cold start — и с ней сталкиваются все крупные маркетплейсы. Мы поняли, что нужно менять саму парадигму. Наш лозунг: ранжировать не абстрактную карточку товара с её прошлым, а конкретное предложение с его условиями здесь и сейчас.

https://habr.com/ru/companies/ozontech/articles/995840/

#поиск #маркетплейс #ранжирование #machine_learning #рекомендательные_системы #big_data #abтестирование #поисковые_запросы #Ozon #cold_start

От товара к предложению: как Ozon учитывает цену и доставку в ранжировании

Всем привет! Меня зовут Станислав Ким, я ML-разработчик в команде качества поиска Ozon. В этой статье расскажу, как мы перешли от ранжирования товаров к ранжированию предложений, внедрили «матрицу памяти» для переноса статистики и получили +0,9% к GMV на пользователя. Представьте простую ситуацию. Вы — продавец электроники. Выводите на Ozon новую модель робота-пылесоса. Чтобы ворваться на рынок, вы ставите цену на 20% ниже конкурентов и отгружаете партию на ближайший склад, чтобы доставка была «завтра». Логика подсказывает: алгоритмы увидят выгодное предложение (дёшево + быстро), подкинут товар в топ, и продажи взлетят. Реальность: проходит день, два... а товар висит на 5-й странице выдачи. Потому что для алгоритма ранжирования ваш пылесос — «чистый лист». У него нет истории продаж, нет кликов, нет отзывов. Рядом в топе — конкуренты: они дороже, доставка дольше, но у них есть история: тысячи заказов за прошлый год. Алгоритм «любит» их за накопленную статистику, а ваше выгодное предложение игнорирует — он просто не знает, чего от него ждать. В индустрии эта проблема называется cold start — и с ней сталкиваются все крупные маркетплейсы. Мы поняли, что нужно менять саму парадигму. Наш лозунг: ранжировать не абстрактную карточку товара с её прошлым, а конкретное предложение с его условиями здесь и сейчас.

https://habr.com/ru/companies/ozontech/articles/995840/

#поиск #маркетплейс #ранжирование #machine_learning #рекомендательные_системы #big_data #abтестирование #поисковые_запросы #Ozon #cold_start

Переехали из многоэтажного монстра в уютную субурбию: как мы улучшаем процесс онбординга

Привет, Хабр! Как вы думаете, с чего начинается путь самурая пользователя? Правильно, с онбординга. Онбординг — это не просто анкета «для галочки», а первый диалог продукта с пользователем. От того, насколько он понятен и предсказуем, зависят и конверсия в заявки, и нагрузка на службу поддержки. Меня зовут Лена, я работаю дизайнером интерфейсов в ЮMoney. В этой статье делюсь опытом проведения A/B-тестирования изменений процесса онбординга на сайте для B2B-клиентов. Вдруг те же «слепые зоны» и сложные формы есть и в ваших продуктах? Наши решения окажутся вам полезны и помогут улучшить клиентский путь.

https://habr.com/ru/companies/yoomoney/articles/991712/

#онбординг #uxдизайн #abтестирование #юзабилити

Последовательный анализ в AB-тестировании: ускоряем принятие решений с помощью mSPRT

Как часто бизнес задает вопрос о результатах A/B-теста уже на второй день после запуска? В классической статистике основной ответ: необходимо ждать набора фиксированной выборки, иначе риск ложноположительного результата становится неконтролируемым. Однако современные подходы позволяют не только проводить мониторинг данных без риска математической ошибки, но и останавливать эксперименты значительно раньше срока. В основе такой гибкости лежит методология mSPRT, которая превращает эксперимент из закрытого процесса в прозрачный поток данных. Вместо пассивного ожидания можно использовать концепцию доверительных последовательностей и всегда валидных p-значений. Эти инструменты сохраняют свою математическую силу независимо от того, как часто проверяются промежуточные итоги. Ключевую роль в настройке системы играет параметр смешивания тау, который помогает найти тонкий баланс между чувствительностью к минимальным изменениям и скоростью получения итогового результата. Работа с реальным трафиком требует адаптации теории к специфике бизнеса. В статье разбирается, как метод линеаризации помогает применять последовательный анализ к сложным показателям вроде конверсии или среднего дохода на пользователя. Также рассматриваются ситуации, когда стандартная математика может давать сбои из-за экстремальных выбросов с тяжелыми хвостами распределения или изменения характеристик трафика во времени. Чтобы исключить ложные срабатывания, вводится система защитных механизмов, которая делает выводы устойчивыми к случайному шуму. Такой метод позволяет сократить время проведения тестов на 30-50%, не жертвуя при этом достоверностью. Это способ сделать процесс проверки гипотез более гибким и быстрым, сохраняя безупречную математическую строгость в каждой точке принятия решения.

https://habr.com/ru/articles/991582/

#mSPRT #последовательное_тестирование #abтестирование #линеаризация #статистика #доверительные_интервалы

Как пользователи с несколькими профилями влияют на A/B-тесты

Всем привет! Меня зовут Гриша Крюков, я аналитик в команде антифрода Авито . Расскажу, как использование пользователями нескольких профилей может приводить к неверным бизнес-решениям и почему качественное обнаружение связей между профилями напрямую влияет на качество А/В-тестов. Обсудим проблему на интуитивном уровне и строго математически докажем ряд утверждений, сопроводив симуляциями на синтетических данных. Статья будет интересна тем, кто увлекается аналитикой данных, А/В-тестами или просто любит математику.

https://habr.com/ru/companies/avito/articles/989898/

#авито #avito #avitotech #аналитика #analytics #abтестирование #тестирование

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Страх и ненависть в бизнес-анализе: сравниваем теорию и реальность

Привет, Хабр! Меня зовут Артем Евтеев, я ведущий аналитик в МТС Web Services. Кажется, каждый бизнес-аналитик (и не только) хотя бы раз в жизни слышал о книге «Разработка требований к программному обеспечению» Карла Вигерса и Джой Битти. В очередной раз собрался освежить в памяти теорию — и меня посетила мысль: а насколько изложенное в «инструкции бизнес-аналитика» действительно перекликается с реальностью? Как часто эта «настольная книга» подходит для решения рабочих задачах? В жизни теория нередко сочетается с практикой. Но так ли это в профессии бизнес-аналитика в ИТ-компании — предлагаю разобраться.

https://habr.com/ru/companies/ru_mts/articles/981644/

#бизнесанализ #стейкхолдеры #CustDev #гипотезы #abтестирование #приоритизация #бэклог #Карл_Вигерс #разработка_требований_к_ПО

Страх и ненависть в бизнес-анализе: сравниваем теорию и реальность

Привет, Хабр! Меня зовут Артем Евтеев, я ведущий аналитик в МТС Web Services. Кажется, каждый бизнес-аналитик (и не только) хотя бы раз в жизни слышал о книге «Разработка требований к программному обеспечению» Карла Вигерса и Джой Битти. В очередной раз собрался освежить в памяти теорию — и меня посетила мысль: а насколько изложенное в «инструкции бизнес-аналитика» действительно перекликается с реальностью? Как часто эта «настольная книга» подходит для решения рабочих задачах? В жизни теория нередко сочетается с практикой. Но так ли это в профессии бизнес-аналитика в ИТ-компании — предлагаю разобраться.

https://habr.com/ru/companies/ru_mts/articles/981644/

#бизнесанализ #стейкхолдеры #CustDev #гипотезы #abтестирование #приоритизация #бэклог #Карл_Вигерс #разработка_требований_к_ПО

Страх и ненависть в бизнес-анализе: сравниваем теорию и реальность

Привет, Хабр! Меня зовут Артем Евтеев, я ведущий аналитик в МТС Web Services. Кажется, каждый бизнес-аналитик (и не только) хотя бы раз в жизни слышал о книге «Разработка требований к программному обеспечению» Карла Вигерса и Джой Битти. В очередной раз собрался освежить в памяти теорию — и меня посетила мысль: а насколько изложенное в «инструкции бизнес-аналитика» действительно перекликается с реальностью? Как часто эта «настольная книга» подходит для решения рабочих задачах? В жизни теория нередко сочетается с практикой. Но так ли это в профессии бизнес-аналитика в ИТ-компании — предлагаю разобраться.

https://habr.com/ru/companies/ru_mts/articles/981644/

#бизнесанализ #стейкхолдеры #CustDev #гипотезы #abтестирование #приоритизация #бэклог #Карл_Вигерс #разработка_требований_к_ПО

Страх и ненависть в бизнес-анализе: сравниваем теорию и реальность

Привет, Хабр! Меня зовут Артем Евтеев, я ведущий аналитик в МТС Web Services. Кажется, каждый бизнес-аналитик (и не только) хотя бы раз в жизни слышал о книге «Разработка требований к программному обеспечению» Карла Вигерса и Джой Битти. В очередной раз собрался освежить в памяти теорию — и меня посетила мысль: а насколько изложенное в «инструкции бизнес-аналитика» действительно перекликается с реальностью? Как часто эта «настольная книга» подходит для решения рабочих задачах? В жизни теория нередко сочетается с практикой. Но так ли это в профессии бизнес-аналитика в ИТ-компании — предлагаю разобраться.

https://habr.com/ru/companies/ru_mts/articles/981644/

#бизнесанализ #стейкхолдеры #CustDev #гипотезы #abтестирование #приоритизация #бэклог #Карл_Вигерс #разработка_требований_к_ПО

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Скандалы, интриги, продуктовые метрики: что нам дало ускорение загрузки экрана в приложении hh

Привет! Меня зовут Саша Тотилас и я руковожу командой разработки в hh.ru . Хочу поделиться с Хабром результатами A/B-эксперимента: при оптимизации одного из экранов нашего приложения мы ускорили загрузку контента и выяснили, как это влияет на продуктовые метрики, а также собрали интересные инсайты. Я не буду глубоко погружаться в технические детали, а сосредоточусь на подготовке эксперимента и интерпретации результатов. Статья будет полезна не только для мобильных разработчиков, но и для аналитиков и продактов.

https://habr.com/ru/companies/hh/articles/977376/

#мобильная_разработка #sre #ios #android #метрики #abтестирование #ux #аналитика #оптимизация

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

У нас было 10k метрик, 500 А/В-экспериментов и 500kk p-value каждый день…

Всем привет! Меня зовут Данила Леньков, я руковожу платформой A/B-экспериментов Trisigma в Авито . За 7 лет мы прошли путь от небольшой внутренней команды из трёх человек до полноценного технологического продукта, который теперь доступен на B2B-рынке. В этой статье я рассказываю о четырёх ключевых проблемах, с которыми мы столкнулись на пути от десятка экспериментов в год до четырёх тысяч. Это реальный опыт масштабирования, который может быть полезен любой компании, серьезно относящейся к принятию решений на основе данных.

https://habr.com/ru/companies/avito/articles/947358/

#авито #trisigma #тестирование #abтестирование #эксперименты #b2bсервисы #анализ_данных #принятие_решений #data_driven

A/B-тесты для мидлов и продактов: как выйти за рамки «просто запускаем эксперименты

Всем привет. На связи Даша Леонова, product owner и ранее product analyst в международной IT-компании Garage Eight. Недавно я открыла конференцию AHA!25 с докладом об A/B-тестах для опытных аналитиков и продуктовых менеджеров. Делюсь: вышло круто. В статье расскажу о том, как вырастить компетенции аналитика за три этапа, начать проводить эффективные A/B-тесты, и стать партнером для компании, а не рядовым сотрудником.

https://habr.com/ru/companies/garage8/articles/939874/

#abтестирование #продуктовая_аналитика #карьера #менеджмент

Разбираем по шагам механику A/B-тестирования: математика, интуиция и код

Всем привет! Меня зовут Дима Лунин, я автор курса по экспериментам в Академии Аналитиков Авито . В этой статье я вы найдете экспертизу по A/B-тестированию с ребятами, которые только начинают свой путь в аналитике, но уже имеют базовые знания в статистике и в проверке статистических гипотез. А еще тут есть материалы, который мы даем на курсе экспериментов.

https://habr.com/ru/companies/avito/articles/936804/

#abтестирование #обучение #статитстика #abtesting #analytics #аналитика #авито #avito #education #курс

Sigma + Trisigma = 4Sigma или как мы сделали эксперименты еще удобнее

Всем привет! Меня зовут Искандер, я отвечаю за продуктовое развитие A/B-платформы Avito – Trisigma External, а раньше работал в EXPF и также отвечал за A/B-платформу, которая называлась Sigma. В июне произошло важное событие для российского рынка продуктовой аналитики: платформа Sigma официально стала частью Trisigma . В этой статье я рассказываю, чем уникальна Sigma, как она устроена под капотом и какие плюсы появление новой платформы сулит пользователям объединённой системы.

https://habr.com/ru/companies/avito/articles/931628/

#abтестирование #эксперименты #продуктовая_аналитика #продуктовая_разработка #trisigma #sigma #avito #авито

Sigma + Trisigma = 4Sigma или как мы сделали эксперименты еще удобнее

Всем привет! Меня зовут Искандер, я отвечаю за продуктовое развитие A/B-платформы Avito – Trisigma External, а раньше работал в EXPF и также отвечал за A/B-платформу, которая называлась Sigma. В июне произошло важное событие для российского рынка продуктовой аналитики: платформа Sigma официально стала частью Trisigma . В этой статье я рассказываю, чем уникальна Sigma, как она устроена под капотом и какие плюсы появление новой платформы сулит пользователям объединённой системы.

https://habr.com/ru/companies/avito/articles/931628/

#abтестирование #эксперименты #продуктовая_аналитика #продуктовая_разработка #trisigma #sigma #avito #авито

Sigma + Trisigma = 4Sigma или как мы сделали эксперименты еще удобнее

Всем привет! Меня зовут Искандер, я отвечаю за продуктовое развитие A/B-платформы Avito – Trisigma External, а раньше работал в EXPF и также отвечал за A/B-платформу, которая называлась Sigma. В июне произошло важное событие для российского рынка продуктовой аналитики: платформа Sigma официально стала частью Trisigma . В этой статье я рассказываю, чем уникальна Sigma, как она устроена под капотом и какие плюсы появление новой платформы сулит пользователям объединённой системы.

https://habr.com/ru/companies/avito/articles/931628/

#abтестирование #эксперименты #продуктовая_аналитика #продуктовая_разработка #trisigma #sigma #avito #авито

Sigma + Trisigma = 4Sigma или как мы сделали эксперименты еще удобнее

Всем привет! Меня зовут Искандер, я отвечаю за продуктовое развитие A/B-платформы Avito – Trisigma External, а раньше работал в EXPF и также отвечал за A/B-платформу, которая называлась Sigma. В июне произошло важное событие для российского рынка продуктовой аналитики: платформа Sigma официально стала частью Trisigma . В этой статье я рассказываю, чем уникальна Sigma, как она устроена под капотом и какие плюсы появление новой платформы сулит пользователям объединённой системы.

https://habr.com/ru/companies/avito/articles/931628/

#abтестирование #эксперименты #продуктовая_аналитика #продуктовая_разработка #trisigma #sigma #avito #авито

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Как мы в Авито используем split-тесты для оценки алгоритмов продвижения объявлений

Привет! Меня зовут Антон Семенистый, я старший data science инженер в Авито . Мы с коллегами разрабатываем алгоритмы платного продвижения, и нам часто приходится тестировать новые модели. Как оказалось, A/B-тесты не всегда дают верный результат в сравнении рекламных алгоритмов, поэтому мы перешли на split-тесты. В статье рассказываю про преимущества split-тестов перед A/B для решения AdTech-задач, а также о том, почему и как мы используем эти тесты для ранжирования рекламных объявлений в поисковой выдаче.

https://habr.com/ru/companies/avito/articles/927606/

#авито #avito #test #тестирование #ab_тестирование #abтестирование #split_testing

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Многорукие бандиты: когда классическое тестирование не работает

Привет, Хабр! Мы команда ЖЦК, занимаемся машинным обучением в ВТБ. Сегодня расскажем про алгоритмическую магию, которая творится прямо у нас под носом. Авторами проекта этой магии в ВТБ стали дата-сайентисты Дмитрий Тимохин, Василий Сизов, Александр Лукашевич и Егор Суравейкин. Речь пойдет не о хитрых нейросетях с их миллионами параметров, а о простом подходе, который помог им и команде сэкономить много времени на решении задач, в которых раньше использовались классические методы тестирования.

https://habr.com/ru/companies/vtb/articles/915698/

#многорукий_бандит #abтестирование #рекомендательные_системы #data_science #machine_learning

Как создавать A/B-тесты SMS-рассылок с нейросетью DeepSeek

Привет, Хабр. В этой статье поможем владельцам бизнесов и маркетологам в два клика с помощью нейросети получить хорошие тексты для A/B-тестирования SMS-рассылок и разослать выбранные варианты контактам из CRM. Для генерации текстов используем API DeepSeek, для рассылок —

https://habr.com/ru/companies/exolve/articles/898764/

#sms_api #битрикс24 #нейросети_в_коде #deepseek #crmсистемы #abтестирование #рассылка_sms