#ab_тестирование — Public Fediverse posts

Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы. Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы. Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.

https://habr.com/ru/companies/X5Tech/articles/974372/

#ab_тестирование #проксиметрики #эксперименты #причинноследственный_анализ #causal_inference #анализ_данных #product_analytics #surrogate_models #north_star_metric #корреляция

Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы. Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы. Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.

https://habr.com/ru/companies/X5Tech/articles/974372/

#ab_тестирование #проксиметрики #эксперименты #причинноследственный_анализ #causal_inference #анализ_данных #product_analytics #surrogate_models #north_star_metric #корреляция

Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы. Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы. Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.

https://habr.com/ru/companies/X5Tech/articles/974372/

#ab_тестирование #проксиметрики #эксперименты #причинноследственный_анализ #causal_inference #анализ_данных #product_analytics #surrogate_models #north_star_metric #корреляция

Проксируй это: как ускорить A/B-тесты и не попасть в ловушку метрик

В A/B-тестах хотелось бы смотреть на главную метрику, ту самую North Star, которая показывает успех продукта. Но на практике она почти всегда медленная, шумная и бесполезная для быстрых решений. Например, вы запускаете тест новой системы рекомендаций, ждёте неделю, две, а LifeTime Value не двигается. И непонятно, это потому что нет результата или ещё рано делать выводы. Чтобы не тратить месяцы на догадки, можно воспользоваться прокси-метриками — быстрыми, чувствительными показателями, которые реагируют раньше, чем бизнес-метрика «успевает моргнуть». Проблема в том, что это решение часто требует дополнительные ресурсы. Привет, Хабр! Меня зовут Артем Ерохин, и я Data Scientist в X5 Tech. Я прочитал современные исследования, пропустил их через свой опыт и собрал концентрат подходов к работе с прокси-метриками. Постараюсь передать только суть. Разберемся, зачем нужны прокси, как с ними не выстрелить себе в ногу, где заканчивается польза и начинается самообман.

https://habr.com/ru/companies/X5Tech/articles/974372/

#ab_тестирование #проксиметрики #эксперименты #причинноследственный_анализ #causal_inference #анализ_данных #product_analytics #surrogate_models #north_star_metric #корреляция

Иллюзия 95%: гайд по самой частой элементарной ошибке в Data Science

Что, если я скажу тебе, что у параметра нет вероятности? Это самая распространенная и устойчивая когнитивная ошибка в Data Science. Она встречается в курсовых, в учебниках и даже в документациях библиотек. Здесь мы напишем симуляцию на Python, увидим, как «прыгают» интервалы, поймем, как тут могут помочь пластмассовые игрушки советских детей, и узнаем, как же тогда математически точно отвечать менеджерам на их вопросы, чтобы они навсегда перестали с вами разговаривать. Добро пожаловать в кроличью нору частотной статистики.

https://habr.com/ru/articles/974186/

#статистика #доверительный_интервал #математическая_статистика #анализ_данных #теория_вероятностей #python #визуализация_данных #ab_тестирование #ошибки_мышления #статистическая_значимость

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда. Рассмотрим 5 основных рынков Всем привет! Я — Матвеев Денис, Product Lead крупнейшего синего маркетплейса. Отвечаю за навигацию, плитку, ЛК и in-app push. Когда год назад ко мне перешла и главная страница, мы быстро вывели её «в деньги» и я заметил повторяющийся паттерн: независимо от индустрии сильные команды приходят к схожей структуре. Чтобы не опираться на интуицию, я пообщался с коллегами из других компаний (маркетплейсы, классифайды, недвижимость) и разобрал 60+ популярных приложений на разных рынках.Ниже — что такое главная для бизнеса, какие паттерны работают и где отход от них бьёт по метрикам. 1. Какие бывают главные страницы и какую цель они решают для бизнеса Цель бизнеса: привлекать трафик для продажи товаров/услуг, расширять ассортимент закрываемых работ пользователей Целевое действие: продажа товаров/услуг Компоненты главной: — товары (закрытие основной потребности) — сервисы (распределение трафика) — баннеры (монетизация) — распродажи (привлечение/удержание)

https://habr.com/ru/articles/946932/

#главная_страница #продуктовый_дизайн #бизнесмодель #конверсия #retention #arpu #продуктовые_метрики #ab_тестирование #персонализация #маркетплейсы

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда. Рассмотрим 5 основных рынков Всем привет! Я — Матвеев Денис, Product Lead крупнейшего синего маркетплейса. Отвечаю за навигацию, плитку, ЛК и in-app push. Когда год назад ко мне перешла и главная страница, мы быстро вывели её «в деньги» и я заметил повторяющийся паттерн: независимо от индустрии сильные команды приходят к схожей структуре. Чтобы не опираться на интуицию, я пообщался с коллегами из других компаний (маркетплейсы, классифайды, недвижимость) и разобрал 60+ популярных приложений на разных рынках.Ниже — что такое главная для бизнеса, какие паттерны работают и где отход от них бьёт по метрикам. 1. Какие бывают главные страницы и какую цель они решают для бизнеса Цель бизнеса: привлекать трафик для продажи товаров/услуг, расширять ассортимент закрываемых работ пользователей Целевое действие: продажа товаров/услуг Компоненты главной: — товары (закрытие основной потребности) — сервисы (распределение трафика) — баннеры (монетизация) — распродажи (привлечение/удержание)

https://habr.com/ru/articles/946932/

#главная_страница #продуктовый_дизайн #бизнесмодель #конверсия #retention #arpu #продуктовые_метрики #ab_тестирование #персонализация #маркетплейсы

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда. Рассмотрим 5 основных рынков Всем привет! Я — Матвеев Денис, Product Lead крупнейшего синего маркетплейса. Отвечаю за навигацию, плитку, ЛК и in-app push. Когда год назад ко мне перешла и главная страница, мы быстро вывели её «в деньги» и я заметил повторяющийся паттерн: независимо от индустрии сильные команды приходят к схожей структуре. Чтобы не опираться на интуицию, я пообщался с коллегами из других компаний (маркетплейсы, классифайды, недвижимость) и разобрал 60+ популярных приложений на разных рынках.Ниже — что такое главная для бизнеса, какие паттерны работают и где отход от них бьёт по метрикам. 1. Какие бывают главные страницы и какую цель они решают для бизнеса Цель бизнеса: привлекать трафик для продажи товаров/услуг, расширять ассортимент закрываемых работ пользователей Целевое действие: продажа товаров/услуг Компоненты главной: — товары (закрытие основной потребности) — сервисы (распределение трафика) — баннеры (монетизация) — распродажи (привлечение/удержание)

https://habr.com/ru/articles/946932/

#главная_страница #продуктовый_дизайн #бизнесмодель #конверсия #retention #arpu #продуктовые_метрики #ab_тестирование #персонализация #маркетплейсы

Главная страница: как не изобретать велосипед

"Покажи мне главную и я скажу какая стратегия у компании" Главная — отражение основной ценности и бизнес модели продукта. На ней пользователь либо делает шаг к конверсии, либо уходит навсегда. Рассмотрим 5 основных рынков Всем привет! Я — Матвеев Денис, Product Lead крупнейшего синего маркетплейса. Отвечаю за навигацию, плитку, ЛК и in-app push. Когда год назад ко мне перешла и главная страница, мы быстро вывели её «в деньги» и я заметил повторяющийся паттерн: независимо от индустрии сильные команды приходят к схожей структуре. Чтобы не опираться на интуицию, я пообщался с коллегами из других компаний (маркетплейсы, классифайды, недвижимость) и разобрал 60+ популярных приложений на разных рынках.Ниже — что такое главная для бизнеса, какие паттерны работают и где отход от них бьёт по метрикам. 1. Какие бывают главные страницы и какую цель они решают для бизнеса Цель бизнеса: привлекать трафик для продажи товаров/услуг, расширять ассортимент закрываемых работ пользователей Целевое действие: продажа товаров/услуг Компоненты главной: — товары (закрытие основной потребности) — сервисы (распределение трафика) — баннеры (монетизация) — распродажи (привлечение/удержание)

https://habr.com/ru/articles/946932/

#главная_страница #продуктовый_дизайн #бизнесмодель #конверсия #retention #arpu #продуктовые_метрики #ab_тестирование #персонализация #маркетплейсы

Как мы потратили €20,000 на R&D в Telegram Ads, чтобы найти рабочую модель для SaaS-конструктора

Что делать, когда у тебя есть €20,000 гранта на маркетинг, новый сложный SaaS-продукт (конструктор Mini Apps), и ноль данных о том, как привлекать клиентов? Мы решили использовать этот бюджет не на погоню за ROI, а на полноценный R&D в Telegram Ads. В этой статье — подробный лог нашего эксперимента. Мы разберем, почему воронка через сайт с треском провалилась (€69 за регистрацию), как мы научились отличать «хороших» подписчиков от «плохих» на глаз, и почему самый дорогой на входе бот может оказаться самым перспективным. Читать полностью

https://habr.com/ru/articles/945828/

#telegram_ads #реклама_в_телеграм #telegram_mini_apps #кейс #аналитика #ab_тестирование #telegram_bot #saasсервис #маркетинг #юнитэкономика

Как мы потратили €20,000 на R&D в Telegram Ads, чтобы найти рабочую модель для SaaS-конструктора

Что делать, когда у тебя есть €20,000 гранта на маркетинг, новый сложный SaaS-продукт (конструктор Mini Apps), и ноль данных о том, как привлекать клиентов? Мы решили использовать этот бюджет не на погоню за ROI, а на полноценный R&D в Telegram Ads. В этой статье — подробный лог нашего эксперимента. Мы разберем, почему воронка через сайт с треском провалилась (€69 за регистрацию), как мы научились отличать «хороших» подписчиков от «плохих» на глаз, и почему самый дорогой на входе бот может оказаться самым перспективным. Читать полностью

https://habr.com/ru/articles/945828/

#telegram_ads #реклама_в_телеграм #telegram_mini_apps #кейс #аналитика #ab_тестирование #telegram_bot #saasсервис #маркетинг #юнитэкономика

Как мы потратили €20,000 на R&D в Telegram Ads, чтобы найти рабочую модель для SaaS-конструктора

Что делать, когда у тебя есть €20,000 гранта на маркетинг, новый сложный SaaS-продукт (конструктор Mini Apps), и ноль данных о том, как привлекать клиентов? Мы решили использовать этот бюджет не на погоню за ROI, а на полноценный R&D в Telegram Ads. В этой статье — подробный лог нашего эксперимента. Мы разберем, почему воронка через сайт с треском провалилась (€69 за регистрацию), как мы научились отличать «хороших» подписчиков от «плохих» на глаз, и почему самый дорогой на входе бот может оказаться самым перспективным. Читать полностью

https://habr.com/ru/articles/945828/

#telegram_ads #реклама_в_телеграм #telegram_mini_apps #кейс #аналитика #ab_тестирование #telegram_bot #saasсервис #маркетинг #юнитэкономика

Как мы потратили €20,000 на R&D в Telegram Ads, чтобы найти рабочую модель для SaaS-конструктора

Что делать, когда у тебя есть €20,000 гранта на маркетинг, новый сложный SaaS-продукт (конструктор Mini Apps), и ноль данных о том, как привлекать клиентов? Мы решили использовать этот бюджет не на погоню за ROI, а на полноценный R&D в Telegram Ads. В этой статье — подробный лог нашего эксперимента. Мы разберем, почему воронка через сайт с треском провалилась (€69 за регистрацию), как мы научились отличать «хороших» подписчиков от «плохих» на глаз, и почему самый дорогой на входе бот может оказаться самым перспективным. Читать полностью

https://habr.com/ru/articles/945828/

#telegram_ads #реклама_в_телеграм #telegram_mini_apps #кейс #аналитика #ab_тестирование #telegram_bot #saasсервис #маркетинг #юнитэкономика

Рассылка на миллион: как CDP от БизнесПрофи на базе Битрикс24 помогает оперировать реально огромными базами контактов

Привет! Меня зовут Анна Амирова, я из digital-интегратора БизнесПрофи. Сегодня возвращаюсь со второй частью статьи о том, как работает и чем помогает маркетологам и отделу продаж CDP на базе Битрикс24. В предыдущей части статьи говорилось о том, какие методы сегментации можно использовать, чтобы выделить целевые аудитории для различных задач маркетинга и продаж. Сегодня речь пойдет о том, как реализованы рассылки в нашей CDP и как они позволяют работать с собранными сегментами ЦА.

https://habr.com/ru/companies/bitrix/articles/940650/

#cdp #cdp_платформа #ab_тестирование #рассылки #отчеты

A/B-тестирование и эксперименты: что посмотреть и почитать начинающему дата-аналитику

Привет! Это команда курса

https://habr.com/ru/companies/yandex_praktikum/articles/941732/

#ab_тестирование

Сетап А/В-теста, который помог снизить MDE выручки в 2 раза

Привет! Я Соня Ожерельева — тимлид в команде Monetization Efficiency в Авито . В статье расскажу про новый сетап A/B-теста, который мы использовали при тестировании системы Уровень сервиса на Авито. Он, как и A/B-тест по регионам, позволяет измерять влияние как на покупателей, так и на продавцов. При этом MDE нашего сетапа в 2 раза ниже, чем у регионального. Материал будет полезен аналитикам любых грейдов.

https://habr.com/ru/companies/avito/articles/929894/

#авито #avito #ab_testing #ab_тестирование #аналитика #analytics #ранжирование

Как мы в Авито используем split-тесты для оценки алгоритмов продвижения объявлений

Привет! Меня зовут Антон Семенистый, я старший data science инженер в Авито . Мы с коллегами разрабатываем алгоритмы платного продвижения, и нам часто приходится тестировать новые модели. Как оказалось, A/B-тесты не всегда дают верный результат в сравнении рекламных алгоритмов, поэтому мы перешли на split-тесты. В статье рассказываю про преимущества split-тестов перед A/B для решения AdTech-задач, а также о том, почему и как мы используем эти тесты для ранжирования рекламных объявлений в поисковой выдаче.

https://habr.com/ru/companies/avito/articles/927606/

#авито #avito #test #тестирование #ab_тестирование #abтестирование #split_testing

Статистика для UX-исследователей. Часть 3 — Анализ взаимосвязи качественных переменных

Привет! На связи Серёжа и Маша, и это третья часть в нашей серии обучений по статистике. В прошлых статьях мы разобрали, как оценить среднюю удовлетворенность пользователей и как её сравнить . Сегодня мы научимся анализировать взаимосвязь качественных переменных между собой.

https://habr.com/ru/companies/skbkontur/articles/927462/

#статистика #хиквадрат #zтест #исследование_пользователей #опросы_клиентов #ab_тестирование

D7 — не показатель: ищем правду

Привет, Хабр! Сегодня поговорим про ретеншн — ту самую метрику, от которой часто пляшут все продуктовые команды. Вы знаете: «вернулся через 7 дней» (D7) — и сказано, что мы класс Но на деле класс ломается, как только продукт усложняется. В этой статье рассмотрим, почему классический D7 retention не работает, как построить настоящие кривые удержания через когорты, в чём разница между recurring vs one-shot поведением, какие есть альтернативные метрики и сравним три метода.

https://habr.com/ru/companies/otus/articles/905068/

#аналитика #когорты #Retention #анализ_данных #Метрики_удержания #Модели_удержания #ab_тестирование #рекомендательные_системы

5 вопросов на собеседовании про A/B-тестирование в SQL

Привет, Хабр! Сегодня рассмотрим 5 вопросов на собеседовании про A/B-тестирование в SQL. И начнем с первого – как посчитать конверсии и относительную разницу между группами A и B?

https://habr.com/ru/companies/otus/articles/893988/

#ab #sql #ab_тестирование

Как и для чего мы делали симуляцию курьерской доставки

С самого начала разработки курьерки мы генерировали много идей по улучшению алгоритмов. Мы не стеснялись выкатывать кучу фичей и проверять их работоспособность А/Б тестами. Не было ни дня, когда у нас не крутились эксперименты в продакшене. Что-то мы выкидывали, что-то оставляли, но не хардкодили, чтобы иметь гибкость. Страна большая и у каждого региона свои особенности, которые влияют на плотность заказов, логистику и потребность в курьерах. Поэтому наборы фичей и их значения различаются. Мы поняли, как отдельная фича влияет на продуктовые метрики, но как набор фичей в совокупности влияет на итоговый результат? Запускать А/Б тесты для каждого набора фичей слишком долго и затратно, ведь команде надо создавать и тестировать новые фичи. Но найти наилучшие комбинации фичей для разных регионов и городов быстро с наименьшими затратами ресурсов команды — было жизненно необходимо. Поэтому мы создали копию реального мира, чтобы внутри неё пробовать самые смелые идеи.

https://habr.com/ru/companies/x5digital/articles/876406/

#Симуляция #Backend #Nodejs #JavaScript #Курьерская_доставка #ecom #Продуктовые_гипотезы #ab_тестирование