#абтесты — Public Fediverse posts

Доступность товара в «Магните»: от эвристик до CUSUM и GEE-тестов

Привет, Хабр! Меня зовут Ян Пиле, руковожу в MAGNIT TECH направлением развития алгоритмов доступности товаров. Задача моей команды: сделать так, чтобы в магазине, куда вы зашли за своим любимым майонезом, он с большей вероятностью оказался на полке. А если не оказался — чтобы сотруднику магазина как можно быстрее прилетело задание: «проверь, почему именно этой позиции сейчас нет, и, если возможно, верни её обратно». Мы уже дважды писали про OSA (On-Shelf Availability — уровень доступности товара на полке). В статье «Как OSA превращает пустые полки в полные корзины?» рассказывали про продуктовый контекст: зачем эта история нужна бизнесу и почему «товар числится в системе» и «товар реально лежит на полке» — это два совершенно разных утверждения. А в статье «Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле» мы подробно разбирали один из рабочих алгоритмов команды. В этот раз я хочу пройтись по всему стеку детекции целиком — от самых простых правил до А/Б-тестов, в которых приходится бороться с зависимыми наблюдениями.

https://habr.com/ru/companies/magnit/articles/1027032/

#osa #статистика #доступность #абтесты #cusum #машинное_обучение #магнит #ml #magnit_tech #ритейл

Доступность товара в «Магните»: от эвристик до CUSUM и GEE-тестов

Привет, Хабр! Меня зовут Ян Пиле, руковожу в MAGNIT TECH направлением развития алгоритмов доступности товаров. Задача моей команды: сделать так, чтобы в магазине, куда вы зашли за своим любимым майонезом, он с большей вероятностью оказался на полке. А если не оказался — чтобы сотруднику магазина как можно быстрее прилетело задание: «проверь, почему именно этой позиции сейчас нет, и, если возможно, верни её обратно». Мы уже дважды писали про OSA (On-Shelf Availability — уровень доступности товара на полке). В статье «Как OSA превращает пустые полки в полные корзины?» рассказывали про продуктовый контекст: зачем эта история нужна бизнесу и почему «товар числится в системе» и «товар реально лежит на полке» — это два совершенно разных утверждения. А в статье «Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле» мы подробно разбирали один из рабочих алгоритмов команды. В этот раз я хочу пройтись по всему стеку детекции целиком — от самых простых правил до А/Б-тестов, в которых приходится бороться с зависимыми наблюдениями.

https://habr.com/ru/companies/magnit/articles/1027032/

#osa #статистика #доступность #абтесты #cusum #машинное_обучение #магнит #ml #magnit_tech #ритейл

Доступность товара в «Магните»: от эвристик до CUSUM и GEE-тестов

Привет, Хабр! Меня зовут Ян Пиле, руковожу в MAGNIT TECH направлением развития алгоритмов доступности товаров. Задача моей команды: сделать так, чтобы в магазине, куда вы зашли за своим любимым майонезом, он с большей вероятностью оказался на полке. А если не оказался — чтобы сотруднику магазина как можно быстрее прилетело задание: «проверь, почему именно этой позиции сейчас нет, и, если возможно, верни её обратно». Мы уже дважды писали про OSA (On-Shelf Availability — уровень доступности товара на полке). В статье «Как OSA превращает пустые полки в полные корзины?» рассказывали про продуктовый контекст: зачем эта история нужна бизнесу и почему «товар числится в системе» и «товар реально лежит на полке» — это два совершенно разных утверждения. А в статье «Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле» мы подробно разбирали один из рабочих алгоритмов команды. В этот раз я хочу пройтись по всему стеку детекции целиком — от самых простых правил до А/Б-тестов, в которых приходится бороться с зависимыми наблюдениями.

https://habr.com/ru/companies/magnit/articles/1027032/

#osa #статистика #доступность #абтесты #cusum #машинное_обучение #магнит #ml #magnit_tech #ритейл

Доступность товара в «Магните»: от эвристик до CUSUM и GEE-тестов

Привет, Хабр! Меня зовут Ян Пиле, руковожу в MAGNIT TECH направлением развития алгоритмов доступности товаров. Задача моей команды: сделать так, чтобы в магазине, куда вы зашли за своим любимым майонезом, он с большей вероятностью оказался на полке. А если не оказался — чтобы сотруднику магазина как можно быстрее прилетело задание: «проверь, почему именно этой позиции сейчас нет, и, если возможно, верни её обратно». Мы уже дважды писали про OSA (On-Shelf Availability — уровень доступности товара на полке). В статье «Как OSA превращает пустые полки в полные корзины?» рассказывали про продуктовый контекст: зачем эта история нужна бизнесу и почему «товар числится в системе» и «товар реально лежит на полке» — это два совершенно разных утверждения. А в статье «Когда 0 в продажах — аномалия? CUSUM для поиска проблем в ритейле» мы подробно разбирали один из рабочих алгоритмов команды. В этот раз я хочу пройтись по всему стеку детекции целиком — от самых простых правил до А/Б-тестов, в которых приходится бороться с зависимыми наблюдениями.

https://habr.com/ru/companies/magnit/articles/1027032/

#osa #статистика #доступность #абтесты #cusum #машинное_обучение #магнит #ml #magnit_tech #ритейл

Трансформеры для персональных рекомендаций на маркетплейсе: от гипотез до A/B-тестирования

Всем привет! На связи Ваня Ващенко, и я лид по развитию нейросетевых моделей в команде персональных рекомендаций Wildberries. Раньше я развивал B2C-рекомендации и нейросети кредитного скоринга в крупнейшем банке, а теперь вы видите результаты моей работы каждый раз, когда заходите на главную страницу любимого маркетплейса. Сегодняшний рассказ — о том, как мы развиваем WildBERT.

https://habr.com/ru/companies/wildberries/articles/972082/

#рекомендации #рекомендательные_системы #deep_learning #machine_learning #bert4rec #абтесты #recsys #маркетплейс #wildberries #data_science

Дивергенция как мера специфичности аудитории вашей пилотной механики

Хабр, привет! На связи Никита и Егор, мы работаем над продуктовой аналитикой в дирекции по развитию программы лояльности Х5. В статье мы бы хотели рассказать вам о том, как можно использовать модификацию дивергенции Кульбака-Лейблера для ответа на вопрос, а насколько ваша пилотная аудитория специфична относительно генеральной совокупности всех клиентов, и какие могут быть «подводные камни».

https://habr.com/ru/companies/X5Tech/articles/946292/

#Дивергенция #целевая_аудитория #КульбакаЛейблера #ЙенсенаШеннона #абтесты

Как аналитики Авито с помощью ML помогают людям выбирать хорошие авто с пробегом

Привет! Меня зовут Илья Комутков, я старший аналитик в Автотеке Авито — сервисе по проверке истории автомобилей с пробегом. В статье расскажу, как мы улучшаем проверку машин и создаём алгоритм рекомендаций по дальнейшим действиям для покупателей. Текст будет интересен начинающим или middle-аналитикам, которые уже умеют работать с SQL, python, ML, но ещё не решали многоэтапные задачи, влияющие на бизнес, и ищут способы применить свои навыки в работе.

https://habr.com/ru/companies/avito/articles/937610/

#анализ_данных #ml #классификация #автомобили #абтесты #авито #avito #avitotech

Реализация А/Б-тестов

Для А/Б-тестов в вебе показаны случайный выбор групп, хэширование, логика на бэкэнде и фронтэнде, логирование событий, одновременные эксперименты и админка. Примеры демонстрируют реализацию А/Б-тестов и устройство платформ экспериментов. Читать

https://habr.com/ru/articles/940118/

#абтесты #эксперименты #анализ_данных #продуктовая_аналитика #вебсервисы #вебаналитика

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)

Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...

https://habr.com/ru/articles/928562/

#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript

Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду

Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.

https://habr.com/ru/articles/887276/

#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product

Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду

Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.

https://habr.com/ru/articles/887276/

#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product

Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду

Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.

https://habr.com/ru/articles/887276/

#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product

Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду

Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.

https://habr.com/ru/articles/887276/

#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product

Как стать продуктовым аналитиком в Ozon Банке?

Всем привет! Меня зовут Миша, и я работаю продуктовым аналитиком в Ozon Банке. Мой путь в профессии начался всего 3 года назад, и я отлично помню, как мне самому не хватало подробного плана по входу в профессию. Поэтому я решил написать свой. Надеюсь, что он поможет новичкам и тем, кто только задумывается об аналитике данных) Для того чтобы мой план был более интерактивным, давайте представим, что, идя по плану мы как Танос из вселенной Marvel – собираем навыки аналитика в свою перчатку бесконечности.

https://habr.com/ru/companies/ozonbank/articles/892618/

#sql #python #абтесты #математика #курсы #анализ_данных #продуктовая_аналитика #soft_skills #статистика #data_science

Использование последовательного тестирования для уменьшения размера выборки

Привет, Хабр! Я Андрей, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда. Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов. Наша команда проводит тысячи тестов в год, причем большинство из них — на бинарных метриках. И часто команда сталкивается с вопросами:

https://habr.com/ru/companies/tbank/articles/876984/

#abтестирование #абтесты #абтестирование #статистический_тест #статистика #мощность_теста #значимость

Эконометрика в ритейле: как не потратить миллионы на заведомо неэффективные эксперименты

Всем привет! На связи команда ad-hoc аналитики X5 Tech. Если вы уже знакомы с нашими статьями, то наверняка знаете, что нашей ключевой темой является А/Б тестирование. Важной составляющей А/Б теста является дизайн: для успешного проведения эксперимента необходимо оценить размер пилотной и контрольной групп, зафиксировав предварительно ожидаемый эффект. Но возникает вопрос: как убедиться в обоснованности гипотезы и рассчитать ожидаемые эффекты от инициативы? В статье мы рассмотрим ключевые понятия из эконометрики, такие как коинтеграция и модель коррекции ошибок, и продемонстрируем их применение на ретроспективных данных. Мы подробно разберём, как использовать эти инструменты для анализа взаимосвязей между временными рядами. В качестве практического примера с помощью функции импульсного отклика мы проведём количественную оценку ожидаемого влияния повышения комплектности персонала на списания на выбранном кейсе.

https://habr.com/ru/companies/X5Tech/articles/874190/

#анализ_данных #data_science #аналитика #статистика #эконометрика #эконометрика_в_ритейле #временные_ряды #time_series #абтесты #коинтеграция

Как отслеживать перформанс-метрики приложения и выкатывать только позитивные изменения

Привет! Меня зовут Ксения Беленя, я занимаюсь аналитикой производительности приложений и веб-страниц в Авито . В этой статье я рассказываю, почему перформанс приложений — это важно, на какие метрики мы смотрим в Авито, как оцениваем и проверяем уровень производительности в A/B-тестах. Статья поможет тем, кто хочет следить за перформансом своего приложения или сайта, но не уверен, что это нужно делать, и не знает, с чего начать.

https://habr.com/ru/companies/avito/articles/871428/

#аналитика #аналитик_данных #метрики #перформанс_скор #performance_score #тестирование #абтесты #авито

Почему A/B тесты — это не всегда хорошая идея?

Привет! A/B тесты всегда окружали нас, но мы их не замечали... Но давайте разберемся, почему A/B тесты - это не всегда хорошо. Прочитать статью

https://habr.com/ru/articles/869622/

#Собеседования #Продуктовая_аналитика #Аналитика_данных #войти_в_it #абтесты #Гайд #AB_тесты

Diff-in-diff: жизнь за пределами идеального эксперимента

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

https://habr.com/ru/companies/X5Tech/articles/867734/

#статистика #эконометрика #causal_inference #differenceindifference #diffindiff #абтесты #эксперимент #линейная_регрессия #абтестирование #treatment

Diff-in-diff: жизнь за пределами идеального эксперимента

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

https://habr.com/ru/companies/X5Tech/articles/867734/

#статистика #эконометрика #causal_inference #differenceindifference #diffindiff #абтесты #эксперимент #линейная_регрессия #абтестирование #treatment

Diff-in-diff: жизнь за пределами идеального эксперимента

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

https://habr.com/ru/companies/X5Tech/articles/867734/

#статистика #эконометрика #causal_inference #differenceindifference #diffindiff #абтесты #эксперимент #линейная_регрессия #абтестирование #treatment

Diff-in-diff: жизнь за пределами идеального эксперимента

Привет, Хабр! На связи команда ad-hoc аналитики X5 Tech. Основная задача аналитика при проведении А/Б тестирования - оценка эффекта воздействия (тритмента). В этой статье мы обсудим, что такое идеальный эксперимент и почему он позволяет корректно оценить эффект от воздействия. Затем расскажем, когда идеальный эксперимент невозможен и дадим интуитивное обоснование того, как метод difference-in-difference помогает справиться с оценкой эффекта воздействия в таких ситуациях. В конце мы обсудим формальные предпосылки метода и покажем на примере симуляций последствия их невыполнения.

https://habr.com/ru/companies/X5Tech/articles/867734/

#статистика #эконометрика #causal_inference #differenceindifference #diffindiff #абтесты #эксперимент #линейная_регрессия #абтестирование #treatment

Бутстрап в PySpark

Всем привет! Меня зовут Илья Черников, я аналитик больших данных в X5 Tech, сейчас занимаюсь аналитикой и оценкой активностей CVM маркетинга экспресс-доставки “Пятёрочки”. В статье я расскажу о том, как мы решали вопрос автоматизации оценки эффективности большого количества маркетинговых кампаний с помощью бутстрапа в PySpark. Я опишу различные подходы к реализации бутстрапа с их плюсами и минусами, а также расскажу об итоговом варианте, который мы выбрали для себя.

https://habr.com/ru/companies/X5Tech/articles/849322/

#Python #статистика_в_it #big_data #data_engineering #pyspark #bootstrap #абтесты #бутстрап #spark

Теорема о разбиении регрессоров: делаем CUPED аб-тесты в один шаг

Пишу эту статью для тех, кто уже знаком с CUPED, но ищет больше понимания этого метода и взгляда на него с другой стороны. Здесь я не буду детально объяснять базовый алгоритм CUPED аб-тестирования: про это уже достаточно материала в сети. Основное внимание уделим рассмотрению метода через призму регрессий. Цель статьи - познакомить читателя с теоремой, безумно полезной для понимания работы регрессий, а главное - продемонстрировать, как с помощью этой теоремы проводить CUPED тесты не в три последовательных шага (как в базовом алгоритме), а с помощью одной регрессии.

https://habr.com/ru/articles/843826/

#Теорема_о_разбиении_регрессоров #cuped #абтесты #регрессионный_анализ #регрессия

Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 5: Поведенческое интервью + Бонусы

Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor ). В предыдущей статье я поделился материалами для подготовки к дизайну систем машинного обучения. В этой статье рассмотрим материалы, которые можно использовать для подготовки к поведенческому интервью, а также ресурсы, которые не подошли по тематике ни к одной из предыдущих статей.

https://habr.com/ru/companies/megafon/articles/839570/

#собеседование_в_it #собеседование_вопросы #поведенческое_интервью #подготовка_к_собеседованию #математика #статистика #абтесты #data_science #tips&tricks #советы_новичкам

7 раз отрежь, один релизни. А/Б тесты статических сайтов

Релиз начинается с идеи. Когда в потоке мозгового штурма приходит та самая идея, которая понравится всем пользователям и привлечёт новых клиентов. Идея презентуется команде менеджеров, маркетологов и безоговорочно поддерживается всеми. Прорабатывается ТЗ и задача отдаётся разработчикам. Затем новая версия тестируется и уходит конечным пользователям. На этом жизненный цикл идеи завершён. Теперь остаётся дождаться массива свежей аналитики и отпраздновать… Однако эта идея изначально была обречена. Она была поддержана лишь схожими с её автором людьми. Однако эти люди не самая подходящая ЦА, а возможно и вовсе её редкие исключения. И есть только один гарантированный способ проверить гипотезу - проверить её именно на аудитории бизнеса. Но, не на всей. Этот способ называется А/Б тестированием. И именно ему будет посвящена данная статья. От идеи до конкретной реализации тестирования на next.js (которую можно повторить и на других технологиях).

https://habr.com/ru/articles/819399/

#nextjs #middleware #edge #ab_testing #абтесты #web_программирование #nextjs #react

Пять важных деталей А/B тестов

Во времена господства data driven, компании запускают сотни тестов чтобы полагаться на данные при принятии решения, стараясь тем самым быть более осознанными. Проблема в том, что если не учитывать тонкости во время тестов, то все ваше время на них может быть потрачено зря и решения которые вы примите на самом деле окажутся ничем не подкреплены. Проводя собесы аналитиков к нам в команду, я выявил топ 5 упущений, которые существуют на их текущей работе или они их допустили при выполнении задания.

https://habr.com/ru/companies/ligastavok/articles/799827/

#абтесты #продуктовая_аналитика #анализ_данных #гипотезы #продукт

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

В предыдущих статьях статья 1 , статья 2 , статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой. Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon , возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.

https://habr.com/ru/articles/800809/

#python #psi #сплит #абтесты #abtest #аналитика #статистика

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

В предыдущих статьях статья 1 , статья 2 , статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой. Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon , возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.

https://habr.com/ru/articles/800809/

#python #psi #сплит #абтесты #abtest #аналитика #статистика

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

В предыдущих статьях статья 1 , статья 2 , статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой. Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon , возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.

https://habr.com/ru/articles/800809/

#python #psi #сплит #абтесты #abtest #аналитика #статистика

Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации

В предыдущих статьях статья 1 , статья 2 , статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой. Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon , возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.

https://habr.com/ru/articles/800809/

#python #psi #сплит #абтесты #abtest #аналитика #статистика

АБ тесты и подводные камни при их автоматизации

Задача оценки нововведений в онлайн и мобильных приложениях возникает повсеместно. Один из наиболее надёжных и популярных способов решения этой задачи - двойной слепой рандомизированный эксперимент, также известный как АБ-тест . На тему АБ-тестирования доступны как статьи на Хабре, так и целые книги (неполный список литературы в конце). В основе АБ-теста лежит следующая идея - случайно разделить пользователей на две или более группы, в одной из которых исследуемая функциональность выключена, а в других - включена. Затем можно сравнить метрики и сделать выводы.

https://habr.com/ru/articles/781060/

#ab_testing #абтесты #аналитика_данных #статистика #python