#ttest — Public Fediverse posts

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Всё, что вы хотели знать о t-тесте, но боялись спросить

Всем привет! Меня зовут Александр Щукин, я аналитик в СКБ «Контур». В этой статье я расскажу о базовых основах применения t‑критерия Стьюдента. Для начала предлагаю Вам поучаствовать в викторине: если вы уверенно ответите на все вопросы ниже, то будете освобождены от прочтения этой статьи:‑)

https://habr.com/ru/articles/969226/

#ttest #степени_свободы #центральная_предельная_теорема #проверка_гипотез #abтестирование #распределение_стьюдента #статистика #pvalue

Welch's test: он вам не замена Т-test'a

Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.

https://habr.com/ru/companies/X5Tech/articles/896182/

#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it

Welch's test: он вам не замена Т-test'a

Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.

https://habr.com/ru/companies/X5Tech/articles/896182/

#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it

Welch's test: он вам не замена Т-test'a

Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.

https://habr.com/ru/companies/X5Tech/articles/896182/

#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it

Welch's test: он вам не замена Т-test'a

Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.

https://habr.com/ru/companies/X5Tech/articles/896182/

#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

https://habr.com/ru/companies/X5Tech/articles/846298/

#a/bтестирование #cuped #статистика_в_it #линейная_регрессия #стратификация #ttest #data_science #анализ_данных #python #аналитика

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

https://habr.com/ru/companies/X5Tech/articles/846298/

#a/bтестирование #cuped #статистика_в_it #линейная_регрессия #стратификация #ttest #data_science #анализ_данных #python #аналитика

50 оттенков линейной регрессии, или почему всё, что вы знаете об A/B тестах, помещается в одно уравнение

Всем привет! A/B тестирование уже давно стало стандартом в проверке гипотез и улучшении продуктов в X5. Но, как ни странно, многие из «модных» техник, которые применяются в A/B тестировании, на самом деле, не что иное, как вариации старой доброй линейной регрессии. Основная идея здесь проста: правильное добавление новых переменных в модель помогает лучше контролировать внешние факторы и уменьшать шум в данных. Это позволяет точнее оценить эффект от воздействия и объединить разные статистические подходы, которые обычно рассматриваются отдельно. Но почему это работает? Почему всё сводится к тому, что добавление переменных помогает объединить, казалось бы, разрозненные техники? Чтобы разобраться в этом, для начала вспомним основы линейной регрессии, после чего перейдём к различным статистическим методам снижения дисперсии и покажем, как они сводятся к линейной регрессии. Затем объединим все техники вместе и на примере покажем, как они работают на практике.

https://habr.com/ru/companies/X5Tech/articles/846298/

#a/bтестирование #cuped #статистика_в_it #линейная_регрессия #стратификация #ttest #data_science #анализ_данных #python #аналитика

T-test. Зависимость от независимости

Привет, Хабр! В статье подробно рассмотрим область применения самого базового статистического критерия Стьюдента. Посмотрим, как он ведёт себя, когда мы не хотим отдавать качество подбора наших групп на волю случая.

https://habr.com/ru/companies/X5Tech/articles/807001/

#a/bтестирование #a/b_testing #статистика #ttest #аналитика #анализ_данных #проверка_гипотез

T-test. Зависимость от независимости

Привет, Хабр! В статье подробно рассмотрим область применения самого базового статистического критерия Стьюдента. Посмотрим, как он ведёт себя, когда мы не хотим отдавать качество подбора наших групп на волю случая.

https://habr.com/ru/companies/X5Tech/articles/807001/

#a/bтестирование #a/b_testing #статистика #ttest #аналитика #анализ_данных #проверка_гипотез

T-test. Зависимость от независимости

Привет, Хабр! В статье подробно рассмотрим область применения самого базового статистического критерия Стьюдента. Посмотрим, как он ведёт себя, когда мы не хотим отдавать качество подбора наших групп на волю случая.

https://habr.com/ru/companies/X5Tech/articles/807001/

#a/bтестирование #a/b_testing #статистика #ttest #аналитика #анализ_данных #проверка_гипотез

Типичные задачи аналитика данных. Часть 1. Упала метрика

В прошлой статье мы рассматривали неочевидные проблемы АБ тестирования и как можно с ними справляться [ ссылка ]. Но часто бывает так, что при внедрении новой функциональности АБ тестирование провести нельзя. Например, это типично для маркетинговых кампаний нацеленных на массовую аудиторию. В данной ситуации существует вероятность того, что пользователи контрольной группы, которым недоступна рекламируемая функциональность, начнут массово перерегистрироваться. Также возможен сценарий, при котором возникнет значительное количество негативных отзывов из-за воспринимаемой дискриминации. Но задача оценки таких нововведений одна из наиболее частых, которые приходится решать аналитикам. Если метрики только улучшаются, то это обычно легко объяснить хорошей работой, а если метрика ухудшилась, то сразу появляется задача на аналитика. В этой заметке мы рассмотрим первую часть задачи - а действительно ли метрика упала и если да, то имеет ли смысл разбираться дальше?

https://habr.com/ru/articles/787098/

#big_data #ttest #mannwhitney #bayes #bootstrap #permutations #аналитика #analytics #analysis #data_science

Типичные задачи аналитика данных. Часть 1. Упала метрика

В прошлой статье мы рассматривали неочевидные проблемы АБ тестирования и как можно с ними справляться [ ссылка ]. Но часто бывает так, что при внедрении новой функциональности АБ тестирование провести нельзя. Например, это типично для маркетинговых кампаний нацеленных на массовую аудиторию. В данной ситуации существует вероятность того, что пользователи контрольной группы, которым недоступна рекламируемая функциональность, начнут массово перерегистрироваться. Также возможен сценарий, при котором возникнет значительное количество негативных отзывов из-за воспринимаемой дискриминации. Но задача оценки таких нововведений одна из наиболее частых, которые приходится решать аналитикам. Если метрики только улучшаются, то это обычно легко объяснить хорошей работой, а если метрика ухудшилась, то сразу появляется задача на аналитика. В этой заметке мы рассмотрим первую часть задачи - а действительно ли метрика упала и если да, то имеет ли смысл разбираться дальше?

https://habr.com/ru/articles/787098/

#big_data #ttest #mannwhitney #bayes #bootstrap #permutations #аналитика #analytics #analysis #data_science