#размер_выборки — Public Fediverse posts

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Trustworthy experimentation для B2C: как перестать угадывать в A/B‑тестах

В продуктовой аналитике легко дойти до того момента, когда экспериментов много, а доверия к результатам все меньше и меньше: тесты закрывают “когда стало понятно”, p-value проверяют чуть ли не каждый день (принимая преждевременные решения), MDE забывают фиксировать, а денежные метрики зашумлены так, что выводы получаются, мягко говоря, спорные. В этой статье я показываю практический каркас для более надежных A/B-тестов в B2C: как делать анализ мощности и размера выборки для конверсии и ARPU, как интерпретировать кривую мощности анализа теста и trade-off между MDE, длительностью и доступным трафиком, и почему ratio-метрики вроде выручки на сессию часто лучше голого ARPU. Отдельно разбираю линеаризацию ratio-метрик: как привести их к user-level значениям, чтобы применять стандартные тесты корректнее и стабильнее.

https://habr.com/ru/articles/978702/

#анализ_мощности #размер_выборки #MDE #конверсия #ARPU #ratioметрики #линеаризация #ttest #продуктовая_аналитика #abтестирование

Ученые предложили новый компас для определения достаточного количества данных для обучения ИИ

Коллектив ученых из Московского физико-технического института (МФТИ) разработал и теоретически обосновал два новых подхода к решению одной из фундаментальных проблем машинного обучения: определению достаточного размера выборки. Их работа, опубликованная в Computational Management Science, предлагает измерять, насколько «уверенность» модели в своих параметрах меняется при добавлении или удалении всего одного элемента данных, используя для этого два различных математических инструмента.

https://habr.com/ru/articles/961734/

#матрица_ковариации #расстояние_Кульбака_Лейблера #уверенность_моделей #размер_выборки #принятие_решений

Ученые предложили новый компас для определения достаточного количества данных для обучения ИИ

Коллектив ученых из Московского физико-технического института (МФТИ) разработал и теоретически обосновал два новых подхода к решению одной из фундаментальных проблем машинного обучения: определению достаточного размера выборки. Их работа, опубликованная в Computational Management Science, предлагает измерять, насколько «уверенность» модели в своих параметрах меняется при добавлении или удалении всего одного элемента данных, используя для этого два различных математических инструмента.

https://habr.com/ru/articles/961734/

#матрица_ковариации #расстояние_Кульбака_Лейблера #уверенность_моделей #размер_выборки #принятие_решений

Ученые предложили новый компас для определения достаточного количества данных для обучения ИИ

Коллектив ученых из Московского физико-технического института (МФТИ) разработал и теоретически обосновал два новых подхода к решению одной из фундаментальных проблем машинного обучения: определению достаточного размера выборки. Их работа, опубликованная в Computational Management Science, предлагает измерять, насколько «уверенность» модели в своих параметрах меняется при добавлении или удалении всего одного элемента данных, используя для этого два различных математических инструмента.

https://habr.com/ru/articles/961734/

#матрица_ковариации #расстояние_Кульбака_Лейблера #уверенность_моделей #размер_выборки #принятие_решений

Ученые предложили новый компас для определения достаточного количества данных для обучения ИИ

Коллектив ученых из Московского физико-технического института (МФТИ) разработал и теоретически обосновал два новых подхода к решению одной из фундаментальных проблем машинного обучения: определению достаточного размера выборки. Их работа, опубликованная в Computational Management Science, предлагает измерять, насколько «уверенность» модели в своих параметрах меняется при добавлении или удалении всего одного элемента данных, используя для этого два различных математических инструмента.

https://habr.com/ru/articles/961734/

#матрица_ковариации #расстояние_Кульбака_Лейблера #уверенность_моделей #размер_выборки #принятие_решений