#статистический_тест — Public Fediverse posts

Время выполнения заданий в немодерируемых UX тестах: как измерить и проверить?

Всем привет! Меня зовут Ульяна Айкович и я исследователь БКС Мир Инвестиций. Сегодня я расскажу, как мы можем глубже анализировать время выполнения заданий, а также как измерить группы респондентов в немодерируемых UX тестах. В данной статье я разберу не только медиану и процентили для оценки времени, но и критерий Манна–Уитни — простой способ статистически сравнить две группы респондентов. Приятного прочтения и погружения в мир статистики! Перейти к статье

https://habr.com/ru/articles/970348/

#статистика_в_it #анализ_данных #визуализация_данных #статистический_тест #uxисследования #дизайн #проектирование_интерфейсов #количественные_методы #pvalue #опросы

Использование последовательного тестирования для уменьшения размера выборки

Привет, Хабр! Я Андрей, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда. Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов. Наша команда проводит тысячи тестов в год, причем большинство из них — на бинарных метриках. И часто команда сталкивается с вопросами:

https://habr.com/ru/companies/tbank/articles/876984/

#abтестирование #абтесты #абтестирование #статистический_тест #статистика #мощность_теста #значимость

Использование последовательного тестирования для уменьшения размера выборки

Привет, Хабр! Я Андрей, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда. Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов. Наша команда проводит тысячи тестов в год, причем большинство из них — на бинарных метриках. И часто команда сталкивается с вопросами:

https://habr.com/ru/companies/tbank/articles/876984/

#abтестирование #абтесты #абтестирование #статистический_тест #статистика #мощность_теста #значимость

Использование последовательного тестирования для уменьшения размера выборки

Привет, Хабр! Я Андрей, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда. Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов. Наша команда проводит тысячи тестов в год, причем большинство из них — на бинарных метриках. И часто команда сталкивается с вопросами:

https://habr.com/ru/companies/tbank/articles/876984/

#abтестирование #абтесты #абтестирование #статистический_тест #статистика #мощность_теста #значимость

Использование последовательного тестирования для уменьшения размера выборки

Привет, Хабр! Я Андрей, аналитик команды Origination в Т-Банке. Наша команда работает над тем, чтобы клиент оформил продукт максимально быстро и комфортно, а потом захотел остаться с нами навсегда. Команда большая, поэтому спектр задач — от развития конкретных продуктов до разработки и внедрения аналитических инструментов. Наша команда проводит тысячи тестов в год, причем большинство из них — на бинарных метриках. И часто команда сталкивается с вопросами:

https://habr.com/ru/companies/tbank/articles/876984/

#abтестирование #абтесты #абтестирование #статистический_тест #статистика #мощность_теста #значимость

Varioqub: за Mann-Whitney замолвите слово

Привет, с вами команда аналитиков “Пятёрочки” X5 Tech. Как вы уже знаете, мы активно внедряем решение AppMetrica для мобильной аналитики . В AppMetrica есть модуль для проведения A/B тестов на приложении – называется Varioqub, который является, в том числе, платформой для A/B-тестов в Яндексе. Varioqub грозится стать одним из основных инструментов для проведения тестов в рамках бизнеса на территории России и СНГ, при этом не только на приложениях, но и на вебсайтах. Поэтому было бы полезно знать, как он работает, учитывая, что под капотом данная A/B-тестилка использует такой статистический критерий как Mann-Whitney. Если вы хотите понимать способ подсчёта результатов ваших тестов и иметь их интерпретацию лучше, чем “сумму рангов”, то эта статья для вас. Мы начнём с Mann-Whitney, по ходу разберём ещё два критерия, таких как Probability Index и ранговый тест Wilcoxon, которые помогут нам всё расставить по полочкам. Дальше мы коснёмся важных замечаний относительно этого теста, рассмотрим, как это решает Varioqub, и перейдём к самому Varioqub. Познать Mann-Whitney

https://habr.com/ru/companies/X5Tech/articles/823078/

#a/bтестирование #a/b_testing #a/b_test #a/b_тестирование #a/b_тесты #проверка_гипотез #mannwhitney #mannwhitneywilcoxon_test #статистика #статистический_тест

Про обязательность поправки на множественные сравнения, которая часто игнорируется адептами Data Driven методов

Когда проводится один статистический тест на значимость различий, всегда есть шанс (Ошибка первого рода = 5%, на уровне значимости p=0.05) получить ложный положительный результат случайно. Эта ошибка означает, что мы можем ложно утверждать, что значимое различие существует, при том, что в реальности этой значимости нет. Когда проводится несколько однотипных тестов подряд, каждый из них имеет 5% шанс на ложный положительный результат. Если коррекция отсутствует, то вероятность, что хотя бы один из этих тестов даст ложный положительный результат, быстро возрастает. Предположим, что делается 20 однотипных тестов. Вероятность получить ложный положительный результат равна 1 - (1 - 0.05)^ 20 ≈ 64%. Как контролировать ошибки читать далее

https://habr.com/ru/articles/818287/

#значимые_различия #статистический_тест #множественные_сравнения #ошибки_тестирования #data_driven #исследования_аудитории #исследования_пользователей #исследование #медицина #нпс