#abtest — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #abtest, aggregated by home.social.
-
Как мы получили p-value < 0.001 на 10 наблюдениях в группе: ультимативный гайд по A/B на малых выборках
Всем привет! Я Андрей Романов , тимлид команды аналитики Sales Tech в Авито , а также преподаватель и ментор по А/B-тестированию. В последние годы я регулярно работаю с A/B-тестами на малых выборках: когда в группе не тысячи пользователей, а 10–40 менеджеров, регионов или других экспериментальных единиц. На этом опыте я собрал практический гайд: что можно сделать до запуска, во время дизайна и после эксперимента, чтобы выжать максимум из ограниченных данных. В A/B-тестах на малых выборках стандартные проблемы усиливаются: MDE выше ожидаемого эффекта, метрики шумят, а эффект трудно отделить от случайности. При этом страдает не только чувствительность, но и валидность: из-за небольшого числа наблюдений любая ошибка в дизайне, балансе групп или интерпретации результата становится гораздо опаснее. В материале дам 26 шагов, которые помогут выжать максимум чувствительности и валидности из ограниченной выборки. Хотя фокус — на A/B-тестах с малыми выборками, 90% подходов применимы и к стандартным экспериментам.
https://habr.com/ru/companies/avito/articles/1041336/
#абтесты #abтестирование #abtest #ab_testing #продажи #аналитика_данных #выборка #статистика #статистические_тесты #эксперимент
-
I'd like to see A|B #testing of an online call-to-action with/without the phrase "We value your privacy".
If you're outside Europe and aren't sure what this means, it's this. Countries in the EU are required to get #user #consent before their websites can track personal and private online data.
The General Data Protection Regulation or #GDPR has caused many websites to endlessly bug European visitors for consent, claiming, "Your #privacy is important." Are such phrases persuasive?
-
I'd like to see A|B #testing of an online call-to-action with/without the phrase "We value your privacy".
If you're outside Europe and aren't sure what this means, it's this. Countries in the EU are required to get #user #consent before their websites can track personal and private online data.
The General Data Protection Regulation or #GDPR has caused many websites to endlessly bug European visitors for consent, claiming, "Your #privacy is important." Are such phrases persuasive?
-
Sisyphus or Icarus? #abtest #pleasexplain #Sisyphus #Icarus
-
Bin gerade bei #Amazon offenbar in einem A/B-Test mit neuem Header und Navigation gelandet und man kann nichtmal auf das Logo klicken oder irgendwie in sein Konto kommen. Wenn man versucht die Links am Ende der Seite zu erreichen wird durch "endless scrolling" immer wieder Content nachgeladen.🤦♂️
-
Bin gerade bei #Amazon offenbar in einem A/B-Test mit neuem Header und Navigation gelandet und man kann nichtmal auf das Logo klicken oder irgendwie in sein Konto kommen. Wenn man versucht die Links am Ende der Seite zu erreichen wird durch "endless scrolling" immer wieder Content nachgeladen.🤦♂️
-
Простой кейс, про простой A/B-тест, чтобы брать и пользоваться (чутка математики + код)
Без воды и лишней теории (хотя я так не считаю, что она лишняя), на примере конкретного кейса разберем, как быстро и без боли запустить A/B-тест через Яндекс.Метрику и куки. Прочитать и пойти всех оттестировать...
https://habr.com/ru/articles/928562/
#абтесты #abтестирование #abtest #abtesting #abtests #абтестирование #абтест #математическая_статистика #js #javascript
-
Why GrowthBook? Not, like, why you should use our powerful, customizable, open source feature flagging and experimentation platform—but why the name "GrowthBook"?
In the beginning, we envisioned a book of everything you learned about growth, an erudite tome of insights from past experiments.
This week, the prophecy has come true 🔮 We launched Learnings, which makes all your past experiments searchable, available to the whole team.
What will you meta-analysis uncover? #datascience #abtest
-
Welch's test: он вам не замена Т-test'a
Привет! С вами команда аналитиков «Пятёрочки» X5 Tech. В данной статье мы расскажем про один из классических тестов в статистике — тест Уэлча (Welch's Test). Постараемся максимально раскрыть, когда и где стоит его применять и является ли он, на самом деле, тестом по умолчанию вместо Т‑test-a.
https://habr.com/ru/companies/X5Tech/articles/896182/
#abтестирование #abtest #abtesting #abtests #ttest #аналитика #аналитика_данных #аналитика_мобильных_приложений #статистика #статистика_в_it
-
Propensity Score Matching (PSM): как обойтись без A/B-теста и всё равно узнать правду
Как определить, влияет ли то или иное событие на ключевые метрики, если полноценный A/B-тест недоступен? В этой статье мы разберём метод Propensity Score Matching (PSM ): узнаем, как компенсировать отсутствие рандомизации, выровнять группы по ключевым признакам и избежать ложных выводов при оценке эффекта.
https://habr.com/ru/articles/887276/
#psm #abtest #mashinelearning #mashine_learning #propensity_score_matching #statistics #машинное_обучение #абтесты #статистика #product
-
I didn't set out to run an A/B test on my family recipe spaghetti sauce tonight, but I accidentally browned enough meat that I needed two pans and... well
#spaghetti #ABTest -
I don't remember the details, so maybe this is apocryphal, but there's a story about someone doing a blind A/B test for one of these audiophools - their "100% oxygen-free copper umpty-ump strand pixie-dust-insulated magical Name-Brand speaker cable" vs ... a couple of straightened-out steel clothes hangers, the cheap ones they used to give you at the dry-cleaners'.
And of course, they couldn't tell the difference.
-
I don't remember the details, so maybe this is apocryphal, but there's a story about someone doing a blind A/B test for one of these audiophools - their "100% oxygen-free copper umpty-ump strand pixie-dust-insulated magical Name-Brand speaker cable" vs ... a couple of straightened-out steel clothes hangers, the cheap ones they used to give you at the dry-cleaners'.
And of course, they couldn't tell the difference.
-
Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации
В предыдущих статьях статья 1 , статья 2 , статья 3 мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой. Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon , возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.
-
Which SF Symbols work better here?
A or B? 📊👇 Please explain why. 🙏 -
Which SF Symbols work better here?
A or B? 📊👇 Please explain why. 🙏 -
https://fortune.com/2023/05/14/tesla-lawsuit-software-updates-batteries/
This reminds me that nobody really owns a Tesla. The cars are all at the mercy of its manufacturer.
For example if "your" car ends up on the wrong side of an A/B test, you could lose. In some cases it could inflict permanent degeneration of the functionality.
I'm sure this extends to mobiles, potentially even laptops, running proprietary OS, especially if there are mandatory updates and permanent Internet connections.
-
A/B Test : les 9 commandements [Guide Ultime 2023] via @matthieutv #ABtest https://www.matthieu-tranvan.fr/marketing-digital/ab-test.html
-
“CTA above the fold” = UX best practice
Hypothesis: high checkout abandonment on this site bcs users click CTA w/out reading important info.
To test this, we introduced whitespace shifting CTA down. Sales increased.
(Not final implementation, 1st test to validate theory)
-
Leude, ich hätt da was - kann 100 Gummipunkte für Antworten ausloben. Gefragt sind #Windows10 Nutzer, die seit heute (26. April 2022) drei komische Icons im Suchfeld der Taskleiste haben. Irgend jemand eine Erklärung zu deren Funktion? Auch Microsoftler sind gefragt - denn wir wissen nicht was sie tun (na, die Icons meine ich). #ABTest #schwarmwissen
-
🔗 “Understanding the True Cost of Client-Side A/B Testing”
by @[email protected]https://nho.io/l/2021/01/13/understanding-the-true-cost-of-client-side-a-b-testing/