#pocock — Public Fediverse posts

Teals + David Pocock = racism. We know this, because all of climate 200's candidates who are able to vote for compulsory income management have done so. Given she's receiving backing from the Murdoch family, she'll well primed to be racist too. #teals #racism #MichelleMilthorpe #Murdoch #Pocock

RE: https://bsky.app/profile/did:plc:6suks5qgacqnboxtvvtdfxgh/post/3mku5k6wqqm2e

AB-тесты и подглядывание: введение в последовательное тестирование

В AB-тестах нередко возникает желание смотреть на результат по ходу эксперимента: метрики обновляются, решения ждать долго, а если эффект уже очевиден, то зачем тянуть до конца. Но в этом месте легко допустить серьезную ошибку: регулярно пересчитывать обычное p-значение и завершать тест при первом p < 0.05. Такой подход повышает долю ложных срабатываний: иногда статистическая значимость появляется просто из-за случайных колебаний данных, даже когда реального эффекта нет. В этой статье разбираем, почему так происходит, и что с этим делают в прикладной аналитике. Покажу, как устроено групповое последовательное тестирование (group sequential): вы заранее задаете несколько контрольных точек для подглядывания, а пороги принятия решения подбираются так, чтобы общий уровень ошибки первого рода по всему процессу оставался на заданном уровне alpha. На простых формулах и наглядных графиках из симуляций сравним наивное подглядывание с корректной процедурой. А затем разберем два самых популярных набора порогов - Pocock и OBrien-Fleming: чем они отличаются, почему один вариант чаще завершает эксперимент раньше, а другой почти не дает принимать решения в начале, и как выбрать подходящий вариант под продуктовый процесс.

https://habr.com/ru/articles/988816/

#подглядывание_в_экспериментах #последовательное_тестирование #group_sequential #OBrienFleming #Pocock #ранняя_остановка_эксперимента #продуктовая_аналитика #статистика

AB-тесты и подглядывание: введение в последовательное тестирование

В AB-тестах нередко возникает желание смотреть на результат по ходу эксперимента: метрики обновляются, решения ждать долго, а если эффект уже очевиден, то зачем тянуть до конца. Но в этом месте легко допустить серьезную ошибку: регулярно пересчитывать обычное p-значение и завершать тест при первом p < 0.05. Такой подход повышает долю ложных срабатываний: иногда статистическая значимость появляется просто из-за случайных колебаний данных, даже когда реального эффекта нет. В этой статье разбираем, почему так происходит, и что с этим делают в прикладной аналитике. Покажу, как устроено групповое последовательное тестирование (group sequential): вы заранее задаете несколько контрольных точек для подглядывания, а пороги принятия решения подбираются так, чтобы общий уровень ошибки первого рода по всему процессу оставался на заданном уровне alpha. На простых формулах и наглядных графиках из симуляций сравним наивное подглядывание с корректной процедурой. А затем разберем два самых популярных набора порогов - Pocock и OBrien-Fleming: чем они отличаются, почему один вариант чаще завершает эксперимент раньше, а другой почти не дает принимать решения в начале, и как выбрать подходящий вариант под продуктовый процесс.

https://habr.com/ru/articles/988816/

#подглядывание_в_экспериментах #последовательное_тестирование #group_sequential #OBrienFleming #Pocock #ранняя_остановка_эксперимента #продуктовая_аналитика #статистика

AB-тесты и подглядывание: введение в последовательное тестирование

В AB-тестах нередко возникает желание смотреть на результат по ходу эксперимента: метрики обновляются, решения ждать долго, а если эффект уже очевиден, то зачем тянуть до конца. Но в этом месте легко допустить серьезную ошибку: регулярно пересчитывать обычное p-значение и завершать тест при первом p < 0.05. Такой подход повышает долю ложных срабатываний: иногда статистическая значимость появляется просто из-за случайных колебаний данных, даже когда реального эффекта нет. В этой статье разбираем, почему так происходит, и что с этим делают в прикладной аналитике. Покажу, как устроено групповое последовательное тестирование (group sequential): вы заранее задаете несколько контрольных точек для подглядывания, а пороги принятия решения подбираются так, чтобы общий уровень ошибки первого рода по всему процессу оставался на заданном уровне alpha. На простых формулах и наглядных графиках из симуляций сравним наивное подглядывание с корректной процедурой. А затем разберем два самых популярных набора порогов - Pocock и OBrien-Fleming: чем они отличаются, почему один вариант чаще завершает эксперимент раньше, а другой почти не дает принимать решения в начале, и как выбрать подходящий вариант под продуктовый процесс.

https://habr.com/ru/articles/988816/

#подглядывание_в_экспериментах #последовательное_тестирование #group_sequential #OBrienFleming #Pocock #ранняя_остановка_эксперимента #продуктовая_аналитика #статистика

AB-тесты и подглядывание: введение в последовательное тестирование

В AB-тестах нередко возникает желание смотреть на результат по ходу эксперимента: метрики обновляются, решения ждать долго, а если эффект уже очевиден, то зачем тянуть до конца. Но в этом месте легко допустить серьезную ошибку: регулярно пересчитывать обычное p-значение и завершать тест при первом p < 0.05. Такой подход повышает долю ложных срабатываний: иногда статистическая значимость появляется просто из-за случайных колебаний данных, даже когда реального эффекта нет. В этой статье разбираем, почему так происходит, и что с этим делают в прикладной аналитике. Покажу, как устроено групповое последовательное тестирование (group sequential): вы заранее задаете несколько контрольных точек для подглядывания, а пороги принятия решения подбираются так, чтобы общий уровень ошибки первого рода по всему процессу оставался на заданном уровне alpha. На простых формулах и наглядных графиках из симуляций сравним наивное подглядывание с корректной процедурой. А затем разберем два самых популярных набора порогов - Pocock и OBrien-Fleming: чем они отличаются, почему один вариант чаще завершает эксперимент раньше, а другой почти не дает принимать решения в начале, и как выбрать подходящий вариант под продуктовый процесс.

https://habr.com/ru/articles/988816/

#подглядывание_в_экспериментах #последовательное_тестирование #group_sequential #OBrienFleming #Pocock #ранняя_остановка_эксперимента #продуктовая_аналитика #статистика

The only problem with David Pocock is that I have to add a qualifying footnote to my thoughts.

I can't just go "All politicians are corrupt, self-serving, inept scumbags!" any more.

I now have to think "All politicians¹ are corrupt, self-serving, inept scumbags!"

¹except David #Pocock #PocockForPM

@HardBeingGreen

I'd rate the usual professional sports-star as a better choice than #ScottMorrison - but that's not saying much with just about anyone being a better choice than Scottie from Marketing.

#Pocock though keeps coming up with good stuff for the nation - and leverages his former-sports-star minor-celebrity status to get excellent publicity for the good stuff.

It's the responsibility of the artist to #SubvertTheDominantParadigm.
David looks to be doing #PoliticalArt.

#DavidPocock