#causalimpact — Public Fediverse posts

Линейная регрессия на стероидах: Double Machine Learning для устранения смещений в данных

Любой аналитик знает, что самым надёжным способом проверки гипотез являются рандомизированные контролируемые эксперименты (RCT), или, как их называют в народе — A/B-тесты. На практике часто возникают ситуации, когда провести A/B-тест невозможно — в основном это происходит по этическим или техническим причинам. Однако бывают кейсы, когда рандомизация невозможна потому, что treatment-ом является определённое действие пользователя. Например, treatment-ом может быть оформление платной подписки или отмена бронирования на сервисе. Давайте назовём такой вид воздействия добровольным. В русскоязычном пространстве, и в частности на Хабре, достаточно много статей, посвящённых таким методам Causal Inference, как DiD, PSM и Causal Impact. Тем не менее, к моему удивлению, практически нет статей, посвящённых методам на основе ортогонализации и regression adjustment, хотя, на мой взгляд, именно эти методы являются самыми удобными для оценки эффекта от добровольного treatment-а. Пришло время исправить это недоразумение и разобрать метод Double/Debiased Machine Learning (DML) и Partial Linear Regression для задач Causal Inference!

https://habr.com/ru/articles/1043704/

#causal_inference #machine_learning #abтестирование #причинноследственный_анализ #differenceindifference #psm #causalml #causalimpact #causal_effect #causality

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы. Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе. Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

https://habr.com/ru/articles/986182/

#diffindiff #синтетический_контроль #synthetic_control #продуктовая_аналитика #причинный_анализ #causalimpact #оценка_эффекта #плацебо_проверки

Быстрая оценка эффекта рекламы/события на ключевые показатели: Python + Causal Impact

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке . Вводные: Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года. Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов. Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

https://habr.com/ru/articles/832466/

#causalimpact #аналитика #анализ_данных #оценка_эффекта #эффект_рекламы #цб_рф #data_analysis #data_science #python