#causalimpact — Public Fediverse posts

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы. Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе. Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

https://habr.com/ru/articles/986182/

#diffindiff #синтетический_контроль #synthetic_control #продуктовая_аналитика #причинный_анализ #causalimpact #оценка_эффекта #плацебо_проверки

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы. Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе. Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

https://habr.com/ru/articles/986182/

#diffindiff #синтетический_контроль #synthetic_control #продуктовая_аналитика #причинный_анализ #causalimpact #оценка_эффекта #плацебо_проверки

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы. Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе. Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

https://habr.com/ru/articles/986182/

#diffindiff #синтетический_контроль #synthetic_control #продуктовая_аналитика #причинный_анализ #causalimpact #оценка_эффекта #плацебо_проверки

Оценка эффекта релиза, когда изменение затронуло не всех: diff-in-diff и синтетический контроль

Когда релиз раскатан не на всех, классическая схема "до" и "после" начинает рушиться: метрика растет или падает одновременно из-за сезонности, внешнего фона и изменений в каналах, а не только из-за продукта. При этом AB теста может не быть, но данные по группам есть почти всегда: по гео, сегментам, кластерам, витринам. В этой статье разбираю два практических подхода, которые позволяют оценить эффект релиза в таких условиях. Первый - diff-in-diff: сравниваем, насколько изменилась метрика в затронутой группе относительно контрольной, и тем самым вычитаем общий фон, который влияет на всех. Второй - синтетический контроль: строим базовую линию для затронутой группы как сумму метрик нескольких контрольных групп с весами, подобранными так, чтобы до релиза эта конструкция максимально повторяла историю затронутой группы. Отдельный акцент на том, что обычно искажает выводы: заметный рост или падение разницы между группами до релиза, изменения состава, локальные акции или технические инциденты в контрольных группах, а также ситуации, когда базовая линия плохо повторяет период до релиза и тогда мы измеряем в основном ошибку модели, а не эффект релиза. В конце показываю, какие проверки стоит сделать, чтобы результат не держался на удачно выбранных границах периода или на одной контрольной группе. Если в первой части мы работали с одной временной линией метрики, то здесь переходим к более распространенному случаю: несколько групп, частичная раскатка и необходимость отделить влияние релиза от общего шума.

https://habr.com/ru/articles/986182/

#diffindiff #синтетический_контроль #synthetic_control #продуктовая_аналитика #причинный_анализ #causalimpact #оценка_эффекта #плацебо_проверки

Быстрая оценка эффекта рекламы/события на ключевые показатели: Python + Causal Impact

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке . Вводные: Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года. Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов. Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

https://habr.com/ru/articles/832466/

#causalimpact #аналитика #анализ_данных #оценка_эффекта #эффект_рекламы #цб_рф #data_analysis #data_science #python

Быстрая оценка эффекта рекламы/события на ключевые показатели: Python + Causal Impact

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке . Вводные: Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года. Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов. Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

https://habr.com/ru/articles/832466/

#causalimpact #аналитика #анализ_данных #оценка_эффекта #эффект_рекламы #цб_рф #data_analysis #data_science #python

Быстрая оценка эффекта рекламы/события на ключевые показатели: Python + Causal Impact

Приветствую, меня зовут Владислав Поляков, я аналитик данных в Сбербанке. Сегодня я хочу поделиться, пожалуй, самым простым и быстрым способом оценки эффекта рекламы/события на ключевые показатели. Способ заключается в использовании библиотеки pycausalimpact для Python. Документация к библиотеке . Вводные: Данные: Данные ЦБ РФ по ключевой ставке и объему выданных кредитов с 2013 года. Что будем оценивать?: Как повышение ключевой ставки повлияло на объем выданных кредитов. Как будем оценивать?: С помощью библиотеки pycausalimpact для Python

https://habr.com/ru/articles/832466/

#causalimpact #аналитика #анализ_данных #оценка_эффекта #эффект_рекламы #цб_рф #data_analysis #data_science #python