#ab_testing — Public Fediverse posts

Как мы подняли CTR с 3% до 8% заменой обложек: протокол реанимации YouTube-роликов

Привет, Хабр. Меня зовут Дмитрий Таланов, я основатель продюсерской группы Talanov Vision. Мы строим и масштабируем медиа-активы на YouTube для бизнеса и экспертов. Суммарно наши проекты сгенерировали более 670 млн органических просмотров. В этой статье я не буду говорить про «творчество» и «вдохновение». YouTube в 2025 году — это не телевизор, это поисковая система и рекомендательный движок, работающий на машинном обучении. И язык этого движка — математика. Главная проблема большинства корпоративных и экспертных каналов заключается в том, что они вкладывают сотни тысяч рублей в продакшн, свет и звук, но их ролики умирают на отметке в 500 просмотров. Причина в 90% случаев одна — провал по первой метрике воронки: CTR (Click-Through Rate) . Ниже я разберу наш технический протокол реанимации роликов , покажу, как правильно проводить A/B-тест обложек YouTube и как сдвиг CTR всего на 5% меняет экономику канала.

https://habr.com/ru/articles/1022592/

#youtube #ctr #алгоритмы_youtube #контентмаркетинг #видеомаркетинг #реанимация_роликов #аналитика #продвижение_на_youtube #дмитрий_таланов #ab_testing

Как мы подняли CTR с 3% до 8% заменой обложек: протокол реанимации YouTube-роликов

Привет, Хабр. Меня зовут Дмитрий Таланов, я основатель продюсерской группы Talanov Vision. Мы строим и масштабируем медиа-активы на YouTube для бизнеса и экспертов. Суммарно наши проекты сгенерировали более 670 млн органических просмотров. В этой статье я не буду говорить про «творчество» и «вдохновение». YouTube в 2025 году — это не телевизор, это поисковая система и рекомендательный движок, работающий на машинном обучении. И язык этого движка — математика. Главная проблема большинства корпоративных и экспертных каналов заключается в том, что они вкладывают сотни тысяч рублей в продакшн, свет и звук, но их ролики умирают на отметке в 500 просмотров. Причина в 90% случаев одна — провал по первой метрике воронки: CTR (Click-Through Rate) . Ниже я разберу наш технический протокол реанимации роликов , покажу, как правильно проводить A/B-тест обложек YouTube и как сдвиг CTR всего на 5% меняет экономику канала.

https://habr.com/ru/articles/1022592/

#youtube #ctr #алгоритмы_youtube #контентмаркетинг #видеомаркетинг #реанимация_роликов #аналитика #продвижение_на_youtube #дмитрий_таланов #ab_testing

Как мы подняли CTR с 3% до 8% заменой обложек: протокол реанимации YouTube-роликов

Привет, Хабр. Меня зовут Дмитрий Таланов, я основатель продюсерской группы Talanov Vision. Мы строим и масштабируем медиа-активы на YouTube для бизнеса и экспертов. Суммарно наши проекты сгенерировали более 670 млн органических просмотров. В этой статье я не буду говорить про «творчество» и «вдохновение». YouTube в 2025 году — это не телевизор, это поисковая система и рекомендательный движок, работающий на машинном обучении. И язык этого движка — математика. Главная проблема большинства корпоративных и экспертных каналов заключается в том, что они вкладывают сотни тысяч рублей в продакшн, свет и звук, но их ролики умирают на отметке в 500 просмотров. Причина в 90% случаев одна — провал по первой метрике воронки: CTR (Click-Through Rate) . Ниже я разберу наш технический протокол реанимации роликов , покажу, как правильно проводить A/B-тест обложек YouTube и как сдвиг CTR всего на 5% меняет экономику канала.

https://habr.com/ru/articles/1022592/

#youtube #ctr #алгоритмы_youtube #контентмаркетинг #видеомаркетинг #реанимация_роликов #аналитика #продвижение_на_youtube #дмитрий_таланов #ab_testing

Как мы подняли CTR с 3% до 8% заменой обложек: протокол реанимации YouTube-роликов

Привет, Хабр. Меня зовут Дмитрий Таланов, я основатель продюсерской группы Talanov Vision. Мы строим и масштабируем медиа-активы на YouTube для бизнеса и экспертов. Суммарно наши проекты сгенерировали более 670 млн органических просмотров. В этой статье я не буду говорить про «творчество» и «вдохновение». YouTube в 2025 году — это не телевизор, это поисковая система и рекомендательный движок, работающий на машинном обучении. И язык этого движка — математика. Главная проблема большинства корпоративных и экспертных каналов заключается в том, что они вкладывают сотни тысяч рублей в продакшн, свет и звук, но их ролики умирают на отметке в 500 просмотров. Причина в 90% случаев одна — провал по первой метрике воронки: CTR (Click-Through Rate) . Ниже я разберу наш технический протокол реанимации роликов , покажу, как правильно проводить A/B-тест обложек YouTube и как сдвиг CTR всего на 5% меняет экономику канала.

https://habr.com/ru/articles/1022592/

#youtube #ctr #алгоритмы_youtube #контентмаркетинг #видеомаркетинг #реанимация_роликов #аналитика #продвижение_на_youtube #дмитрий_таланов #ab_testing

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Выбор статистического метода для A/B-теста: практическое руководство

Привет! Меня зовут Денис. Уже юолее 5 лет работаю Senior Product Analyst в крупнейших IT-компаниях России, включая Тинькофф. Разрабатывал системы аналитики с полного нуля, провёл огромное количество A/B тестов и знаю всю внутреннюю кухню больших корпораций изнутри. Я совершил множество ошибок на своём пути – и теперь здесь, чтобы помочь именно тебе их избежать и пройти этот путь быстрее! A/B-тесты давно стали стандартным инструментом в продуктовой и маркетинговой аналитике. Но на практике большинство ошибок происходит не на этапе запуска эксперимента, а при анализе результатов. Чаще всего причина в том, что статистический метод выбирается «по привычке», без учёта типа метрики и свойств данных. В этой статье я собрал практическую логику выбора методов анализа A/B-тестов. Без углубления в теорию, но с пониманием, почему в одном случае работает χ², а в другом t-test может привести к неверным выводам.

https://habr.com/ru/articles/983060/

#ab_testing #abтестирование #метрики #метрики_продукта #критерии

Всегда ли сегментация данных при анализе увеличивает эффективность экспериментов?

Всем привет! Меня зовут Артём Дронов, я работаю в команде A/B-платформы Trisigma в Авито . Мы занимаемся поддержкой A/B-платформы и инфраструктуры метрик Авито, а также помогаем интегрировать наш продукт другим компаниям. В этой статье я расскажу, что такое slicing , чем он может быть полезен, а чем — опасен, на примерах тех кейсов, которые были у нас в Авито. Рассмотрим, как можно использовать разрез в рамках своих экспериментов и получать максимум инсайтов из данных.

https://habr.com/ru/companies/avito/articles/961536/

#ab_testing #trisigma #анализ_данных #абтестирование

Всегда ли сегментация данных при анализе увеличивает эффективность экспериментов?

Всем привет! Меня зовут Артём Дронов, я работаю в команде A/B-платформы Trisigma в Авито . Мы занимаемся поддержкой A/B-платформы и инфраструктуры метрик Авито, а также помогаем интегрировать наш продукт другим компаниям. В этой статье я расскажу, что такое slicing , чем он может быть полезен, а чем — опасен, на примерах тех кейсов, которые были у нас в Авито. Рассмотрим, как можно использовать разрез в рамках своих экспериментов и получать максимум инсайтов из данных.

https://habr.com/ru/companies/avito/articles/961536/

#ab_testing #trisigma #анализ_данных #абтестирование

Всегда ли сегментация данных при анализе увеличивает эффективность экспериментов?

Всем привет! Меня зовут Артём Дронов, я работаю в команде A/B-платформы Trisigma в Авито . Мы занимаемся поддержкой A/B-платформы и инфраструктуры метрик Авито, а также помогаем интегрировать наш продукт другим компаниям. В этой статье я расскажу, что такое slicing , чем он может быть полезен, а чем — опасен, на примерах тех кейсов, которые были у нас в Авито. Рассмотрим, как можно использовать разрез в рамках своих экспериментов и получать максимум инсайтов из данных.

https://habr.com/ru/companies/avito/articles/961536/

#ab_testing #trisigma #анализ_данных #абтестирование

Всегда ли сегментация данных при анализе увеличивает эффективность экспериментов?

Всем привет! Меня зовут Артём Дронов, я работаю в команде A/B-платформы Trisigma в Авито . Мы занимаемся поддержкой A/B-платформы и инфраструктуры метрик Авито, а также помогаем интегрировать наш продукт другим компаниям. В этой статье я расскажу, что такое slicing , чем он может быть полезен, а чем — опасен, на примерах тех кейсов, которые были у нас в Авито. Рассмотрим, как можно использовать разрез в рамках своих экспериментов и получать максимум инсайтов из данных.

https://habr.com/ru/companies/avito/articles/961536/

#ab_testing #trisigma #анализ_данных #абтестирование

Сетап А/В-теста, который помог снизить MDE выручки в 2 раза

Привет! Я Соня Ожерельева — тимлид в команде Monetization Efficiency в Авито . В статье расскажу про новый сетап A/B-теста, который мы использовали при тестировании системы Уровень сервиса на Авито. Он, как и A/B-тест по регионам, позволяет измерять влияние как на покупателей, так и на продавцов. При этом MDE нашего сетапа в 2 раза ниже, чем у регионального. Материал будет полезен аналитикам любых грейдов.

https://habr.com/ru/companies/avito/articles/929894/

#авито #avito #ab_testing #ab_тестирование #аналитика #analytics #ранжирование

Сетап А/В-теста, который помог снизить MDE выручки в 2 раза

Привет! Я Соня Ожерельева — тимлид в команде Monetization Efficiency в Авито . В статье расскажу про новый сетап A/B-теста, который мы использовали при тестировании системы Уровень сервиса на Авито. Он, как и A/B-тест по регионам, позволяет измерять влияние как на покупателей, так и на продавцов. При этом MDE нашего сетапа в 2 раза ниже, чем у регионального. Материал будет полезен аналитикам любых грейдов.

https://habr.com/ru/companies/avito/articles/929894/

#авито #avito #ab_testing #ab_тестирование #аналитика #analytics #ранжирование

Сетап А/В-теста, который помог снизить MDE выручки в 2 раза

Привет! Я Соня Ожерельева — тимлид в команде Monetization Efficiency в Авито . В статье расскажу про новый сетап A/B-теста, который мы использовали при тестировании системы Уровень сервиса на Авито. Он, как и A/B-тест по регионам, позволяет измерять влияние как на покупателей, так и на продавцов. При этом MDE нашего сетапа в 2 раза ниже, чем у регионального. Материал будет полезен аналитикам любых грейдов.

https://habr.com/ru/companies/avito/articles/929894/

#авито #avito #ab_testing #ab_тестирование #аналитика #analytics #ранжирование

Сетап А/В-теста, который помог снизить MDE выручки в 2 раза

Привет! Я Соня Ожерельева — тимлид в команде Monetization Efficiency в Авито . В статье расскажу про новый сетап A/B-теста, который мы использовали при тестировании системы Уровень сервиса на Авито. Он, как и A/B-тест по регионам, позволяет измерять влияние как на покупателей, так и на продавцов. При этом MDE нашего сетапа в 2 раза ниже, чем у регионального. Материал будет полезен аналитикам любых грейдов.

https://habr.com/ru/companies/avito/articles/929894/

#авито #avito #ab_testing #ab_тестирование #аналитика #analytics #ранжирование

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Проблема подглядывания и последовательное А/Б тестирование

Хабр, привет! Сегодня узнаем, что такое проблема подглядывания и почему она появляется. Реализуем аналог метода Покока и критерий Вальда для последовательного тестирования. Посмотрим, можно ли одновременно подглядывать и контролировать вероятности ошибок при том же размере групп. Обсудим границы применимости последовательного тестирования.

https://habr.com/ru/companies/X5Tech/articles/926546/

#статистика #аналитика #анализ_данных #ab_testing #data_driven #data_science #abтестирование #проверка_гипотез

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

Мифы о байесовском А/Б тестировании

Хабр, привет! Сегодня сравним два подхода к А/Б тестированию: байесовский и частотный. Обсудим сложности в интерпретации p-value. Посмотрим, как можно учитывать дополнительную информацию через априорное распределение. Остановим тест раньше времени и решим проблему подглядывания.

https://habr.com/ru/companies/X5Tech/articles/900032/

#abтестирование #ab_testing #data_science #data_driven #анализ_данных #аналитика #статистика #проверка_гипотез #байесовский_подход #bayesian

A/B-тестирование в Android-разработке: гайд для middle+ разрабов

A/B-тестирование — это не только инструмент для продуктовых команд. Это суперспособность и для Android-разработчиков. В этой статье рассказываю, как опытные инженеры могут проектировать, реализовывать и грамотно завершать эксперименты, которые действительно влияют на продукт, не захламляя кодовую базу. От Firebase Remote Config до паттернов чистой архитектуры — всё, чтобы делать более умные и осознанные Android-приложения. 🚀 Почему A/B-тестирование важно именно для разработчиков По сути, A/B-тест — это сравнение двух (или более) вариантов реализации, чтобы понять, какой из них работает лучше. В Android это может быть: • сравнение разных UI-дизайнов, • тестирование разных онбордингов, • проверка производительности оптимизаций, • сравнение реализаций фич (например, RecyclerView против LazyColumn в Compose). Вместо «выпустим и посмотрим» — мы выпускаем, измеряем и улучшаем . 🧩 Как встроить A/B-тесты в кодовую базу Хороший A/B-тест начинается с гипотезы и метрик успеха. Но в инженерном мире нужно думать ещё и о поддержке, масштабировании и разделении логики . Пример архитектуры:

https://habr.com/ru/articles/899378/

#kotlin #android #ab_testing #senior_developer #software_development

A/B-тестирование в Android-разработке: гайд для middle+ разрабов

A/B-тестирование — это не только инструмент для продуктовых команд. Это суперспособность и для Android-разработчиков. В этой статье рассказываю, как опытные инженеры могут проектировать, реализовывать и грамотно завершать эксперименты, которые действительно влияют на продукт, не захламляя кодовую базу. От Firebase Remote Config до паттернов чистой архитектуры — всё, чтобы делать более умные и осознанные Android-приложения. 🚀 Почему A/B-тестирование важно именно для разработчиков По сути, A/B-тест — это сравнение двух (или более) вариантов реализации, чтобы понять, какой из них работает лучше. В Android это может быть: • сравнение разных UI-дизайнов, • тестирование разных онбордингов, • проверка производительности оптимизаций, • сравнение реализаций фич (например, RecyclerView против LazyColumn в Compose). Вместо «выпустим и посмотрим» — мы выпускаем, измеряем и улучшаем . 🧩 Как встроить A/B-тесты в кодовую базу Хороший A/B-тест начинается с гипотезы и метрик успеха. Но в инженерном мире нужно думать ещё и о поддержке, масштабировании и разделении логики . Пример архитектуры:

https://habr.com/ru/articles/899378/

#kotlin #android #ab_testing #senior_developer #software_development

A/B-тестирование в Android-разработке: гайд для middle+ разрабов

A/B-тестирование — это не только инструмент для продуктовых команд. Это суперспособность и для Android-разработчиков. В этой статье рассказываю, как опытные инженеры могут проектировать, реализовывать и грамотно завершать эксперименты, которые действительно влияют на продукт, не захламляя кодовую базу. От Firebase Remote Config до паттернов чистой архитектуры — всё, чтобы делать более умные и осознанные Android-приложения. 🚀 Почему A/B-тестирование важно именно для разработчиков По сути, A/B-тест — это сравнение двух (или более) вариантов реализации, чтобы понять, какой из них работает лучше. В Android это может быть: • сравнение разных UI-дизайнов, • тестирование разных онбордингов, • проверка производительности оптимизаций, • сравнение реализаций фич (например, RecyclerView против LazyColumn в Compose). Вместо «выпустим и посмотрим» — мы выпускаем, измеряем и улучшаем . 🧩 Как встроить A/B-тесты в кодовую базу Хороший A/B-тест начинается с гипотезы и метрик успеха. Но в инженерном мире нужно думать ещё и о поддержке, масштабировании и разделении логики . Пример архитектуры:

https://habr.com/ru/articles/899378/

#kotlin #android #ab_testing #senior_developer #software_development

A/B-тестирование в Android-разработке: гайд для middle+ разрабов

A/B-тестирование — это не только инструмент для продуктовых команд. Это суперспособность и для Android-разработчиков. В этой статье рассказываю, как опытные инженеры могут проектировать, реализовывать и грамотно завершать эксперименты, которые действительно влияют на продукт, не захламляя кодовую базу. От Firebase Remote Config до паттернов чистой архитектуры — всё, чтобы делать более умные и осознанные Android-приложения. 🚀 Почему A/B-тестирование важно именно для разработчиков По сути, A/B-тест — это сравнение двух (или более) вариантов реализации, чтобы понять, какой из них работает лучше. В Android это может быть: • сравнение разных UI-дизайнов, • тестирование разных онбордингов, • проверка производительности оптимизаций, • сравнение реализаций фич (например, RecyclerView против LazyColumn в Compose). Вместо «выпустим и посмотрим» — мы выпускаем, измеряем и улучшаем . 🧩 Как встроить A/B-тесты в кодовую базу Хороший A/B-тест начинается с гипотезы и метрик успеха. Но в инженерном мире нужно думать ещё и о поддержке, масштабировании и разделении логики . Пример архитектуры:

https://habr.com/ru/articles/899378/

#kotlin #android #ab_testing #senior_developer #software_development

История эволюции веб-сервиса: от примера из доки до космолета

5k RPS, 5ms Latency и 100 экспериментов одновременно. История о том, как наша команда перестраивала веб-сервис для сплитования трафика в высокопроизводительную систему. С какими ограничениями Cpython и Gil столкнулись на пути, как обходили "узкие места" и оптимизировали сервис до микросекунд. В общем, всё о том, как мы построили "космолет" на Python и взлетели! Ну и, конечно же, ответ на вопрос: "Почему не Go? ".

https://habr.com/ru/companies/okko/articles/894462/

#python #multiprocessing #performance #okko #ab_testing

История эволюции веб-сервиса: от примера из доки до космолета

5k RPS, 5ms Latency и 100 экспериментов одновременно. История о том, как наша команда перестраивала веб-сервис для сплитования трафика в высокопроизводительную систему. С какими ограничениями Cpython и Gil столкнулись на пути, как обходили "узкие места" и оптимизировали сервис до микросекунд. В общем, всё о том, как мы построили "космолет" на Python и взлетели! Ну и, конечно же, ответ на вопрос: "Почему не Go? ".

https://habr.com/ru/companies/okko/articles/894462/

#python #multiprocessing #performance #okko #ab_testing

История эволюции веб-сервиса: от примера из доки до космолета

5k RPS, 5ms Latency и 100 экспериментов одновременно. История о том, как наша команда перестраивала веб-сервис для сплитования трафика в высокопроизводительную систему. С какими ограничениями Cpython и Gil столкнулись на пути, как обходили "узкие места" и оптимизировали сервис до микросекунд. В общем, всё о том, как мы построили "космолет" на Python и взлетели! Ну и, конечно же, ответ на вопрос: "Почему не Go? ".

https://habr.com/ru/companies/okko/articles/894462/

#python #multiprocessing #performance #okko #ab_testing

История эволюции веб-сервиса: от примера из доки до космолета

5k RPS, 5ms Latency и 100 экспериментов одновременно. История о том, как наша команда перестраивала веб-сервис для сплитования трафика в высокопроизводительную систему. С какими ограничениями Cpython и Gil столкнулись на пути, как обходили "узкие места" и оптимизировали сервис до микросекунд. В общем, всё о том, как мы построили "космолет" на Python и взлетели! Ну и, конечно же, ответ на вопрос: "Почему не Go? ".

https://habr.com/ru/companies/okko/articles/894462/

#python #multiprocessing #performance #okko #ab_testing

Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

https://habr.com/ru/articles/860050/

#проверка_гипотез #анализ_данных #аналитика #математическая_статистика #ab_testing #a/b_test #a/bтестирование

Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

https://habr.com/ru/articles/860050/

#проверка_гипотез #анализ_данных #аналитика #математическая_статистика #ab_testing #a/b_test #a/bтестирование

Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

https://habr.com/ru/articles/860050/

#проверка_гипотез #анализ_данных #аналитика #математическая_статистика #ab_testing #a/b_test #a/bтестирование

Размер имеет значение: как исторические данные помогают на этапе дизайна A/B-теста

Метод CUPED уже давно завоевал популярность в анализе A/B-тестов, предоставляя возможность выявлять эффекты меньших размеров. В этой статье мы подробно рассмотрим применение данного подхода на этапе дизайна эксперимента. Мы исследуем, как можно сократить размеры выборок, не теряя при этом в статистической мощности теста.

https://habr.com/ru/articles/860050/

#проверка_гипотез #анализ_данных #аналитика #математическая_статистика #ab_testing #a/b_test #a/bтестирование

7 раз отрежь, один релизни. А/Б тесты статических сайтов

Релиз начинается с идеи. Когда в потоке мозгового штурма приходит та самая идея, которая понравится всем пользователям и привлечёт новых клиентов. Идея презентуется команде менеджеров, маркетологов и безоговорочно поддерживается всеми. Прорабатывается ТЗ и задача отдаётся разработчикам. Затем новая версия тестируется и уходит конечным пользователям. На этом жизненный цикл идеи завершён. Теперь остаётся дождаться массива свежей аналитики и отпраздновать… Однако эта идея изначально была обречена. Она была поддержана лишь схожими с её автором людьми. Однако эти люди не самая подходящая ЦА, а возможно и вовсе её редкие исключения. И есть только один гарантированный способ проверить гипотезу - проверить её именно на аудитории бизнеса. Но, не на всей. Этот способ называется А/Б тестированием. И именно ему будет посвящена данная статья. От идеи до конкретной реализации тестирования на next.js (которую можно повторить и на других технологиях).

https://habr.com/ru/articles/819399/

#nextjs #middleware #edge #ab_testing #абтесты #web_программирование #nextjs #react

7 раз отрежь, один релизни. А/Б тесты статических сайтов

Релиз начинается с идеи. Когда в потоке мозгового штурма приходит та самая идея, которая понравится всем пользователям и привлечёт новых клиентов. Идея презентуется команде менеджеров, маркетологов и безоговорочно поддерживается всеми. Прорабатывается ТЗ и задача отдаётся разработчикам. Затем новая версия тестируется и уходит конечным пользователям. На этом жизненный цикл идеи завершён. Теперь остаётся дождаться массива свежей аналитики и отпраздновать… Однако эта идея изначально была обречена. Она была поддержана лишь схожими с её автором людьми. Однако эти люди не самая подходящая ЦА, а возможно и вовсе её редкие исключения. И есть только один гарантированный способ проверить гипотезу - проверить её именно на аудитории бизнеса. Но, не на всей. Этот способ называется А/Б тестированием. И именно ему будет посвящена данная статья. От идеи до конкретной реализации тестирования на next.js (которую можно повторить и на других технологиях).

https://habr.com/ru/articles/819399/

#nextjs #middleware #edge #ab_testing #абтесты #web_программирование #nextjs #react

7 раз отрежь, один релизни. А/Б тесты статических сайтов

Релиз начинается с идеи. Когда в потоке мозгового штурма приходит та самая идея, которая понравится всем пользователям и привлечёт новых клиентов. Идея презентуется команде менеджеров, маркетологов и безоговорочно поддерживается всеми. Прорабатывается ТЗ и задача отдаётся разработчикам. Затем новая версия тестируется и уходит конечным пользователям. На этом жизненный цикл идеи завершён. Теперь остаётся дождаться массива свежей аналитики и отпраздновать… Однако эта идея изначально была обречена. Она была поддержана лишь схожими с её автором людьми. Однако эти люди не самая подходящая ЦА, а возможно и вовсе её редкие исключения. И есть только один гарантированный способ проверить гипотезу - проверить её именно на аудитории бизнеса. Но, не на всей. Этот способ называется А/Б тестированием. И именно ему будет посвящена данная статья. От идеи до конкретной реализации тестирования на next.js (которую можно повторить и на других технологиях).

https://habr.com/ru/articles/819399/

#nextjs #middleware #edge #ab_testing #абтесты #web_программирование #nextjs #react

Как быстро и недорого проверить продуктовую гипотезу, не считая А/B-тестов

Привет! Я Аля — продакт-менеджер выделенных серверов Selectel. Люблю быстрое тестирование гипотез (и да, верю, что в B2B это возможно), общаться с целевой аудиторией и чистить бэклог. Думаю, что каждый продакт рано или поздно сталкивается с ситуацией, когда протестировать гипотезу A/B-тестом не получается по целому ряду причин — дорогой запуск, маленькая выборка, юридические ограничения и другие препятствия. Что же делать, когда хорошо известный A/B-тест не подходит, а принять решение Go/No-Go все же надо? В этом тексте я расскажу о методах тестирования продуктовых гипотез, которые не так известны как классические A/B-тесты, но могут быть не менее эффективны. Также в копилке их преимуществ — скорость и низкие ресурсозатраты. Кроме того, рассмотрю, в каких ситуациях эти варианты тестирования стоит использовать и приведу примеры из собственной практики или практики других компаний. Пристегните ремни, погружаемся в дебри тестирования! :)

https://habr.com/ru/companies/selectel/articles/781280/

#selectel #product_management #управлением_продуктом #ab_testing #гипотезы #продукт

Как быстро и недорого проверить продуктовую гипотезу, не считая А/B-тестов

Привет! Я Аля — продакт-менеджер выделенных серверов Selectel. Люблю быстрое тестирование гипотез (и да, верю, что в B2B это возможно), общаться с целевой аудиторией и чистить бэклог. Думаю, что каждый продакт рано или поздно сталкивается с ситуацией, когда протестировать гипотезу A/B-тестом не получается по целому ряду причин — дорогой запуск, маленькая выборка, юридические ограничения и другие препятствия. Что же делать, когда хорошо известный A/B-тест не подходит, а принять решение Go/No-Go все же надо? В этом тексте я расскажу о методах тестирования продуктовых гипотез, которые не так известны как классические A/B-тесты, но могут быть не менее эффективны. Также в копилке их преимуществ — скорость и низкие ресурсозатраты. Кроме того, рассмотрю, в каких ситуациях эти варианты тестирования стоит использовать и приведу примеры из собственной практики или практики других компаний. Пристегните ремни, погружаемся в дебри тестирования! :)

https://habr.com/ru/companies/selectel/articles/781280/

#selectel #product_management #управлением_продуктом #ab_testing #гипотезы #продукт

АБ тесты и подводные камни при их автоматизации

Задача оценки нововведений в онлайн и мобильных приложениях возникает повсеместно. Один из наиболее надёжных и популярных способов решения этой задачи - двойной слепой рандомизированный эксперимент, также известный как АБ-тест . На тему АБ-тестирования доступны как статьи на Хабре, так и целые книги (неполный список литературы в конце). В основе АБ-теста лежит следующая идея - случайно разделить пользователей на две или более группы, в одной из которых исследуемая функциональность выключена, а в других - включена. Затем можно сравнить метрики и сделать выводы.

https://habr.com/ru/articles/781060/

#ab_testing #абтесты #аналитика_данных #статистика #python

АБ тесты и подводные камни при их автоматизации

Задача оценки нововведений в онлайн и мобильных приложениях возникает повсеместно. Один из наиболее надёжных и популярных способов решения этой задачи - двойной слепой рандомизированный эксперимент, также известный как АБ-тест . На тему АБ-тестирования доступны как статьи на Хабре, так и целые книги (неполный список литературы в конце). В основе АБ-теста лежит следующая идея - случайно разделить пользователей на две или более группы, в одной из которых исследуемая функциональность выключена, а в других - включена. Затем можно сравнить метрики и сделать выводы.

https://habr.com/ru/articles/781060/

#ab_testing #абтесты #аналитика_данных #статистика #python