Как определить размер выборки в A/B тесте
Я помню, как проводил свой первый A/B тест после окончания колледжа. Лишь тогда я стал понимать базовые концепции: как получить достаточный размер выборки для A/B теста и какое время необходимо для получения статистически значимых результатов.
Формула для вычисления размера выборки в A/B тесте
Когда я впервые увидел формулу для расчета размера выборки в A/B тесте, я был поражен.
Вот как она выглядит:
n
— размер выборкиp1
— начальный уровень конверсииp2
— уровень конверсии, улучшенный на минимальный абсолютный детектируемый эффект (то естьp1
+ минимальный детектируемый эффект)Zα/2
— Z-оценка из Z-таблицы, соответствующая значению α/2 (например, 1.96 для интервала доверия 95%)Zβ
— Z-оценка из Z-таблицы, соответствующая значению β (например, 0.84 для мощности 80%)
К счастью, существуют инструменты, которые позволяют нам ввести всего три числа для получения результатов. Я расскажу о них в этом руководстве.
Размер выборки и временные рамки для A/B теста
Теоретически, чтобы провести идеальный A/B тест и определить победителя между вариантами A и B, необходимо дождаться получения достаточного количества данных для выявления статистически значимой разницы между двумя вариантами.
Несколько экспериментов с A/B тестированием подтверждают эту концепцию. В зависимости от вашей компании, размера выборки и способа проведения A/B теста, получение статистически значимых результатов может занять от нескольких часов до нескольких недель. И важно дождаться этих результатов.
Для многих A/B тестов ожидание не является проблемой. Например, тестирование заголовков на целевой странице может занимать месяц. Но некоторые аспекты маркетинга требуют более коротких временных рамок, например, в email маркетинге. И вот почему:
- Каждая рассылка email имеет ограниченную аудиторию. В отличие от целевой страницы, где можно продолжать собирать новую аудиторию, в email тесте нельзя добавить больше людей после отправки рассылки.
- Программа email маркетинга требует отправки нескольких писем в неделю. Если вы потратите слишком много времени на сбор результатов, вы можете пропустить отправку следующего письма.
- Отправка email должна быть своевременной. Ваши маркетинговые emails оптимизированы для определенного времени суток. Задержка с отправкой может снизить их эффективность.
Вот почему программы A/B тестирования email имеют встроенные настройки времени: если по истечении времени ни один из вариантов не будет статистически значимым, один из вариантов (определенный заранее) будет отправлен оставшейся части списка.
Как определить размер выборки для A/B теста
Для этого руководства я покажу, как определить размер выборки и временные рамки для A/B теста на примере email. Однако, эти шаги можно применить к любому тесту.
- Проверьте, достаточно ли велика ваша контактная база для проведения A/B теста. Для проведения теста необходимо иметь как минимум 1,000 контактов.
- Используйте калькулятор размера выборки. В сети доступны несколько бесплатных калькуляторов, которые помогут вам определить необходимый размер выборки.
- Введите базовый уровень конверсии, минимальный детектируемый эффект и статистическую значимость в калькулятор. Эти показатели определяют, насколько достоверны будут ваши результаты.
Как выбрать правильные временные рамки для A/B теста для целевой страницы
Если я хочу протестировать целевую страницу, временные рамки будут зависеть от целей моего бизнеса.
Например, если мне нужно разработать новую целевую страницу к первому кварталу 2025 года, и сейчас четвертый квартал 2024 года, я должен завершить A/B тест к декабрю, чтобы использовать результаты для создания лучшей страницы.
Как выбрать правильные временные рамки для A/B теста для email
Для email вам нужно определить, как долго проводить тестирование перед отправкой победившего варианта оставшимся подписчикам.
Если у вас нет временных ограничений, обратитесь к аналитическим данным, чтобы выяснить, когда показатели открываемости и кликабельности начинают снижаться. Используйте эту информацию для определения временных рамок тестирования.
Готовы к проведению A/B тестов?
Теперь вы знаете все, что необходимо для определения размера выборки и временных рамок для вашего следующего A/B теста. Проведя эти расчеты и проанализировав данные, вы будете готовы проводить успешные тесты, которые помогут достичь ваших целей.
Источник: HubSpot