Как рассчитать размер выборки и продолжительность для A/B тестирования

Как определить размер выборки в A/B тесте

Я помню, как проводил свой первый A/B тест после окончания колледжа. Лишь тогда я стал понимать базовые концепции: как получить достаточный размер выборки для A/B теста и какое время необходимо для получения статистически значимых результатов.

Формула для вычисления размера выборки в A/B тесте

Когда я впервые увидел формулу для расчета размера выборки в A/B тесте, я был поражен.

Вот как она выглядит:

• n — размер выборки
• p1 — начальный уровень конверсии
• p2 — уровень конверсии, улучшенный на минимальный абсолютный детектируемый эффект (то есть p1 + минимальный детектируемый эффект)
• Zα/2 — Z-оценка из Z-таблицы, соответствующая значению α/2 (например, 1.96 для интервала доверия 95%)
• Zβ — Z-оценка из Z-таблицы, соответствующая значению β (например, 0.84 для мощности 80%)

К счастью, существуют инструменты, которые позволяют нам ввести всего три числа для получения результатов. Я расскажу о них в этом руководстве.

Размер выборки и временные рамки для A/B теста

Теоретически, чтобы провести идеальный A/B тест и определить победителя между вариантами A и B, необходимо дождаться получения достаточного количества данных для выявления статистически значимой разницы между двумя вариантами.

Несколько экспериментов с A/B тестированием подтверждают эту концепцию. В зависимости от вашей компании, размера выборки и способа проведения A/B теста, получение статистически значимых результатов может занять от нескольких часов до нескольких недель. И важно дождаться этих результатов.

Для многих A/B тестов ожидание не является проблемой. Например, тестирование заголовков на целевой странице может занимать месяц. Но некоторые аспекты маркетинга требуют более коротких временных рамок, например, в email маркетинге. И вот почему:

1. Каждая рассылка email имеет ограниченную аудиторию. В отличие от целевой страницы, где можно продолжать собирать новую аудиторию, в email тесте нельзя добавить больше людей после отправки рассылки.
2. Программа email маркетинга требует отправки нескольких писем в неделю. Если вы потратите слишком много времени на сбор результатов, вы можете пропустить отправку следующего письма.
3. Отправка email должна быть своевременной. Ваши маркетинговые emails оптимизированы для определенного времени суток. Задержка с отправкой может снизить их эффективность.

Вот почему программы A/B тестирования email имеют встроенные настройки времени: если по истечении времени ни один из вариантов не будет статистически значимым, один из вариантов (определенный заранее) будет отправлен оставшейся части списка.

Как определить размер выборки для A/B теста

Для этого руководства я покажу, как определить размер выборки и временные рамки для A/B теста на примере email. Однако, эти шаги можно применить к любому тесту.

1. Проверьте, достаточно ли велика ваша контактная база для проведения A/B теста. Для проведения теста необходимо иметь как минимум 1,000 контактов.
2. Используйте калькулятор размера выборки. В сети доступны несколько бесплатных калькуляторов, которые помогут вам определить необходимый размер выборки.
3. Введите базовый уровень конверсии, минимальный детектируемый эффект и статистическую значимость в калькулятор. Эти показатели определяют, насколько достоверны будут ваши результаты.

Как выбрать правильные временные рамки для A/B теста для целевой страницы

Если я хочу протестировать целевую страницу, временные рамки будут зависеть от целей моего бизнеса.

Например, если мне нужно разработать новую целевую страницу к первому кварталу 2025 года, и сейчас четвертый квартал 2024 года, я должен завершить A/B тест к декабрю, чтобы использовать результаты для создания лучшей страницы.

Как выбрать правильные временные рамки для A/B теста для email

Для email вам нужно определить, как долго проводить тестирование перед отправкой победившего варианта оставшимся подписчикам.

Если у вас нет временных ограничений, обратитесь к аналитическим данным, чтобы выяснить, когда показатели открываемости и кликабельности начинают снижаться. Используйте эту информацию для определения временных рамок тестирования.

Готовы к проведению A/B тестов?

Теперь вы знаете все, что необходимо для определения размера выборки и временных рамок для вашего следующего A/B теста. Проведя эти расчеты и проанализировав данные, вы будете готовы проводить успешные тесты, которые помогут достичь ваших целей.

Источник: HubSpot