Бесплатный инструмент
Калькулятор значимости A/B-теста
Новый вариант приносит больше заказов, чем старый. Прежде чем оставить его на сайте, проверьте, реальна ли разница или это просто колебания трафика. Ещё не запустили тест? Перейдите в «Спланировать тест» и узнайте, сколько нужно посетителей.
Что показывает калькулятор
Он сравнивает конверсию двух версий страницы: старой (A) и новой (B), и показывает, реальна ли разница или это обычные колебания трафика. Нужны четыре числа: посетители и конверсии каждой версии.
Он использует z-тест для двух долей — стандартный метод большинства инструментов A/B-тестирования. Он работает корректно, когда каждый посетитель видит только одну версию, у каждой версии не меньше 30 конверсий, а трафик обычный, не из периода распродаж.
Как читать результат
p-value
Насколько вероятно увидеть разницу хотя бы такого размера, если обе версии на самом деле одинаково хороши. При p = 0,03 такая разница случайно появилась бы лишь в 3% случаев. Обычный порог — ниже 0,05.
Уровень доверия
Стандарт — 95%. Магазины с небольшим трафиком иногда берут 90%, чтобы не ждать месяцами, но риск ложного победителя растёт с 5% до 10%. Для крупных изменений, например оформления заказа или цен, стоит брать 99%.
Интервал
Показывает, где, скорее всего, находится реальная разница. Если интервал включает ноль, пока нельзя сказать, что B лучше. Широкий интервал значит, что B лучше, но неизвестно насколько.
Сколько нужно посетителей?
Самая частая ошибка — остановить тест слишком рано. Сколько нужно посетителей, зависит от трёх вещей: текущей конверсии, минимального роста, который вы хотите поймать, и уровня доверия. Чем меньше рост, тем больше нужно трафика: уменьшите его вдвое — и посетителей понадобится примерно вчетверо больше.
Пример для магазина с конверсией 2%, при доверии 95% и мощности 80%:
| Рост, который нужно поймать | Посетителей на вариант | При 5 000 посетителей/нед. | При 1 000 посетителей/нед. |
|---|
Вывод: при небольшом трафике мелкие правки протестировать нельзя. Тестируйте смелые изменения, которые могут сдвинуть конверсию на 20% и больше.
Ошибки, которые дают ложных победителей
- Останавливать тест, когда всё выглядит хорошо. Если проверять каждый день и остановиться, как только p упадёт ниже 0,05, вы поймаете удачу, а не реальный эффект. Определите число посетителей заранее.
- Трафик делится неравномерно. Если вы задали 50/50, а получили 53/47, в настройке теста что-то сломано. Калькулятор об этом предупредит.
- Слишком мало конверсий. Меньше 30 конверсий на вариант — и расчёт уже ненадёжен.
- Тесты в необычные периоды. Чёрная пятница, праздники или большая кампания меняют поведение покупателей. То, что побеждает тогда, может проиграть в обычную неделю.
- Слишком много вариантов сразу. Каждый дополнительный вариант требует больше трафика. При небольшом трафике тестируйте A против B.
Не знаете, что стоит тестировать?
В аудит конверсии входят идеи A/B-тестов в том порядке, в котором их стоит запускать. Первую секцию переделаем бесплатно.