Минимум статистики для A/B-тестов: выборка, конверсия и ошибка
Объясняем, какие статистические величины нужны для A/B-тестов: конверсия, размер выборки, доверительный интервал, ошибка и почему нельзя останавливать тест слишком рано.
Короткий ответ
Для простого A/B-теста сначала считают базовую конверсию, ожидаемый эффект и нужную выборку. Чем меньше разница между вариантами, тем больше данных нужно, чтобы отличить сигнал от шума.
A/B-тест кажется простым: один вариант лучше другого. На практике результат зависит от размера выборки, разброса, длительности теста и того, насколько честно команда заранее задала критерий успеха.
Почему нельзя верить первым часам теста
В начале эксперимента данные сильно шумят. Несколько случайных покупок или кликов могут дать большой процентный разрыв, который исчезнет после нормального объема трафика.
Если останавливать тест при первом красивом результате, команда начинает выбирать не лучший вариант, а самый удачный в случайный момент наблюдения.
Что нужно посчитать
| Параметр | Что означает | Почему важен |
|---|---|---|
| Базовая конверсия | текущий процент целевого действия | от нее зависит ожидаемый эффект |
| Минимальный эффект | какую разницу имеет смысл ловить | малый эффект требует больше данных |
| Размер выборки | сколько наблюдений нужно | защищает от случайных выводов |
| Ошибка | допустимое отклонение оценки | помогает читать результат аккуратно |
Практические правила
- Задавайте гипотезу и метрику до запуска теста.
- Не меняйте аудиторию и условия в середине эксперимента.
- Смотрите не только конверсию, но и качество результата: чек, возвраты, маржу.
- Для маленьких выборок не делайте далеко идущих выводов.
Где полезны калькуляторы
Калькулятор не заменяет статистика, но помогает быстро понять порядок величин. Если вы видите, что для надежного вывода нужны десятки тысяч наблюдений, тест на сотне пользователей лучше считать разведочным.
Для учебных и продуктовых задач полезно отдельно считать проценты, конверсию, средние значения и простые ошибки. Так проще объяснить результат команде без сложного отчета.
Что связать в Calqum
- CTR и CR для базовой конверсии.
- Калькулятор процентов для изменения показателя.
- Среднее значение для описательной статистики.
- Sample error count для простой оценки ошибок в выборке.