А/Б-тестирование для аналитиков: сначала размер выборки, потом результат

1. Что на самом деле решает А/Б-тест

Перед определением: вы меняете кнопку и конверсия растет. Прежде чем читать дальше, назовите конкретную причину, которая еще не является доказательством того, что кнопка сделала это.

Конверсии происходят сами по себе. Разные дни, разные источники трафика, разная погода. А/Б-тест удаляет эти объяснения, разделяя трафик. случайно и одновременно, поэтому единственное систематическое различие между этими двумя группами — это внесенные вами изменения. Все остальное, известное и неизвестное, распределяется между ними поровну при подбрасывании монеты.

Эта рандомизация и есть весь движок. Именно это превращает «число увеличилось» в «изменение привело к увеличению числа», и именно поэтому А/Б-тест может подтвердить причинно-следственную связь, когда сравнение «до» и «после» не может. Общая версия этого аргумента находится в Корреляция против причинно-следственной связи; контролируемый эксперимент — это инструмент, который решает эту проблему.

Словарный запас один раз, поэтому остальная страница читается чисто. Контроль это текущая версия. вариант или лечение новое. метрика — это единственное число, по которому вы заранее решили судить. И разделение должно быть по-настоящему случайным для каждого посетителя, оставаться постоянным, чтобы возвращающийся посетитель видел одну и ту же версию, и действовать в течение одного и того же периода для обоих.

2. Сработанный тест: 4,0 процента против 5,0 процента.

Перед арифметикой: вот готовый тест. Прежде чем приводить статистику, решите, будете ли вы выпускать этот вариант.

Тестовая статистика строится так же, как и любая другая: наблюдаемый разрыв делится на то, сколько разрывов дает случайное разделение. Для двух ставок стандартная ошибка использует объединенную ставку, поскольку нулевая гипотеза утверждает, что обе ветви исходят из одной и той же базовой ставки.

pooled rate = (160 + 200) / (4000 + 4000) = 0.045

standard error = sqrt( 0.045 × 0.955 × (1/4000 + 1/4000) )
               = sqrt( 0.045 × 0.955 × 0.0005 )
               = 0.0046355

z = (0.05 − 0.04) / 0.0046355 = 2.157
p = 0.031

import numpy as np
from scipy import stats

nc, kc, nv, kv = 4000, 160, 4000, 200
pc, pv = kc/nc, kv/nv
pool   = (kc + kv) / (nc + nv)
se     = np.sqrt(pool * (1 - pool) * (1/nc + 1/nv))
z      = (pv - pc) / se
p      = 2 * (1 - stats.norm.cdf(abs(z)))
print(round(z, 3), round(p, 4))     # 2.157 0.0310

Итак, п = 0,031, ниже обычного порога. Прежде чем вы его отправите, пятый раздел задает вопрос, который меняет ответ, и это вопрос, который никогда не задают в большинстве тестов.

3. Чтение результата: абсолютного, относительного и интервального.

Перед цифрами: ставка выросла с 4,0 процента до 5,0 процента. Прежде чем читать дальше, скажите в одном предложении, насколько велико это улучшение. Есть два правильных ответа, и они звучат очень по-разному.

Это 1,0 процентного пункта в абсолютном выражении и 25 процентов в относительном выражении. Оба варианта верны, это один и тот же факт, и второй звучит примерно в двадцать пять раз более захватывающе. Это самый распространенный способ переоценить результаты тестов, и обычно никто из участников этого не делает.

Сообщите о двух показателях и обоих подъемах и произнесите вслух «процентные пункты», когда вы имеете в виду их. Слайд, на котором рядом с ставкой в ​​5 процентов написано «рост на 25 процентов», ничего не говорит читателю о том, какие 25 процентов он означает.

Затем добавьте интервал — число, которое действительно необходимо совещанию.

unpooled se = sqrt( 0.04 × 0.96 / 4000 + 0.05 × 0.95 / 4000 ) = 0.004634
95% interval on the difference = 0.01 ± 1.96 × 0.004634
                               = 0.0009 to 0.0191
                               = +0.09 to +1.91 percentage points

Таким образом, данные согласуются с приростом в одну десятую процентного пункта и приростом почти в два. В относительном выражении это примерно от 2 до 48 процентов, и ширина этого диапазона является точным уровнем знаний. Если доставка окупается только при относительной выгоде выше 10 процентов, этот тест не дает ответа на вопрос, даже несмотря на то, что его значение п превысило 0,05.

Скажите вслух, почему интервал здесь более полезен, чем значение п. Значение п говорит: «вероятно, не ничего». В интервале указано «где-то между едва ли того стоит и отлично», и это предложение, на котором можно основывать решение.

4. Размер выборки определяется до начала испытания.

Перед расчетом: вы конвертируете на уровне 4 процентов и отправляете все, что улучшит его на одну пятую. Прежде чем читать дальше, угадайте, сколько посетителей нужно на каждую руку. Почти все угадывают низко.

Это требует 10 317 на рукуили всего 20 634. При тысяче посетителей в день на группу — это десятидневный тест, а при сотне в день — стодневный тест, который никогда не следует начинать.

Все решают четыре фактора, и три из них — это выбор, который вы делаете.

1. Базовая ставка. Во что вы конвертируете сейчас. Здесь 4 процента. Это измерение, а не выбор.
2. Минимальный обнаруживаемый эффект. Самое маленькое улучшение, которое стоит отправить. Пятая часть 4 процентов составляет 0,8 процентных пункта, поэтому целевая ставка составляет 4,8 процента.
3. Уровень значимости. Как часто вы будете принимать ложную тревогу. Условно 5 процентов.
4. Власть. Как часто хочется поймать настоящий эффект такого размера. Условно 80 процентов, что означает, что каждый пятый реальный эффект остается незамеченным.

from scipy import stats
import numpy as np

def per_arm(p0, p1, alpha=0.05, power=0.80):
    za, zb = stats.norm.ppf(1 - alpha/2), stats.norm.ppf(power)
    pbar = (p0 + p1) / 2
    num = (za * np.sqrt(2 * pbar * (1 - pbar)) +
           zb * np.sqrt(p0 * (1 - p0) + p1 * (1 - p1))) ** 2
    return np.ceil(num / (p1 - p0) ** 2)

per_arm(0.04, 0.048)      # 10317.0

Вот таблица, которую стоит куда-нибудь прикрепить. Посетителей нужно было на каждую руку, при 5-процентной значимости и 80-процентной мощности.

Из этого следует выделить две закономерности. Меньшие эффекты обходятся значительно дороже: уменьшение вдвое эффекта, который вы хотите обнаружить, примерно в четыре раза увеличивает необходимый вам трафик, что является тем же квадратным корнем, что и погрешность. А низкие базовые ставки обходятся дороже, чем высокие, поэтому тесты на странице оформления заказа завершаются, а тесты на домашней странице — нет.

Теперь представьте себе трафик вашего собственного сайта на странице, которую вы больше всего хотите протестировать. Возьмите количество посетителей за месяц, разделите его вдвое и найдите ближайшую ячейку в этой таблице. Какое наименьшее улучшение вы могли бы заметить за месяц?

5. Что может и не может обнаружить ваш тест

Перед цифрой: в нашем законченном тесте было 4000 на руку, а в таблице указано, что для 20-процентного подъема необходимо 10317. Предскажите, что означает это несоответствие для результата, который мы уже прочитали.

Это означает, что тест был недостаточно мощным. При 4000 на руку шанс обнаружить истинный 20-процентный подъем был 41 процент. Если бы это улучшение действительно существовало, этот тест чаще его пропускал бы, чем находил.

Это не делает наше значение п = 0,031 неверным, но меняет способ его прочтения. Тест с недостаточной мощностью, который оказался значительным, по своей конструкции выявил эффект, превышающий истинный, потому что только большие наблюдаемые эффекты превышают планку при таком размере выборки. Наши наблюдали 25 процентов. Реальный эффект, если таковой имеется, вероятно, меньше, и интервал уже сказал нам об этом, растянувшись до 2 процентов.

Имя этому — проклятие победителя, и именно поэтому организации, которые проводят множество небольших тестов, не видят своих ощутимых побед в квартальных показателях. Каждый тест был проанализирован правильно. Поставленный набор тестов был выбран из-за превышения допустимых значений.

Исправление – это дисциплина, описанная в четвертом разделе, и нет никакого умного анализа, который мог бы заменить ее. Определите размер выборки, определите его и посмотрите. Если трафика нет, протестируйте что-нибудь с более высоким ожидаемым эффектом, или протестируйте на странице с большим трафиком, или примите тот факт, что на этот конкретный вопрос невозможно ответить путем эксперимента в вашем масштабе.

6. Подглядывание и 24 процента

Перед симуляцией: вы устанавливаете тест на 10 дней и проверяете его каждый день. Скажите, чем это отличается от проверки один раз в конце, прежде чем читать дальше.

Однократная проверка означает выполнение одного теста. Двадцать раз проверить и остановиться в первый раз, когда все выглядит хорошо, значит провести двадцать тестов и оставить тот, который перешел черту. Порог значения п был разработан для первой ситуации.

Вот то, чего это стоит, скорее измеренное, чем заявленное. Я смоделировал 2000 тестов, в которых обе версии конвертировались ровно на 4 процента, так что любой победитель — это ложная тревога. Каждый тест проводился до 4000 посетителей на группу, проверялись каждые 200 посетителей, всего двадцать проверок.

Пять процентов — это именно то, что обещает порог 0,05. Двадцать четыре процента — это то, что вы получаете вместо этого, когда смотрите. Почти в каждом четвертом тесте объявляется несуществующий победитель, и каждый из этих результатов в описании будет выглядеть совершенно обычным.

Диаграмма вверху этой страницы — один из таких прогонов. Обе версии конвертируют ровно 4 процента. Значение п упало ниже 0,05 на восьмом, девятом и десятом чеках, достигнув дна на уровне 0,022, затем снова поднялось и завершилось на отметке 0,375. Три последовательных дня «значительного» теста, в котором обе версии идентичны.

Три способа справиться с этим, в порядке того, насколько они мне нравятся.

Зафиксируйте размер выборки и не смотрите. Бесплатно, правильно и именно поэтому существует четвертый раздел. Если вам нужно что-то проверить, обратите внимание на качество данных во время прогона.

Используйте метод, созданный для непрерывного мониторинга. Последовательное тестирование и всегда действующие интервалы существуют именно для того, чтобы наблюдение было законным. Взамен они требуют некоторой мощности, и их реализуют несколько платформ тестирования.

Смотрите, но действуйте только до запланированного конца. Это осуществимо, если организация может мириться с видением числа, не действуя в соответствии с ним. По моему опыту, это невозможно, поэтому я рекомендую именно первый вариант.

7. Неудачи, которые не являются статистикой

Перед списком: арифметика на этой странице вся верная и тест все равно может оказаться бесполезным. Назовите один способ, прежде чем читать мой.

Разделение неравномерное. Вы ожидали 50/50 и получили 4000 против 3780. Это несоответствие соотношения выборки, и это означает, что рандомизация или протоколирование нарушены. Это делает тест недействительным, поскольку то, что вызвало дисбаланс, могло также стать причиной разницы, которую вы измеряете. Проверяйте его каждый раз, прежде чем смотреть на метрику, и рассматривайте несоответствие как ошибку, а не проблему округления.

Новизна и первенство. Обычные пользователи реагируют на изменение, потому что это изменение. Новый дизайн может выиграть на первой неделе, потому что он незнаком, и проиграть на четвертой неделе, когда он перестанет быть новым. Запускайте целые недели и, если можете, проверьте, различается ли эффект для новых и вернувшихся посетителей.

Нарезка до тех пор, пока что-то не станет существенным. Двадцать сегментов по 5 процентов дают 64-процентную вероятность того, что один из них сработает случайно. Сообщение об «отсутствии общего эффекта, но о сильной победе для мобильных пользователей в Канаде» — это проблема множественного сравнения в ее естественной среде обитания, описанная в руководство по значениям п. Решите сегменты заранее или рассматривайте их как идеи для следующего теста.

Тестирование неправильной метрики. Нажатие на кнопку легко перемещается, и легко перемещаться за счет того, что произойдет дальше. Если ваша метрика не соответствует тому, что вам на самом деле нужно, вы оптимизируете свой путь там, где вы не собирались, поэтому метрика записывается в письменном виде до начала теста и почему Определение метрик стоит прочитать в первую очередь.

Загрязнение между руками. Если один пользователь может видеть обе версии, на двух устройствах или через общую учетную запись, разница между руками сводится к нулю, и тест занижает все, что есть.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то четвертака.

Бегаю, пока не заработает. Продление теста, который не достиг значимости, — это та же ошибка, что и подглядывание в замедленном темпе. Продлевайте только в том случае, если вы заранее определитесь с новым размером выборки и по указанной причине.

Тестируем три варианта и сравниваем их все. Три плеча дают три парных сравнения, и соответственно увеличивается частота ложных тревог. Сравните каждый вариант только с контролем и отрегулируйте порог количества вариантов.

Коэффициент конверсии в неправильном знаменателе. Конверсии, разделенные по сеансам, посетителям или пользователям, — это три разных показателя, которые меняются по-разному. Выберите один, запишите его и убедитесь, что обе руки используют один и тот же.

Пробки в будние и выходные дни. Тестовый запуск с понедельника по пятницу — это проверка посетителей в будние дни. Запускайте целые недели, чтобы обе руки видели одну и ту же смесь, что они и будут автоматически, но чтобы результат обобщался.

Очень низкий показатель конверсии. Показатели, основанные на менее чем 30 конверсиях на группу, нестабильны независимо от того, сколько посетителей у вас было, и обычное приближение, лежащее в основе з-теста, начинает напрягать. Проверьте количество конверсий, а не только количество посетителей.

Доставка по метрике, которая не двигалась. Если основной показатель остался неизменным, а вторичный изменился, это гипотеза для следующего теста, а не результат. Запишите это как таковое, и оно останется полезным.