Что такое P-значение? Работает путем перетасовки девяти реальных заказов 126 способами

1. Вопрос, на который отвечает значение п

Перед определением: вы сравниваете два региона и один впереди на 168,50. Назовите своими словами конкретное сомнение, которое вызывает у вас это число, прежде чем читать дальше.

Сомнение состоит в том, что разница может быть не чем иным, как тем, какие приказы куда приземлились. Разделите любые девять заказов на две группы случайным образом, и средние значения двух групп всегда будут чем-то отличаться. Таким образом, полезный вопрос не в том, «различаются ли они», а в том, «больше ли этот разрыв, чем пробелы, возникающие при случайном расщеплении?»

A п-значение отвечает именно на этот вопрос и не более того. Формально: если предположить, что между группами действительно нет различий, значение п — это вероятность увидеть разрыв, по крайней мере, такой же большой, как тот, который вы видели. Все остальное, что люди говорят о п-значениях, — это устаревший парафраз.

Предположение в середине этого предложения имеет имя, нулевая гипотеза. Объяснение скучное: регионы одни и те же, цвет кнопок не имеет значения, препарат ничего не делает. Значение п никогда не оценивает вашу интересную гипотезу. Он лишь измеряет, насколько неудобными будут ваши данные для скучного человека.

2. Данные: два региона, разница в 168,50.

Перед арифметикой: вот девять порядков. Посмотрите на них и решите на глаз, считаете ли вы, что Юг действительно продает больше, чем Север, прежде чем приступать к какой-либо статистике.

North (5 orders):  880  240  425  440  510      mean 499.00
South (4 orders):  850  660  280  880           mean 667.50

Difference in means: 667.50 − 499.00 = 168.50

Средний заказ Юга на 168,50 выше, что составляет 34-процентный разрыв и было бы настоящим открытием, если бы он сохранился. Однако посмотрите на исходные значения. У Севера — 880, а у Юга — 280, и если вы поменяете местами только эти две строки между регионами, разрыв почти сократится. Девять чисел — это немного, и именно эта интуиция и будет уточнена в следующем разделе.

3. Тест на перемешивание, все 126 штук.

До метода: если бы название региона вообще не имело значения, то любые четыре из этих девяти порядков с таким же успехом могли бы быть Южными. Прежде чем читать дальше, скажите, как бы вы использовали этот факт, чтобы проверить наличие пробела.

Вы берете девять значений порядка, забываете, из какого региона они пришли, и сдаете четыре из них воображаемому Югу и пять — воображаемому Северу. Вычислите разрыв этого раскола. Сделайте это еще раз для другого разделения. Пробелы, которые вы получаете, — это результат чистой случайности, когда ярлык ничего не значит.

Существует ровно 126 способов выбрать 4 предмета из 9, поэтому нам не придется делать выборку. Мы можем сделать каждый.

import itertools, numpy as np

vals = np.array([880, 240, 425, 440, 510, 850, 660, 280, 880], float)
observed = 667.50 - 499.00        # 168.50

gaps = []
for pick in itertools.combinations(range(9), 4):      # 126 of them
    south = vals[list(pick)]
    north = vals[[i for i in range(9) if i not in pick]]
    gaps.append(south.mean() - north.mean())

gaps = np.array(gaps)
extreme = (np.abs(gaps) >= abs(observed)).sum()
print(len(gaps), extreme, extreme / len(gaps))

126 45 0.35714285714285715

Сорок пять из 126 возможных расколов создают разрыв, по крайней мере, равный 168,50, в ту или иную сторону. То есть р = 45 ÷ 126 = 0,357, и это картинка вверху этой страницы: более темные точки — это 45.

Прочтите предложение внимательно, потому что в нем заключена вся концепция. Если бы название региона ничего не значило, мы бы видели такой же или даже больший разрыв примерно в 36 процентах случаев. То, что происходит в 36 процентах случаев случайно, ни о чем не свидетельствует. Это обычный вторник.

Обратите внимание, что для этого расчета не требовалось. Ни колоколообразной кривой, ни предположений о форме дохода от заказов, ни степеней свободы, ни таблицы в конце учебника. Просто считаю. Это называется тест на перестановку, а когда размеры групп достаточно малы, чтобы их можно было перечислить, это самая честная версия идеи.

Скажите вслух, почему в тесте используется «по крайней мере такой же большой», а не «ровно такой большой». Причина в том, что какой-либо точный разрыв встречается редко; существует 126 разделений, и большинство гэпов появляются лишь несколько раз. Вопрос «как часто случайность бывает настолько впечатляющей» — единственная версия вопроса, имеющая устойчивый ответ.

4. Т-тест: тот же ответ без перетасовки

Перед сравнением: для перетасовки потребовалось 126 вычислений для девяти значений. Примерно спрогнозируйте, сколько потребуется значений для сотни значений на группу, и вы поймете, почему существует классический тест.

Выбор 100 из 200 дает число, состоящее из 59 цифр. Перечисление почти сразу перестает быть возможным, а классические тесты представляют собой упрощенные методы, позволяющие получить один и тот же ответ, используя математику, а не грубую силу.

from scipy import stats
stats.ttest_ind(south, north, equal_var=False)
# statistic = 0.9709, pvalue = 0.3692

тот т-тест дает п = 0,369 против 0,357 при тасовании. Они согласны, и в этом суть: т-критерий — это не другая концепция, это тот же вопрос, на который можно ответить, приняв форму данных, а не генерируя ее. Когда это предположение разумно, оно происходит быстрее и работает при любом размере выборки. Когда данные сильно искажены или малы, следует доверять перетасовке.

Два практических замечания по этой функции. equal_var=False спрашивает версию Уэлча, которая не предполагает, что эти две группы имеют одинаковое распространение. Сделайте его значением по умолчанию, потому что это почти ничего не стоит, когда спреды совпадают, и это правильный ответ, когда они не совпадают. По умолчанию тест является двусторонним, то есть он считает пробелы в обоих направлениях, что соответствует abs() в нашем случайном коде.

Вот тот же тест в форме, связанной с SQL, для случая, когда ваши данные хранятся в хранилище и вам нужны ингредиенты, а не вердикт.

SELECT Region,
       COUNT(*)                       AS n,
       ROUND(AVG(Revenue), 2)         AS mean_order,
       ROUND(STDDEV_SAMP(Revenue), 2) AS sd
FROM Orders
WHERE Region IN ('North', 'South')
GROUP BY Region;

-- North   5   499.00   235.22
-- South   4   667.50   276.09

5. Что такое 0,05, а что нет

Перед разделом: у вас п = 0,36, а в соглашении указано 0,05. Решите, что вы будете писать в отчете, в одном предложении, прежде чем читать мой.

Порог 0,05 — это соглашение, выбранное для удобства, без каких-либо математических обоснований. В мире ничего не меняется между п = 0,049 и п = 0,051. Считать первое открытием, а второе ничем — это самая распространенная ошибка в прикладной статистике, и это ошибка привычки, а не арифметики.

Вот четыре вещи, которые регулярно утверждают, что п-значение означает, и что оно на самом деле означает. Их стоит изучить как набор, потому что каждый из них проявляется на реальных собраниях.

Что я бы на самом деле написал для нашего примера: «Средний порядок Юга был на 168,50 выше, чем Севера, на 4 порядка против 5. Разрыв такого размера возникает случайно примерно в трети случаев при этих размерах выборки, поэтому эти данные не могут сказать нам, действительно ли регионы различаются. 95-процентный интервал разрыва варьируется от -256 до +593».

В этом предложении есть эффект, размеры, результат теста и неопределенность, и в нем никогда не используется слово «значимый». Интервал выполняет большую часть работы, и доверительные интервалы вот где живет эта половина истории.

6. Разница та же, больше рядов

Перед столом: удерживайте гэп ровно на уровне 168,50 и держите оба спреда точно там, где они есть. Теперь представьте тот же результат в более крупных группах. Предскажите, что произойдет с п-значением.

Он резко падает, и в самой находке ничего не изменилось.

Именно этот факт делает значения п опасными, если читать их отдельно. Тот же разрыв в 168,50 является «незначительным» при 10 заказах на регион и «весьма значительным» при 40. Мир не изменился; имел значение только объем данных. P-значение — это утверждение о том, сколько доказательств вы собрали, по крайней мере, столько же, сколько о том, насколько велик эффект.

Это работает и в другую сторону. Соберите миллион строк, и разница в 0,3 процента вернется с п-значением, практически равным нулю, и это все равно будет разницей, на которую никто не должен воздействовать. Вот почему размер эффекта всегда указывается в отчете рядом со значением п и обычно первым.

А теперь представьте себе последний результат теста, который вы видели на собрании. Знаете ли вы, сколько рядов было за ним? В противном случае вы не знали, что означает значение п, и никто другой в комнате не знал.

7. Тестирование шести вещей одновременно

Перед арифметикой: у вас четыре региона, значит, есть шесть возможных пар для сравнения. Если бы все регионы были действительно идентичными и вы протестировали все шесть пар с порогом 0,05, какова вероятность того, что хотя бы одна из них окажется «значимой»? Угадайте, прежде чем читать дальше.

Каждый отдельный тест имеет 95-процентную вероятность того, что он сработает. Все шесть независимых тестов имеют поведение 0,95 в шестой степени, что составляет 0,735. Так что шанс, что хотя бы один из шести пожаров по чистой случайности составляет 26,5 процента.. Сделайте двадцать тестов и это 64 процента.

Вот почему исследование набора данных путем проведения всех сравнений, которые только можно придумать, а затем сообщения о тех, которые оказались небольшими, дает результаты, которые испаряются в следующем наборе данных. Тесты не ошибочны по отдельности. Последующий отбор – вот что их ломает.

Два исправления, и дешевое лучше, чем ожидает большинство людей.

Решите сравнение, прежде чем смотреть. Один запланированный тест на уровне 0,05 — это один тест. Бесплатно, и это исправление действительно работает.

Отрегулируйте порог, если вам нужно запустить много. Поправка Бонферрони делит порог на количество тестов: 0,05 ÷ 6 = 0,0083 для наших четырёх регионов. Оно резкое и консервативное, и его резкий консерватизм — это честная цена за рыбалку.

И если вы изучаете, а не тестируете, скажите об этом в описании. Разведка является законной и необходимой деятельностью. Исследования, замаскированные под подтверждение, создают график, который никто не сможет воспроизвести в следующем квартале.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то четвертака.

Просмотр значения п по мере поступления данных. Если вы будете проверять текущий тест каждый день и останавливаться, когда оно опустится ниже 0,05, в конечном итоге вы опуститесь ниже 0,05, даже если ничего не происходит, потому что вы запускаете новый тест каждый день и сохраняете лучший. Заранее зафиксируйте размер выборки, и именно это А/Б-тестирование во многом речь идет о.

P-значение для всей совокупности. Если ваша таблица содержит все существующие заказы, делать выводы не о чем. Регионы различаются на 168,50, точка. Значение п спрашивает, является ли выборка обобщающей, а выборки нет.

Отчетность п без н. Причина в шестом разделе. Эти два числа означают что-то только вместе.

Рассматриваем 0,049 и 0,051 по-разному. Они имеют тот же результат. Если ваше решение переключается между ними, это значит, что решение никогда не основывалось на данных.

Предполагая, что строки независимы, хотя это не так. Четыре заказа от одного и того же клиента не являются четырьмя независимыми доказательствами, и каждый тест на этой странице предполагает, что это так. Повторные измерения от одного и того же человека, сеансы с одной и той же учетной записи, дни в одном и том же магазине: все это увеличивает видимый размер выборки и ошибочно уменьшает ваши значения п.

Путаница маленькой буквы с сильным эффектом. Стоит сказать дважды. Сообщите о разнице, интервале и количестве. Значение п идет последним и само по себе оно почти ничего не говорит читателю.