Стандартное отклонение в повседневных словах: что оно измеряет и как его читать

1. Что на самом деле измеряет стандартное отклонение

Перед определением: средний размер наших шестнадцати заказов составляет 618,125, самый маленький — 240, а самый большой — 1100. Прежде чем читать дальше, придумайте свой собственный показатель того, «насколько типичный заказ находится от 618». Любое разумное предположение окажется близким.

Честный ответ — 236,81, и если вы угадали где-то между 180 и 280, то уже понимаете, к чему эта статистика. Стандартное отклонение — это единственное число, показывающее, насколько далеки значения от их собственного среднего значения. Он представлен в тех же единицах, что и данные, поэтому в столбце «Доход» он измеряется в долларах, а в столбце «Единицы» — в единицах.

На последнем пункте стоит остановиться, потому что именно он делает число пригодным для использования. Средний заказ 618 и стандартное отклонение 237 можно прочитать как одно предложение: заказы обычно составляют около 618 плюс-минус пару сотен. Никому не нужна статистика, чтобы действовать в этом направлении. Чего они не могут сделать, так это только 618, потому что только 618 одинаково согласуется с тем, что каждый приказ равен 615, а половина приказов равна 100, а половина — 1100.

Есть близкий родственник по имени дисперсия, что представляет собой квадрат стандартного отклонения: здесь 56 079,58. Математика предпочитает вариант дисперсии, поскольку квадраты величин аккуратно складываются. Стандартное отклонение — это версия, которую люди могут прочитать, потому что она снова выражена в долларах. Сообщите о стандартном отклонении; дисперсия — это шаг на пути к нему.

2. Сборка вручную из шестнадцати заказов.

Перед пошаговым руководством: очевидный способ измерить типичное расстояние от среднего значения — это взять расстояние каждого значения и усреднить эти расстояния. Попробуйте это в уме, сложив расстояния с их знаками, и предскажите сумму, прежде чем я ее покажу.

Сумма ровно равна нулю, и так будет всегда. Это не совпадение этих данных; вот что значит является. Среднее значение является точкой баланса, поэтому все, что выше него, в точности отменяет все, что ниже него. Усреднение расстояний со знаком ни о чем вам не скажет.

Вот отсортированная таблица с расстоянием каждого ордера от 618,125 и квадратом этого расстояния. Возведение в квадрат является стандартным решением: оно выбрасывает знак, и делает это таким образом, чтобы большие промахи обходились дорого.

Четыре шага, и вы только что сделали три из них.

1. Возьмите расстояние каждого значения от среднего. Их сумма равна нулю.
2. Возведите в квадрат каждое расстояние. Сейчас все позитивно. Итого: 841 193,75.
3. Разделите на 15, на единицу меньше счета: 841 193,75 ÷ 15 = 56 079,58. В этом и заключается разница.
4. Извлеките квадратный корень, чтобы вернуться в доллары: √56 079,58 = 236.81.

Четвертый шаг — это шаг, из-за которого люди забывают причину. На втором этапе вы возвели все в квадрат, поэтому и единицы измерения тоже были возведены в квадрат: 56 079,58 измеряется в долларах в квадрате, что никто не может себе представить. Квадратный корень отменяет возведение в квадрат и возвращает ответ в доллары.

Каждый инструмент делает это за один вызов.

-- SQL
SELECT STDDEV_SAMP(Revenue) AS sd,       -- 236.81, the n-1 version
       STDDEV_POP(Revenue)  AS sd_pop,   -- 229.29, the n version
       VAR_SAMP(Revenue)    AS variance  -- 56,079.58
FROM Orders;

# pandas defaults to n-1
df['Revenue'].std()          # 236.811...
df['Revenue'].std(ddof=0)    # 229.291...

# numpy defaults to n. This catches people out constantly.
np.std(df['Revenue'])            # 229.291...
np.std(df['Revenue'], ddof=1)    # 236.811...

' Excel
=STDEV.S(Orders[Revenue])    ' 236.81, the one you almost always want
=STDEV.P(Orders[Revenue])    ' 229.29

3. Почему делитель равен 15, а не 16

Перед объяснением: у вас есть шестнадцать значений и вы усредняете шестнадцать квадратов расстояний. Прежде чем читать дальше, скажите, почему деление на шестнадцать было бы неправильным решением. Подсказка находится на первом этапе последнего раздела.

Расстояния измерялись по среднему значению этих же шестнадцати чисел, а не по какой-то внешней истине. Это среднее значение само было вычислено на основе данных, и оно находится именно там, где квадраты расстояний оказываются наименьшими. Любое другое число, от которого вы измеряли, даст большую сумму. Таким образом, общая сумма 841 193,75 — это наименьшая возможная сумма для этих данных, что означает, что деление на 16 дает оценку разброса, которая немного мала.

Деление на 15 исправляет это. Общее правило состоит в том, что вы вычитаете единицу за каждую величину, которую вы оценили из данных в пути, и вот она одна: среднее значение. Количество оставшихся независимых фрагментов информации называется степени свободы, а арифметика названия проста. Как только вы узнаете среднее значение и любые пятнадцать значений, шестнадцатое станет обязательным. Только пятнадцать из них могли свободно меняться.

По нашим данным коррекция стоит 236,81 против 229,29, около трёх процентов. На 16 рядов это мало; в 5 рядах это десятая часть ответа; на 5000 строках это незаметно. Это дает практическое правило:

• Используйте версию н−1 когда ваши строки представляют собой образец чего-то большего, что происходит почти всегда. Эти шестнадцать орденов — лишь некоторые из орденов, а не все ордены, которые когда-либо будут существовать.
• Используйте версию н только тогда, когда ваши строки действительно представляют собой всю совокупность, и вы ее описываете, а не делаете выводы на ее основе. Каждому ученику в одном классе, каждому вашему магазину — ровно двенадцать месяцев в этом квартале.
• В случае сомнений используйте н−1, потому что это консервативный выбор и потому что при любом приличном количестве строк они в любом случае соглашаются.

Причина, по которой это имеет большее значение, чем следовало бы, заключается в том, что значения по умолчанию не совпадают. Excel STDEV.S, pandas .std() и SQL STDDEV_SAMP все используют н−1. numpy'с np.std() использует н, если вы не пройдете ddof=1. Два инструмента, одни и те же данные, два разных ответа, нигде нет сообщений об ошибках.

4. Чтение ответа: полоса и з-показатель

До техники: у вас есть среднее значение 618,125 и стандартное отклонение 236,81. Превратите эти два числа в диапазон, который вы действительно произнесете вслух, а затем читайте дальше.

Ход заключается в сложении и вычитании. 618,125 − 236,81 = 381,31 и 618,125 + 236,81 = 854,94. Так одно стандартное отклонение охватывает примерно от 381 до 855, и внутри него находятся одиннадцать из шестнадцати наших заказов. Эта полоса является приговором: типичные заказы варьируются от примерно 380 до примерно 855. Два стандартных отклонения охватывают диапазон от 144,50 до 1091,75, и пятнадцать из шестнадцати заказов попадают в этот диапазон.

Второй ход превращает одно значение в сопоставимое число. А з-оценка это то, на сколько стандартных отклонений значение находится от среднего значения: вычтите среднее значение, разделите на стандартное отклонение.

Order 1010, revenue 1100:  (1100 − 618.125) ÷ 236.81 = +2.03
Order 1004, revenue  240:  ( 240 − 618.125) ÷ 236.81 = −1.60

Самый большой порядок — на два стандартных отклонения выше среднего, а самый маленький — на полтора ниже среднего. Теперь скажите, что вам дает з-показатель, чего не дают необработанные цифры. Дело в том, что з-показатель не имеет единиц измерения, поэтому он сопоставим по столбцам: порядок на два стандартных отклонения выше среднего и время доставки на два стандартных отклонения выше среднего одинаково необычны для отдельных столбцов, хотя один из них указан в долларах, а другой в днях.

В этом вся причина существования з-показателей, а также их честный предел. Z-оценка показывает, насколько необычно значение. относительно разброса собственного столбца. Оно ничего не говорит о том, является ли эта ценность неправильной, важной или стоит того, чтобы в соответствии с ней действовать.

5. 68, 95, 99,7 и когда это правило не выполняется.

Прежде чем сделать оговорку: вы, вероятно, слышали, что около 68 процентов значений попадают в пределы одного стандартного отклонения. По нашим данным, 11 из 16 находятся внутри, что составляет 68,75 процента. Прежде чем читать дальше, решите, является ли это соглашение доказательством чего-либо.

Это совпадение, и знакомство было полезным. Правило 68–95–99,7 описывает нормальное распределение, симметричный колоколообразный. Реальные данные часто достаточно близки, чтобы правило могло служить точным ориентиром, и наши шестнадцать ордеров таковы. Но ничто не заставляет. Доходы, зарплаты, время отклика и продолжительность сеансов обычно складываются в нижнюю часть с длинным хвостом вправо, и в этой форме полоса отклонения в один стандарт может составлять гораздо больше или намного меньше 68 процентов.

Существует версия правила, которая действует всегда, без каких-либо предположений о форме. Неравенство Чебышева говорит о том, что по крайней мере 75 процентов любого набора данных находится в пределах двух стандартных отклонений от среднего значения и как минимум 89 процентов - в пределах трех. Это гарантия, а не оценка, поэтому цифры настолько слабее: они должны быть верными для любой возможной формы, включая самую неприятную.

Практическая версия. Используйте правило 68–95–99,7 как грубую проверку здравомыслия, а не как утверждение. Если вам нужно указать, какая часть ваших данных попадает в диапазон, вообще не оценивайте ее по стандартному отклонению. Посчитайте или используйте процентили, которые описывают данные, которые у вас есть на самом деле, а не ту форму, которую вы предполагали.

6. Сравнение спредов в разных масштабах

Перед проблемой: в столбце «Доход» стандартное отклонение составляет 236,81, а в столбце «Единицы» — 3,70. Какой столбец более изменчив? Прежде чем читать дальше, обязуйтесь ответить и обратите внимание, что делает вопрос неудобным.

На поставленный вопрос нет ответа, потому что 236,81 доллара и 3,70 единицы сравнивать нельзя. Стандартное отклонение содержит единицы измерения своего столбца, что делает его читаемым и несравнимым по столбцам. Та же проблема возникает между двумя компаниями, где одна отчитывается в долларах, а другая в тысячах долларов.

Решение состоит в том, чтобы разделить стандартное отклонение на среднее значение, получив коэффициент вариации. Это соотношение, поэтому единицы сокращаются, а то, что остается, распределяется как доля среднего значения.

Столбец «Единицы» является более изменчивым, и с явным отрывом: его разброс составляет 59 процентов от среднего значения по сравнению с 38 процентами в «Доходах». Этого не было видно в необработанных стандартных отклонениях, и именно такие открытия меняют то, что вы исследуете в первую очередь.

Такое же сравнение между регионами целесообразно проводить на любых сгруппированных данных.

Приказы Юга наименее предсказуемы, а Запада — наиболее предсказуемы, и ни один из этих фактов не был доступен из средств. Однако прочитайте расчеты. Стандартное отклонение, рассчитанное по трем значениям, едва ли является измерением, и предостережение такое же, как и к любой небольшой группе, описанной в GROUP BY и HAVING. Два десятичных знака в числе, построенном из трех строк, — это ложная точность.

Теперь представьте себе наиболее часто используемый стол. Какой столбец, по вашему мнению, имеет самый высокий коэффициент вариации, и смогли бы вы предсказать это только на основе его среднего значения?

7. Что делает одна опечатка

Перед числом: кто-то вводит заказ 1013 как 150 ламп вместо 15, так что доход этой строки становится 6000 вместо 600. Среднее значение меняется от 618,125 до 955,625. Предскажите, что произойдет со стандартным отклонением.

Он идет от 236,81 до 1,365.84, что почти в шесть раз больше. Причина во втором шаге ручного расчета: расстояния возводятся в квадрат, поэтому значение, которое в десять раз слишком далеко, вносит в сто раз больше. Возведение в квадрат, благодаря которому арифметика работала, — это то же самое возведение в квадрат, которое делает результат хрупким.

Отсюда следуют два последствия. Во-первых, стандартное отклонение еще легче сломать с помощью одной плохой строки, чем среднее значение, поэтому все, что вы вычисляете на его основе, наследует эту хрупкость, включая з-показатели и доверительные интервалы. Во-вторых, что более полезно, стандартное отклонение, которое резко возрастает при поступлении новых данных, является действительно хорошим сигналом тревоги. Если спред в прошлом месяце составлял 240, а в этом месяце — 1400 при аналогичном объеме, посмотрите на несколько самых больших рядов, прежде чем смотреть на что-нибудь еще.

Если ваши данные имеют реальные экстремумы, которые не являются ошибками, стандартное отклонение — это неправильная сводка разброса, а межквартильный размах — правильный, поскольку он построен на основе позиций, а не размеров. То есть процентили и руководство по IQR, и это естественный спутник этого.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то дня.

numpy и pandas не согласны по умолчанию. np.std(x) делится на н и Series.std() делится на н−1. В 16 строках это 3-процентный разрыв между двумя строками одного и того же блокнота, и вас ни о чем не предупреждают.

Стандартное отклонение процентного столбца обычно не имеет смысла. Усреднение показателей имеет ту же проблему, что и усреднение средних значений: 100-процентная конверсия на 1 посетителя и 5-процентная конверсия на 10 000 — это не два сопоставимых числа. Рассчитайте спред на основе исходных показателей, а не на основе производной ставки.

Стандартное отклонение по трем строкам. Приведенное выше значение Уэста 177,22 является арифметически правильным и практически является шумом. Ниже примерно 20 строк стандартное отклонение воспринимается как подсказка и всегда печатается рядом с ним.

Пробелы пропускаются, а не обнуляются. Все инструменты на этой странице игнорируют пустые ячейки, поэтому в столбце, пустом на одну четверть, указывается разброс трех ответивших четвертей. Являются ли пробелы нулями, это решение, а не значение по умолчанию, и обработка пропущенных значений есть где это сделать.

Отчет о явно искаженных данных. Если ваше среднее значительно превышает медиану, полоса становится отрицательной или достигает территории, на которой нет данных. В ценах на жилье вы регулярно будете видеть, что среднее значение минус одно стандартное отклонение оказывается ниже нуля, что является сигналом к ​​переключению на процентили, а не к печати.

Путаете со стандартной ошибкой. Они отличаются делением: стандартная ошибка — это стандартное отклонение, деленное на квадратный корень из н. Стандартное отклонение описывает, насколько разбросаны ваши значения, и оно не уменьшается по мере сбора дополнительных данных. Стандартная ошибка показывает, насколько точно вы определили среднее значение, и она сокращается. доверительные интервалы построены на втором.