Процентили, IQR и правило выброса 1,5: как отметить плохую строку

1. Что такое процентиль в исчислении

Перед определением: посмотрите на отсортированную строку выше и найдите значение с четвертью данных под ним. Скажите, какой из них вы выбрали, прежде чем читать дальше.

A процентиль — это значение, указанная доля данных которого равна ему или ниже. 25-й процентиль имеет четверть значений ниже него, 90-й — на девять десятых ниже, а 50-й — медиана. В этом вся идея, и обратите внимание, на чем она построена: на позициях в отсортированном списке, а не на размерах. Для 90-го процентиля не имеет значения, равно ли максимальное значение 1 100 или 1 100 000. Его волнует только то, что он находится наверху.

Слово квантиль охватывает то же самое в других срезах. Квартили делят данные на четыре части, децили — на десять, процентили — на сто. Это одна и та же операция с разным количеством проходов, и каждый инструмент выполняет их с помощью одной и той же функции.

Именно по этой причине процентили являются естественным языком для всего, что имеет длинный хвост. «Наша средняя страница загружается за 400 миллисекунд» скрывает, что клиенты ждут четыре секунды. «Наша страница 95-го процентиля загружается за 3,9 секунды» — это утверждение об этих конкретных клиентах, и оно вообще не меняется, когда приходит одно абсурдное 60-секундное значение, потому что это значение по-прежнему находится всего на одной позиции вверху.

2. Квартили вручную по шестнадцати порядкам

Перед арифметикой: шестнадцать значений и вам нужен 25-й процентиль. Четверть шестнадцати — четыре. Решите, является ли ответ четвертым значением, и что вы будете делать, если не уверены.

Это не совсем 4-е значение, и причину стоит прямо сказать. Самый распространенный метод, метод Excel PERCENTILE.INC, pandas и numpy используют по умолчанию, помещают 0-й процентиль в первое значение и 100-й в последнее, а затем равномерно распределяют остальное между ними. Позиция, которую он хочет:

position = 1 + p × (n − 1)

Если п как дробь и н = 16, это дает 1 + 0,25 × 15 = 4.75. Значения 4,75 нет, поэтому от 4-го до 5-го требуется три четверти пути. Оба числа равны 440, поэтому ответ такой: 440 без необходимости интерполяции.

75-й сделайте аналогично: 1+0,75×15=12,25. 12-е значение — 765, а 13-е — 850, а четверть пути между ними — 765 + 0,25 × 85 = 786.25. Эта десятичная дробь представляет собой интерполяцию, показывающую ее работу. Это реальный ответ, и это не доход от какого-либо заказа.

Вот весь набор, рассчитанный таким же образом.

-- SQL
SELECT PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY Revenue) AS q1,
       PERCENTILE_CONT(0.50) WITHIN GROUP (ORDER BY Revenue) AS median,
       PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY Revenue) AS q3
FROM Orders;

# pandas
df['Revenue'].quantile([0.25, 0.5, 0.75])
# 0.25    440.00
# 0.50    630.00
# 0.75    786.25

' Excel
=QUARTILE.INC(Orders[Revenue], 1)    ' 440
=QUARTILE.INC(Orders[Revenue], 3)    ' 786.25
=PERCENTILE.INC(Orders[Revenue], 0.9) ' 880

3. IQR и что говорит вам средняя половина

Перед определением: у вас Q1 по 440 и Q3 по 786,25. Прежде чем читать дальше, скажите в одном предложении, что описывает разрыв между ними.

Он описывает ширину средней половины ваших ордеров. межквартильный размах, или IQR, это просто Q3 минус Q1: 786,25 − 440 = 346.25. Половина всех заказов попадает в диапазон шириной 346, а этот диапазон простирается от 440 до 786.

Сравните это с ответом стандартного отклонения на тот же вопрос. Оба описывают спред и оба выражены в долларах, но они построены на разных вещах. Стандартное отклонение возводит в квадрат каждое расстояние от среднего значения, поэтому каждое значение голосует, а самые дальние голосуют громче всех. IQR запрашивает две позиции в отсортированном списке, где они находятся, и полностью игнорирует все остальное.

В пятом разделе в последнем столбце указывается число. А пока обратите внимание, что здесь IQR больше стандартного отклонения, что удивляет людей, которые ожидают, что они взаимозаменяемы. Они не одного масштаба, и нет причин, по которым они должны совпадать. На данных, имеющих идеально колоколообразную форму, IQR примерно в 1,35 раза превышает стандартное отклонение и составляет 346,25 ÷ 236,81 = 1,46, что достаточно близко, чтобы сказать, что эти данные недалеко от этой формы.

4. Забор 1,5 и почему очистка данных ничего не помечает

До правила: у вас есть средняя половина шириной 346,25. Кто-то должен провести черту, за которой значение считается необычным. Решите примерно, как далеко за пределами рамки вы его нарисуете, прежде чем увидеть стандартный ответ.

Стандартный ответ — ширина полторы коробки, и идет она с обеих сторон.

lower fence = Q1 − 1.5 × IQR = 440.00   − 1.5 × 346.25 = −79.375
upper fence = Q3 + 1.5 × IQR = 786.25   + 1.5 × 346.25 = 1305.625

Теперь запустите его. Наш самый крупный заказ — 1100, а верхняя граница — 1305,63, поэтому ничего не отмечено. У нас наименьшее значение — 240, а нижняя граница ниже нуля, поэтому там тоже ничего не отмечено. В этой чистой таблице нет выбросов, и это правильный и полезный ответ.

Скажите вслух, почему нижний предел -79,375 не является ошибкой. Выручка не может быть отрицательной, поэтому правило гласит, что ни один заказ не является необычно маленьким, потому что под коробкой недостаточно места для него. Забор, выходящий за пределы возможного диапазона данных, просто никогда не срабатывает, и это нормально.

Существует второй, более широкий барьер на уровне 3 × IQR, который, по этим данным, составляет 1825. Значения за пределами 1,5 условно называются умеренными выбросами, а значения за пределами 3 — крайними. На практике я использую границу 1,5, чтобы составить список для чтения, и границу 3, чтобы решить, что нужно повысить.

-- The whole rule as one query
WITH q AS (
  SELECT PERCENTILE_CONT(0.25) WITHIN GROUP (ORDER BY Revenue) AS q1,
         PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY Revenue) AS q3
  FROM Orders
)
SELECT o.*
FROM Orders o CROSS JOIN q
WHERE o.Revenue < q.q1 - 1.5 * (q.q3 - q.q1)
   OR o.Revenue > q.q3 + 1.5 * (q.q3 - q.q1);
-- 0 rows

5. Опечатка: что делает IQR, чего не может сделать стандартное отклонение

Перед цифрами: кто-то вводит заказ 1013 как 150 ламп вместо 15, поэтому его доход составляет 6000 вместо 600. Предскажите, что произойдет с IQR и отдельно со стандартным отклонением.

Вот что происходит на самом деле.

Стандартное отклонение увеличилось почти в шесть раз. IQR переместился на пятую часть, и только потому, что одно значение, сместившееся вверх, подтолкнуло все, что находится ниже него, вверх. Забор переместился с 1305,63 на 1483,75, а 6000 легко преодолели оба показателя, так что правило помечает ровно одну строку, и она правильная. Заказ на 1100 заказов остается внутри, и это правильно, потому что это настоящий заказ.

Вот неудача, которую это позволяет избежать. Очевидный способ найти необычные значения — это з-показатель: сколько стандартных отклонений от среднего значения. Проанализируйте это на данных об опечатках и 6000 баллов наберут 3,69, что превышает обычный порог, но не значительно. Сравните его с чистым стандартным отклонением и получите то же значение 22,7. Разрыв между 3,69 и 22,7 — проблема в одной строке: плохая строка увеличила стандартное отклонение, по которому оно затем измеряется, поэтому он частично скрывается. Чем серьезнее ошибка, тем эффективнее она это делает.

С IQR нельзя играть таким образом, потому что значение в верхней части отсортированного списка влияет на его позицию и ничего больше. Это единственная причина, по которой правило стандартных выбросов строится на основе квартилей, а не на основе среднего и стандартного отклонения.

Если вы предпочитаете использовать язык з-оценка, существует надежная версия. Замените среднее значение медианой, а стандартное отклонение — медианным абсолютным отклонением, медианой расстояния каждого значения от медианы. Здесь это 220, а модифицированная оценка для нашей строки из 6000 составляет 16,4, а не 3,69. Та же идея, те же юниты, но построены с позиций.

Теперь представьте себе самую большую таблицу и один числовой столбец, от которого зависит все. Если завтра строка в нем будет в десять раз больше, какое из этих двух правил это заметит?

6. Почему Excel, SQL и pandas дают разные процентили

Перед проблемой: вы вычисляете 90-й процентиль этих шестнадцати порядков в трех инструментах и ​​получаете 880, 880 и 946. Решите, не сломан ли один из них, прежде чем читать дальше.

Ни один из них не является таковым. Не существует единого согласованного определения выборочного процентиля, и общие статистические пакеты реализуют несколько из них. Различия проявляются на небольших наборах данных и исчезают на больших, что совершенно неправильно для их выявления, потому что вы разрабатываете на небольших данных.

Три семьи, и что каждая делает по нашим шестнадцати приказам.

Семейство ближайшего ранга всегда возвращает значение, которое действительно находится в ваших данных, что является реальным преимуществом, когда число будет показано кому-то в качестве примера строки. Интерполирующее семейство возвращает более гладкую оценку, которой обычно нет в ваших данных. Версия с исключенными конечными точками предполагает, что ваша выборка получена из более крупной совокупности, и соответственно расширяет крайние значения, поэтому ее 90-й процентиль, равный 946, находится выше всех значений, кроме 1100.

Практическое правило короткое. Выберите один метод, запишите какой и используйте его повсюду в работе. Не вычисляйте Q1 в Excel и Q3 в SQL. И если процентилю когда-нибудь придется сопоставить чье-то другое число, спросите, какую функцию он использовал, прежде чем предполагать, что кто-то допустил ошибку.

7. Что делать с выбросом, если вы его обнаружили

До вариантов: забор вам передал один ряд. Прежде чем читать мой список, перечислите, что вы могли бы с этим сделать.

Есть четыре честных варианта и один нечестный.

Исправь это, если это ошибка, вы можете ее исправить. В ряду из 150 ламп должно было быть 15. Исправьте источник, а не копию, и запишите исправление.

Исключи это и скажи так, если это ошибка, которую вы не сможете исправить. Строку, которую вы не можете проверить, можно удалить, но ее количество и причина указываются в описании. «Пятнадцать из шестнадцати заказов, один исключен как непроверяемое количество» — это законченное предложение и вся стоимость. Документирование ограничений данных рассказывает, как это сформулировать, чтобы это не воспринималось как хеджирование.

Сохраните его и сообщайте о медиане вместо среднего значения, если это реально. Действительно огромный заказ не является ошибкой, и его удаление приведет к фальсификации ваших данных. Переключитесь на статистику, которая это терпит, что является аргументом в Среднее против медианы.

Разделите это, если их несколько и у них общая история. Шесть заказов, в десять раз превышающих размер остальных, не являются выбросами, это вторая популяция, вероятно, оптовая по сравнению с розничной. Сообщите обе группы отдельно, и шум исчезнет.

Нечестный вариант — тихо удалить его, потому что график выглядит лучше. Чаще всего это происходит в последний час перед дедлайном, и причина, по которой это скорее нечестно, чем просто неправильно, заключается в том, что читатель не может сказать, что это произошло. Правило выбросов — это инструмент для поиска строк для размышления, и оно никогда ничего не решает само по себе.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то дня.

Ограждение ничего не помечает, и вы приходите к выводу, что данные чисты. Это не одно и то же утверждение. Правило улавливает значения, далекие от средней половины. Дата введена как 2062 вместо 2026, регион пишется двумя способами, строка точно дублируется: ни одна из них вообще не перемещает процентиль дохода.

Забор загораживает десятую часть ваших рядов. Это означает, что форма искажена, а не что десятая часть ваших данных повреждена. В столбцах с сильным правым хвостом, таких как доход или продолжительность сеанса, правило 1,5 срабатывает постоянно. Либо работайте с журналом столбца, либо примите, что верхний хвост — это данные, а не ошибка.

Квартили по категориям. Процентиль нуждается в порядке. Он работает с числами и датами и не работает с названиями регионов. Сортировка по алфавиту и взятие 25-го процентиля «Восток, Север, Юг, Запад» дает значение, но не имеет смысла.

Процентиль от процентиля. 90-й процентиль из десяти региональных 90-х процентилей не является 90-м процентилем базовых строк, и нет никакого способа объединить их, который приведет вас к этому результату. Процентили необходимо каждый раз вычислять на основе необработанных данных, поэтому они дороги в больших таблицах и почему предварительно агрегированные информационные панели так часто незаметно ошибаются.

Два ряда по обе стороны забора. Значение 1483,74 и значение 1483,76 рассматриваются правилом как совершенно разные и в действительности идентичны. Забор — это инструмент сортировки, а не приговор, и ряды внутри него заслуживают того же вида, что и ряды снаружи.

Процентили на крошечных группах. 90-й процентиль трех значений — второе по величине из них с дополнительными десятичными знаками. Выведите количество рядом с любым процентилем, рассчитанным для каждой группы, той же дисциплины. GROUP BY и HAVING просит.