Среднее и медиана: когда использовать каждое из них и когда ответ меняется

1. Что представляет собой каждое среднее, построенное из одних и тех же шестнадцати чисел

Прежде чем приступить к определениям: если бы я заплатил за каждый из этих шестнадцати заказов одинаковую сумму, а общая сумма все равно должна была бы составить 9 890, сколько бы стоил каждый заказ? Назовите число, прежде чем читать дальше.

Вы только что вычислили среднее значение. Среднее общая сумма делится поровну: все сложить, разделить на количество. 9890 ÷ 16 = 618,125. Он отвечает: «Если бы все они были одинаковыми, каким бы был каждый из них», поэтому в бюджетах и ​​прогнозах используется среднее значение. Умножьте его обратно на счет, и вы снова получите точную сумму.

тот Медиана построен совершенно по-другому. Отсортируйте значения от меньшего к большему, затем выберите среднее. Половина значений находится ниже него, а половина выше. Он отвечает «как выглядит типичный», и его не волнует, каковы на самом деле крайние значения, а только то, что они находятся на той или иной стороне.

Оба являются честными резюме. Ни один из них не является упрощенной версией другого. Это ответы на два разных вопроса, и весь навык заключается в том, чтобы знать, какой вопрос вам задают.

2. Вычисление обоих вручную, чтобы арифметика не была черным ящиком.

Перед прохождением: в таблице шестнадцать заказов, четное количество. Единого среднего значения не существует. Прежде чем я скажу, решите, что вы будете с этим делать.

Вот шестнадцать доходов, отсортированных от меньшего к большему.

240  280  425  440  440  480  510  600  660  660  680  765  850  880  880  1100

Среднее – самое простое. Сложите их: 240 + 280 + 425 + 440 + 440 + 480 + 510 + 600 + 660 + 660 + 680 + 765 + 850 + 880 + 880 + 1100 = 9890. Разделите на 16: 618.125.

Для медианы учитывайте оба конца. Шестнадцать значений означают, что среднее находится между 8-м и 9-м. 8-й — 600, а 9-й — 660, поэтому медиана — это их среднее значение: (600 + 660) ÷ 2 = 630. При нечетном счете вы просто возьмете средний, и никакого шага усреднения вообще не будет.

Вот они, три инструмента, которые фактически открыты у аналитика.

-- SQL
SELECT AVG(Revenue) AS mean_revenue,
       MEDIAN(Revenue) AS median_revenue   -- PERCENTILE_CONT(0.5) on Postgres
FROM Orders;

# pandas
df['Revenue'].mean()      # 618.125
df['Revenue'].median()    # 630.0

' Excel
=AVERAGE(Orders[Revenue])   ' 618.125
=MEDIAN(Orders[Revenue])    ' 630

В этой таблице разница между ними составляет 30, то есть около 5 процентов. Это близко, и близость сама по себе является открытием: в нем говорится, что ценности распределяются довольно равномерно, а не скапливаются в одном конце. Если вам нужна более подробная SQL-версия медианы, это один конкретный процентиль, и процентили, IQR и выбросы рассказывает о том, как вычисляются процентили и почему два инструмента могут расходиться в них.

3. Одна опечатка и что она делает с каждой из них

Перед цифрами: заказ 1013 — это 15 ламп по 40 штук. Кто-то называет 150 ламп вместо 15. Выручка по этому ряду возрастает с 600 до 6000. Прежде чем читать дальше, угадайте, насколько далеко сместится каждое среднее значение.

Вот что происходит на самом деле.

Среднее значение сместилось на 337,50, поскольку оно построено на основе суммы, а сумма сдвинулась на 5400. Распределите эту ошибку на 16 заказов, и каждый из них получит 5400 ÷ 16 = 337,50 из них. Это не совпадение, это определение: каждое значение имеет равное право голоса в среднем, поэтому значение, которое в десять раз больше, приносит с собой в десять раз больше веса.

Медиана сместилась на 30, и только потому, что изменился порядок сортировки. До опечатки позиции 8 и 9 занимали 600 и 660. Перемещение этих 600 до 6000 отправляет его в конец очереди, поэтому все после него перемешивается на одно место. Позиции 8 и 9 теперь занимают значения 660 и 660, а медиана становится 660. Медиана никогда не спрашивала, насколько велико было перемещенное значение. Он только спросил, на какой стороне середины он приземлился.

Скажите вслух, почему медиана дала бы точно такой же ответ — 660, если бы эта строка была записана как 6000 или 600000. Это стержень всей страницы: медиана учитывает позиции, среднее — размеры.

Имя этого свойства надежность, и к нему прикреплен номер. Вы можете исказить до половины значений в этой таблице любым способом, но медиана все равно останется где-то в пределах диапазона истинной половины. Если повредить одно значение среднего значения, то среднее значение можно будет перетащить куда угодно. Вот почему медиана появляется в каждом обзоре цен на жилье и зарплатах, который вы когда-либо читали.

4. Вопрос, который стоит между ними

Перед правилом: вас спрашивают "сколько приносит заказ?" двумя разными людьми. Финансы планируют выручку в следующем квартале. Торговый представитель хочет знать, как выглядит обычный заказ. Решите, нужен ли им один и тот же номер.

Они этого не делают, и причина в том, что это делает выбор, а не делом вкуса.

Используйте среднее значение, когда общая сумма имеет значение. Все, что умножается обратно на счет: прогнозы доходов, планирование мощности, бюджеты, стоимость за единицу. Если в следующем квартале ожидается 400 заказов, то 400 × 618,125 = 247 250 — это реальный прогноз общей суммы. Проделайте то же самое с медианой, и вы получите 400 × 630 = 252 000, что ничего не соответствует. Среднее значение — единственное среднее, которое восстанавливает сумму, и в этом его задача.

Используйте медиану, когда имеет значение типичный случай. Все, с чем человек будет сравнивать себя, или любая цифра, в которой несколько огромных значений реальны, но не репрезентативны: зарплаты, цены на жилье, время на оформление заявки, продолжительность сеанса, стоимость заказа в бизнесе с несколькими огромными счетами. «Половина наших заказов меньше 630» — это предложение может использовать торговый представитель. «Наш средний заказ составляет 618,125» — это то, чему они спокойно не поверят, если никогда не видели заказ такого размера.

Правило из двух предложений, которое я использую: если число нужно умножить на число, укажите среднее значение. Если кто-то собирается представить один случай, сообщите медиану. Если вы не можете сказать, какой именно, сообщите об обоих, поскольку пара более информативна, чем каждая из них по отдельности, и требует одной дополнительной ячейки.

Теперь представьте себе последнюю сводную таблицу, которую вы кому-то отправили. Какое из его средних значений было бы лучше в качестве медианы, а какое превзошло бы общий результат, если бы вы его поменяли? Это различие занимает всю страницу.

5. Меняющийся рейтинг: Восток против Юга

Перед столом: четыре региона, и вас спрашивают, в каком из них самые сильные заказы. Предскажите, поместят ли среднее и медианное значение один и тот же регион на первое место.

Они этого не делают. Вот оба по регионам, на чистых данных.

В среднем порядке Восток побеждает с результатом 760, а Юг занимает второе место с результатом 667,50. В среднем порядке Юг выигрывает с результатом 755, а Восток занимает второе место с результатом 670. Первое место переходит из рук в руки в зависимости от того, какое среднее значение вы напечатаете, и ни одна из таблиц не является неправильной.

Причина видна в строках. Четыре ордера Востока — это 660, 680, 1100 и 600. Один из них, 1100-й ордер, значительно выше остальных и поднимает среднее значение, не касаясь середины. Четыре Юга — 850, 660, 280 и 880: три из них большие и один маленький, поэтому средний находится высоко, а низкий тянет среднее вниз. У Востока есть один большой заказ. У Юга есть один маленький. Средние значения расходятся, потому что они считывают разные характеристики одних и тех же четырех чисел.

Это практический случай для отправки обоих, а также для отправки количества рядом с ними. Четырех порядков недостаточно для ранжирования чего-либо, и рейтинг, построенный на четырех значениях, изменится в тот момент, когда появится пятый. То же предупреждение применимо к любому сгруппированному среднему значению, поэтому GROUP BY и HAVING настаивает на том, чтобы рядом со статистикой каждой группы был столбец размера.

6. Режим, третье среднее и единственное задание, которое у него есть

Перед определением: какое отдельное число чаще всего встречается в этой таблице? Его нет в столбце «Доход».

Это 220, цена за единицу стола, указанная в 7 из 16 строк. Мода — наиболее распространенное значение, и в отличие от двух других оно работает с вещами, которые вообще не являются числами. Модальный регион здесь — Север с 5 порядками. Модальным продуктом является «Стол», расположенный в 7 рядах против 5-го «Стула» и 4-го «Лампы». Вы не можете выбрать среднее значение «Север», но вы вполне можете принять его режим.

В этом и заключается настоящая задача режима: это единственное среднее значение, которое работает с категориями. Для непрерывных чисел это почти бесполезно, потому что при достаточном количестве десятичных знаков каждое значение уникально, и режим становится любым значением, которое случайно повторилось. В столбце «Доход» указаны режимы 440, 660 и 880, каждый из которых связан по два раза, что вообще ни о чем вам не говорит.

Сообщите о режиме, когда возникает вопрос «какой из них наиболее распространен», и остановитесь на этом. В остальное время это любопытство.

7. Обрезанное среднее и промежуточные между ними

До идеи: среднее значение использует все значения и ломается, когда одно из них неверно. Медиана использует одну позицию и игнорирует все остальное. Прежде чем я покажу вам, что есть что-то среднее, спросите себя, есть ли что-то среднее.

Есть, и это называется обрезанное среднее. Отрежьте фиксированный процент от каждого конца отсортированного списка, а затем возьмите обычное среднее значение того, что осталось. В наших шестнадцати заказах 10-процентная обрезка снижает самое низкое и самое высокое значение, поэтому идут 240 и 1100, а среднее значение оставшихся четырнадцати составляет 8550 ÷ 14 = 610.71. Близко к медиане 630 и близко к среднему значению 618,125, потому что в этих данных нет реальных крайностей, которые можно было бы обрезать.

# pandas has no built-in; scipy does
from scipy import stats
stats.trim_mean(df['Revenue'], 0.10)     # 610.714...

' Excel
=TRIMMEAN(Orders[Revenue], 0.2)          ' 0.2 = 10% off each end

Наблюдайте за спором. Excel TRIMMEAN берет Общий пропорцию для удаления и делит ее на оба конца, поэтому 0,2 означает 10 процентов с каждой стороны. Сципи trim_mean принимает пропорцию для каждый конец, поэтому та же обрезка равна 0,10. Две библиотеки, два соглашения, один очень простой способ сократить вдвое больше, чем вы имели в виду.

Усеченное среднее значение — это то, что делает олимпийское судейство, когда оно снижает высокие и низкие баллы, и это разумное значение по умолчанию, когда вы знаете, что крайности — это шум, а не сигнал. Загвоздка в том, что сокращение — это решение, которое вы должны обосновать, а число, которое незаметно исключает верхние 10 процентов ваших клиентов, — это число, которое нуждается в сноске. Мое собственное правило: используйте его, когда крайние значения представляют собой известные ошибки измерения, и используйте медиану, когда крайние значения реальны, но не репрезентативны.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то дня.

Усреднение среднего значения. Среднее значение четырех региональных средних составляет (760 + 667,50 + 561,67 + 499) ÷ 4 = 622,04, а истинный средний порядок составляет 618,125. Они различаются, потому что регионы имеют разное количество заказов, а простое среднее значение рассматривает регион с 3-м порядком как равный региону с 5-м порядком. Если вам необходимо объединить средние значения по группам, взвесьте их по количеству или вернитесь к необработанным строкам.

Усреднение процента или ставки. Та же ловушка с более острыми зубцами. Среднее значение двух коэффициентов конверсии не является общим коэффициентом конверсии, если только оба не имели одинаковый трафик. Сложите числители, добавьте знаменатели, затем разделите один раз.

Пробелы не являются нулями. AVERAGE в Excel и mean() в pandas пустые ячейки пропускаются, поэтому столбец с пустой четвертью усредняет три четверти, которые ответили. Если эти пробелы означают «нет продажи», то это нули и они стоят в знаменателе, и ответ сильно меняется. Решение о том, что есть что является предметом обработка пропущенных значений.

Медианы четного счета нет в ваших данных. Наши 630 не являются доходом от любого заказа. Это среднее значение двух из них. Это никому не повредит, пока кто-нибудь не попытается найти «срединный порядок» как строку и не сможет его найти.

SQL не согласен сам с собой в MEDIAN. У DuckDB, Оракул и Снежинка есть MEDIAN функция. Постгрес и стандартный SQL этого не делают, а хотят PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY Revenue). SQL Server хочет PERCENTILE_CONT(0.5) WITHIN GROUP (ORDER BY Revenue) OVER (), который возвращает одну строку для каждой входной строки, а не одну строку в целом. MySQL до версии 8 не имеет ничего из этого.

Среднее значение без счетчика рядом с ним. Это то, что я бы поместил на плакат. «Средний заказ 618» читается одинаково, независимо от того, опирается ли он на 16 заказов или на 16 000, и оба заслуживают совершенно разного доверия.