pandas.groupby: как суммировать фрейм данных, не теряя строк

1. Что на самом деле делает группировка: разделить, применить, объединить

Перед пояснением: в таблице 14 строк. Вы группируете по регионам и получаете обратно 3 строки. Где же в вашей голове остальные 11 строк и что теперь означает одна строка результата?

Название механизма разделить-применить-объединить. Расколоть: pandas сортирует строки в одну мини-таблицу для каждого отдельного значения ключа, каждую восточную строку вместе, каждую западную строку вместе, каждую южную строку вместе. Применять: он запускает вашу функцию, скажем, среднее значение, для каждой мини-таблицы отдельно. Объединить: ответы складываются в новую таблицу, по одной строке на группу. Ничто не усредняется по группам случайно, поскольку каждый вызов функции видел только строки одной группы.

Часть, которую стоит произнести вслух, — это то, что означает одна строка после нее. До группировки одна строка представляла собой один заказ. После группировки по регионам одна строка — это один регион. Такое изменение значения называется grain таблицы, и это именно та дисциплина, которую SQL заставляет GROUP BY: как только детализация составит одну строку на регион, сумма отдельного заказа больше не будет присутствовать в результате, и любой столбец, который вы хотите видеть, должен быть групповым ключом или сводкой. pandas не будет выдавать ошибку, как это делает SQL, если вы перепутаете зерна; это просто даст вам то, что вы не имели в виду. Назвать новое уровень детализации перед вводом — дешевая защита.

2. Основной ход: один столбец, одна статистика.

Строка «рабочей лошадки» читается почти как предложение, которое вы бы сказали: сгруппируйте по регионам, возьмите столбец суммы, возьмите среднее значение.

df.groupby('region')['amount'].mean()

region
East     158.000000
South     83.333333
West     186.666667
Name: amount, dtype: float64

Проверьте Восток вручную: (120 + 80 + 300 + 250 + 40) ÷ 5 = 790 ÷ 5 = 158. Юг: (90 + 110 + 50) ÷ 3 = 250 ÷ 3 = 83,33. У Запада четыре строки, но одна сумма отсутствует, и mean пропускает пропущенные значения: (100 + 400 + 60) ÷ 3 = 560 ÷ 3 = 186,67. Делится на три, а не на четыре. Имейте это в виду; вскоре это станет целым разделом.

Прежде чем двигаться дальше, две вещи поменьше. Менять mean для sum, median, min, max, или std и форма идентична. В результате получается серия, индекс которой является групповым ключом, что удобно для быстрого просмотра и неудобно для чего-либо последующего; в пятом разделе показана версия с плоским столом.

3. Сразу несколько статистик: агрегация и именованная агрегация

Единственное среднее редко является результатом. agg берет список функций и вычисляет их для каждой группы за один проход.

df.groupby('region')['amount'].agg(['mean', 'sum', 'size', 'count'])

              mean    sum  size  count
region
East    158.000000  790.0     5      5
South    83.333333  250.0     3      3
West    186.666667  560.0     4      3

Версия, которую я на самом деле отправляю, именованная агрегация, где вы сами называете каждый выходной столбец и указываете, какой входной столбец и какая функция его подают. Шаблон new_name=('column', 'function').

df.groupby('region').agg(
    avg_amount=('amount', 'mean'),
    orders=('amount', 'size'),
)

        avg_amount  orders
region
East    158.000000       5
South    83.333333       3
West    186.666667       4

Названная форма стоит на несколько символов больше и платит дважды. Выходные столбцы называются avg_amount и orders вместо mean и size, поэтому результат можно прочитать без кода рядом с ним. И каждая статистика явно указывает свой входной столбец, поэтому добавление второго столбца значений в таблицу позже не может незаметно изменить то, что агрегируется.

4. размер по количеству, и какой из них отвечает на ваш вопрос

Перед пояснением: в таблице двумя секциями назад Уэст показывает размер 4 и количество 3. Оба утверждают, что считают. Решите, что каждый из них посчитал, прежде чем читать ответ.

size подсчитывает строки в группе, отсутствуют они или нет. У Запада четыре ряда порядка, поэтому размер равен 4. count подсчитывает непропущенные значения в выбранном столбце. Четыре строки Уэста включают заказ 1008 с пропущенной суммой, поэтому счетчик показывает 3. Одно пропущенное значение — это весь разрыв между двумя ответами.

Это точное разделение SQL между COUNT(*) и COUNT(col): size является COUNT(*), строки в ведре и count является COUNT(col), значения представлены в одном столбце. Ни один из них не является правильным в целом; они отвечают на разные вопросы. «Сколько заказов разместил Уэст?» - это вопрос размера: 4. «Сколько западных заказов есть сумма, которую я могу подсчитать?» это вопрос на счет: 3. Ошибка не столько в том, чтобы выбрать неправильную функцию, сколько в том, чтобы не заметить, что они могут отличаться, потому что на чистых столбцах они сходятся и формируется привычка, что так будет всегда.

Прежде чем читать дальше, скажите в одном предложении, почему среднее значение Уэста делится на 3, а не на 4. Это тот же факт, но в другой шляпе: агрегации пропускают пропущенные значения, поэтому знаменателем среднего является количество, а не размер. Среднее значение по столбцу, в котором отсутствует одна четверть, представляет собой утверждение о трех четвертях, которые ответили.

5. Два группирующих столбца, Мультииндекс и возвращение плоской таблицы.

Передайте список столбцов, и уровень детализации станет более мелким: одна строка на регион на категорию.

df.groupby(['region', 'category'])['amount'].mean()

region  category
East    Chairs      100.0
        Desks       275.0
        Lamps        40.0
South   Chairs      100.0
        Lamps        50.0
West    Chairs      100.0
        Desks       400.0
        Lamps        60.0
Name: amount, dtype: float64

Восток Стулья вручную: (120 + 80) ÷ 2 = 100. Восточные столы: (300 + 250) ÷ 2 = 275. Схема лестницы слева представляет собой Мультииндекс: групповые ключи стали двухуровневым индексом строки, а не обычными столбцами. Он хорошо печатает, а затем начинает ссориться в тот момент, когда вы пытаетесь объединить, отфильтровать, вывести на печать или экспортировать, потому что region больше не является столбцом, на который можно просто сослаться.

Два способа получить простой плоский стол, и заканчиваются они в одном месте. Попросите об этом заранее с as_index=False, который сохраняет ключи как обычные столбцы, или впоследствии восстановите его с помощью .reset_index(), который перемещает уровни индекса обратно в столбцы.

df.groupby(['region', 'category'], as_index=False)['amount'].mean()

region category  amount
  East   Chairs   100.0
  East    Desks   275.0
  East    Lamps    40.0
 South   Chairs   100.0
 South    Lamps    50.0
  West   Chairs   100.0
  West    Desks   400.0
  West    Lamps    60.0

Также стоит отметить: на юге вообще нет строки «Парты», нет нуля. Комбинации без строк просто никогда не образуют группу, точно так же, как отфильтрованная группа теряется в SQL. Если известная вам категория отсутствует в сгруппированном результате, строки, стоящие за ней, никогда не попали в разделение.

6. Проблема малых групп, перенесенная из SQL

Рейтинги групповых средних показателей имеют структурную предвзятость: самые маленькие группы плавают в крайностях, потому что среднее значение более трех значений колеблется гораздо свободнее, чем среднее значение более трех тысяч. Исправление из руководства по SQL остается в силе: всегда вычисляйте размер группы рядом со статистикой и устанавливайте нижний предел, прежде чем читать рейтинг.

summary = df.groupby('region').agg(
    avg_amount=('amount', 'mean'),
    orders=('order_id', 'size'),
)
summary[summary['orders'] >= 4]

        avg_amount  orders
region
East    158.000000       5
West    186.666667       4

Юг, с его тремя порядками со средним значением 83,33, исключен из сравнения, а не может выглядеть как стабильный результат. Строка логического фильтра принадлежит pandas. HAVING: он выполняется на основе объединенного результата после существования групп, и это единственный раз, когда можно проверить условие для каждой группы. В четырнадцати рядах четвертый этаж явно демонстрационный; на реальных данных нижний предел — это суждение, которое вы должны выбрать из данных и записать, и Выбор порогов из данных рассказывает о том, как.

Теперь представьте, как вы запускаете строку именованного агрегирования в своей таблице, что бы это ни было: билеты по правопреемникам, доходы по клиентам, баллы по школам. Как вы уже подозреваете, в какой группе за уверенным средним показателем стоят однозначные ряды? Это подозрение является причиной orders= входит в каждый сгруппированный результат, который я отправляю.

7. Преобразование: групповая статистика в каждой строке.

Все до сих пор рухнуло на стол. Иногда вам нужно обратное: сохранить все исходные строки и прикрепить к каждой номер уровня группы, чтобы можно было вычислить долю каждой строки в ее группе. transform применяет функцию для каждой группы, а затем передает ответ обратно в каждую строку этой группы, поэтому результат имеет ту же длину, что и входные данные.

d2 = df.dropna(subset=['region', 'amount']).copy()
d2['region_total'] = d2.groupby('region')['amount'].transform('sum')
d2['share'] = d2['amount'] / d2['region_total']

 order_id region category  amount  region_total  share
     1001   East   Chairs   120.0         790.0  0.152
     1002   East   Chairs    80.0         790.0  0.101
     1003   East    Desks   300.0         790.0  0.380
     1004   East    Desks   250.0         790.0  0.316
     1005   East    Lamps    40.0         790.0  0.051
     1006   West   Chairs   100.0         560.0  0.179
     1007   West    Desks   400.0         560.0  0.714
     1009   West    Lamps    60.0         560.0  0.107
     1010  South   Chairs    90.0         250.0  0.360
     1011  South   Chairs   110.0         250.0  0.440
     1012  South    Lamps    50.0         250.0  0.200

В каждом восточном ряду общее количество заказов Востока составляет 790, в каждом западном ряду — 560, в каждом южном ряду — 250. Доля заказа 1007 проверяется вручную: 400 ÷ 560 = 0,714, поэтому один кассовый заказ составляет 71% расходов Запада. Эмпирическое правило: agg когда результат составляет одну строку на группу, transform когда результатом являются исходные строки с прикрепленным групповым фактом. В SQL то же самое перемещение строк является оконной функцией.

В первой строке специально и вслух перед разделением пропадали строки с пропущенным регионом или суммой. Это идеальный переход.

8. Исчезающие строки: водянка

Перед пояснением: в нашей таблице 14 строк, а размеры регионов в третьем разделе были 5 + 3 + 4 = 12. До сих пор в каждом сгруппированном результате на этой странице отсутствовали две строки. Какие два?

Заказы 1013 и 1014, те, у которых отсутствует регион. По умолчанию groupby бежит с dropna=True, что означает, что строки, у которых отсутствует групповой ключ, исключаются еще до того, как произойдет разделение. Это не группа, которая отображается пустой; их просто нет, и никаких предупреждений не выводится. На этой странице это 2 строки по 14, содержащие 260 + 45 = 305 продаж. В реальной таблице это может составлять пятую часть вашего дохода, отсутствующую в каждом региональном отчете, при этом каждое напечатанное число остается верным в отдельности.

Один аргумент представляет их как отдельную группу.

df.groupby('region', dropna=False)['amount'].mean()

region
East     158.000000
South     83.333333
West     186.666667
NaN      152.500000
Name: amount, dtype: float64

Среднее число проверок группы НЭН вручную: (260 + 45) ÷ 2 = 305 ÷ 2 = 152,5. Эта строка не является ошибкой, которую нужно скрывать. Это измерение недостающих данных, и честным шагом будет сообщить об этом: «Два заказа, 305 продаж, не имеют зарегистрированного региона». Негласные исключения — это именно то, что следует писать рядом с результатом, и Документирование ограничений данных это руководство о том, как это сказать. Моя привычка — запускать dropna=False версию один раз для каждого ключа, по которому я группирую, прочитайте строку НЭН, а затем решите, что с этим делать, вместо того, чтобы позволять значению по умолчанию решать за меня.

Пограничные случаи, которые нарушают сгруппированные результаты в реальных данных

Пять, каждая из которых стоила кому-то дня.

Ключевой столбец содержит почти повторяющиеся значения. 'East' и 'East ' с пробелом в конце — это две разные группы, и в вашем региональном отчете незаметно увеличивается четвертый регион. Нормализовать ключи перед группировкой, df['region'].str.strip() как минимум. Когда дубликаты более беспорядочны, чем пробелы, то есть Разрешение объекта.

Группа, все значения которой отсутствуют, возвращает НЭН, а не ноль. Если каждая сумма в группе отсутствует, sum возвращает 0, но mean возвращает НЭН, а НЭН в столбце отчета имеет тенденцию быть «фиксированным» до нуля тем, кто его форматирует. Группа без измеримых значений и группа со средним значением 0 — это разные результаты.

Группировка после слияния учитывает дубликаты. Если восходящее соединение объединяет несколько строк, size теперь считает пары, а не заказы. На этой странице постоянно используется проверка: добавляются ли размеры групп к ожидаемому количеству строк?

Мультииндекс сохраняется при экспорте. Запишите результат, сгруппированный двумя ключами, прямо в CSV, и индекс лестницы станет пустыми ячейками под region, которые пользователи Excel будут считать отсутствующими данными. Сгладить с помощью as_index=False или reset_index() прежде чем что-либо покинет Питон.

Сортировка по индексу, когда вы имели в виду значения. sort_index() упорядочивает по названию группы в алфавитном порядке. sort_values('avg_amount') заказы по номеру. Рейтинг, отсортированный по алфавиту, по-прежнему выглядит отсортированным, поэтому его легко пропустить.