Точность прогноза: MAE, RMSE, MAPE и месяц, который сломал один из них

1. Ошибка, и та, которая самоустраняется

Перед арифметикой: сложите пять ошибок в предпоследнем столбце с их знаками. Прежде чем читать дальше, примерно спрогнозируйте, что вы получите.

Вы получаете -2110, которое, разделенное на пять, равно -422. Это предвзятость, или означает ошибку, и это действительно полезное число, которое отвечает на другой вопрос, отличный от остальной части этой страницы. В нем говорится, делаете ли вы систематические прогнозы слишком высокими или слишком низкими. У нас отрицательный результат, поэтому план в среднем оказался выше реальности, в основном из-за апреля.

Чего он не может сделать, так это измерить точность, поскольку положительные и отрицательные ошибки компенсируются. Прогноз, который на 5000 слишком высок в одном месяце и на 5000 слишком низок в следующем, имеет нулевое смещение и не является точным. Все остальные меры на этой странице существуют из-за этой отмены, и каждая из них обрабатывает ее по-своему: MAE принимает абсолютное значение, квадраты RMSE.

Сообщайте о предвзятости наряду с точностью, а не вместо нее. Прогноз с низкой ошибкой и отсутствием смещения – это хорошо. Низкая ошибка с постоянным смещением означает, что у вас есть корректируемое смещение, что является самым дешевым улучшением, доступным для любого прогноза.

2. МАЭ: средний промах, в собственных единицах.

Перед расчетом: возьмите пять абсолютных ошибок: 230, 155, 185, 2400 и 30 и усредните их в уме с точностью до сотни.

(230 + 155 + 185 + 2,400 + 30) ÷ 5 = 3,000 ÷ 5 = 600. средняя абсолютная ошибка — средний размер промаха без учета направления. Это в долларах, поэтому можно сразу прочитать: этот прогноз отличается примерно на 600 в месяц.

Скажите вслух, что вводит в заблуждение в этом предложении, учитывая таблицу над ним. Прогноз отклонился на 230, 155, 185 и 30 за четыре из пяти месяцев и на 2400 за один. Ни в одном месяце ничего не было «отклонено на 600». Среднее значение затягивается на один период, точно так же, как среднее значение перетаскивается выбросом, и по той же причине.

В любом случае преимущества MAE реальны. Это в единицах, которые волнуют людей, каждый период имеет одинаковое значение, и это самый простой показатель, который можно объяснить тому, кто не хочет изучать статистику. Его недостатком является то, что вы не можете сравнивать его по продуктам, регионам или периодам времени в разных масштабах. MAE, равный 600, превосходен для линии на миллион долларов и катастрофичен для линии на две тысячи долларов.

import numpy as np
actual   = np.array([2630, 2245, 2585, 0, 2430], float)
forecast = np.array([2400, 2400, 2400, 2400, 2400], float)
error    = actual - forecast

mae  = np.abs(error).mean()          # 600.0
bias = error.mean()                  # -422.0

3. RMSE: тот, кто ненавидит один большой промах

Перед номером: те же пять ошибок. Возведите каждое в квадрат, усредните квадраты, извлеките квадратный корень. Предскажите, будет ли ответ выше или ниже 600.

Ну выше: 1,083.70. При возведении в квадрат промах в 2400 раз обходится в 256 раз дороже, чем в 150, а не в 16 раз, так что один неудачный месяц полностью доминирует.

rmse = np.sqrt((error ** 2).mean())  # 1083.70

На картинке вверху этой страницы изображен этот факт, за исключением удаленных цифр. Два прогноза, каждый с отклонением 400 в общей сложности за четыре периода. Четыре промаха из 100 дают MAE 100 и RMSE 100. Один промах из 400 дает MAE 100 и RMSE 200. По одному показателю они идентичны, по другому удваиваются, а разница полностью заключается в том, как распределялась ошибка.

Какое поведение является правильным, полностью зависит от того, во что вам обойдется промах. Если один раз ошибиться на 400 гораздо хуже, чем ошибиться на 100 четыре раза, потому что это опустошит склад или уничтожит бюджет, то RMSE измеряет то, что вас волнует, и вам следует его использовать. Если стоимость промаха пропорциональна, поэтому четыре маленьких промаха причиняют ровно столько же вреда, сколько один большой, MAE — это честная мера, а RMSE заставит вас переоценить худший месяц.

RMSE всегда не меньше MAE, и разница между ними говорит о том, насколько неравномерны ваши ошибки. У нас 600 и 1083,70, соотношение 1,8, что является громким сигналом о том, что один период наносит наибольший ущерб. Когда MAE и RMSE близки, ваши ошибки распределяются равномерно.

4. MAPE и месяц, возвращающий бесконечность

Перед проблемой: MAPE делит каждую ошибку на фактическое значение, чтобы получить процент, а затем усредняет их. Посмотрите на апрельский ряд и скажите, что произошло, прежде чем читать дальше.

Фактический показатель за апрель равен нулю. 2400, разделенное на 0, не является числом, поэтому среднее значение пяти процентов также не является числом. MAPE бесконечен, и в зависимости от вашего инструмента вы получите inf, ошибка деления на ноль или, что хуже всего, молча пропущенная строка и правдоподобный ответ.

ape = np.abs(error / actual)
# array([0.0875, 0.0690, 0.0716, inf, 0.0123])
ape.mean()     # inf

Это не крайний случай, который можно игнорировать. Любой период без активности дает фактическое нулевое значение: закрытый магазин, товар до запуска, канал замолчал, неделю трекинг сломался. MAPE не определен именно для тех периодов, которые вам больше всего нужны.

Без учета апреля MAPE составляет 6,01 процента, а четыре месячные процентные ошибки составляют 8,75, 6,90, 7,16 и 1,23. Это число действительно информативно о четырех обычных месяцах, и указать его как «MAPE 6 процентов», не говоря уже о том, что месяц был исключен, — это своего рода упущение, которое обнаруживается позже.

У MAPE есть вторая, более тихая проблема: он асимметричен. Прогнозирование значения 200, когда фактическое значение равно 100, дает ошибку в 100 процентов. Прогнозирование 100, когда фактическое значение равно 200, дает 50 процентов. Тот же самый абсолютный промах, засчитанный вдвое сильнее в одном направлении, что означает, что оптимизация для MAPE незаметно снижает ваши прогнозы.

Ничто из этого не делает MAPE бесполезным. Он не имеет единиц измерения, поэтому сравнивается по продуктам и регионам, и читатели, не разбирающиеся в технических вопросах, сразу понимают процентное соотношение. Используйте его, когда ваши фактические значения достаточно далеки от нуля, и переходите к пятому разделу, когда это не так.

5. WAPE и СМАПЕ, два обычных ремонта

До исправления: проблема с MAPE при делении по каждому отдельному факту. Прежде чем читать дальше, скажите, на что вы бы разделили.

Итого. WAPE, взвешенная абсолютная процентная ошибка, складывает все абсолютные ошибки и делится на сумму фактических значений, деля один раз вместо пяти.

wape = np.abs(error).sum() / actual.sum()
# 3000 / 9890 = 0.3033  ->  30.33%

Апрель больше ничего не ломает, потому что его ноль вносит ноль в знаменатель, а не является собственным знаменателем. И результат, естественно, взвешивается по размеру, поэтому промах в большом месяце имеет большее значение, чем промах в маленьком, а это обычно то, что вам нужно. WAPE — это мой вариант по умолчанию, когда требуется процент.

Сравните эти два показателя за четыре обычных месяца, где оба работают: MAPE 6,01 процента и WAPE 6,07 процента. Почти идентичны, потому что все эти месяцы примерно одинакового размера. Разрыв открывается только тогда, когда размеры периодов различаются, и тогда WAPE отражает бизнес.

СМАПЕ, симметричная версия, делит на среднее значение фактического и прогнозируемого значения, а не только на фактическое значение. Это исправляет асимметрию, но на самом деле не решает проблему нуля: по нашим данным это дает 44,90 процента, что является странным числом, обусловленным тем, что апрель набрал 200 процентов, свой максимум. СМАПЕ часто используется при прогнозировании соревнований, и я бы не стал предлагать его деловому читателю, не объяснив его, что обычно является знаком использования чего-то другого.

Прочтите две колонки рядом, и появится смысл этой страницы. Удаление одного месяца из пяти превращает среднее число промахов из 600 в 150, а положительную предвзятость превращает в отрицательную. Ни одна из колонок не является нечестной. То, что вы публикуете, — это решение о том, является ли апрель частью того, что вы прогнозируете, и оно должно быть записано рядом с числом.

6. MASE: лучше, чем ничего не делать, или не делать

Перед идеей: МАЭ 600 — это хорошо или плохо по сравнению с чем? Прежде чем читать дальше, назовите сравнение, которое вам нужно.

Вам нужно сравнение с альтернативой, не требующей усилий. Стандартный – это наивный прогноз: предсказать, что следующий месяц будет равен этому месяцу. Вычислите его ошибку таким же образом, затем разделите.

naive_mae = np.abs(np.diff(actual)).mean()   # 1435.0
mase      = np.abs(error).mean() / naive_mae # 600 / 1435 = 0.418

A MASE значение ниже 1 означает, что вы превзошли наивный прогноз; выше 1 означает, что вы этого не сделали. Наш 0.418, поэтому фиксированный план в 2400 был примерно в два раза точнее, чем предположение о том, что каждый месяц повторяет предыдущий. Вот оба, забиты одинаково.

Оба превосходят наивный базовый уровень в выборке, а плоский план превосходит его еще больше. Обратите внимание на смещение наивного прогноза, равное -14, почти нулевое, что является хорошей иллюстрацией того, почему само по себе смещение ничего не доказывает: прогноз может быть несмещенным и при этом ошибаться на 1174 раза в месяц, потому что его ошибки скорее компенсируются, чем малы.

MASE не имеет единиц измерения, работает, когда фактические значения равны нулю, и симметричен, поэтому исследователи прогнозирования обращаются к нему. Его цена в том, что он не интуитивен: никто на деловой встрече не знает, что означает 0,418, без приложенного предложения. Так что сообщите об этом как о приговоре. «Примерно в два раза точнее, чем если предположить, что в следующем месяце повторится то же самое», — вот что там говорится.

Теперь представьте себе свой собственный прогноз, независимо от того, что его дает. Если бы вы забили гол в повторе прошлого периода, выиграл бы он? Это единственное сравнение стоит больше, чем любое уточнение модели.

7. Какому сообщать и кому

Перед рекомендацией: у вас есть шесть цифр, описывающих один прогноз. Решите, что бы вы поместили на слайд, прежде чем читать мой.

Мой собственный блок по умолчанию состоит из четырех чисел: MAE, смещение, WAPE и MASE, с указанием количества периодов и названий всех исключенных периодов. Он занимает одну строку и отражает размер ошибки, ее направление, относительный масштаб и то, оправдывает ли прогноз свою эффективность.

Единственное, чего следует избегать, — это выбирать меру после просмотра результатов. Если MAPE выглядит плохо и вы переключаетесь на RMSE, не сказав об этом, значит, вы выбрали свою оценку. Определите меру при построении прогноза и запишите ее по той же причине, по которой вы заранее определяете метрику А/Б-теста в А/Б-тестирование.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то четвертака.

Ноли в фактах. Заголовок дела на этой странице. MAPE не определен, и некоторые инструменты удаляют строку, не сообщая вам об этом, создавая достоверное число, рассчитанное за меньшее количество периодов, чем вы думаете.

Оценка по подогнанным вами данным. Модель, настроенная на те же месяцы, по которым вы затем оцениваете ее, будет выглядеть превосходно, но таковой не будет. Удерживайте периоды, которые модель никогда не видела, или продвигайтесь вперед по мере поступления новых фактических данных.

Текущий пересчет Если фактические данные за прошлый месяц изменились после исправления данных, ваша зафиксированная точность также изменится. Сохраняйте прогноз и фактические данные в том виде, в котором они были на момент составления прогноза, с указанием даты, иначе ваша история точности незаметно перепишется.

Сравнение MAPE серий разных размеров. Продукт небольшого объема покажет ужасный MAPE при крошечном абсолютном промахе. Это арифметика, а не производительность, и именно поэтому WAPE, взвешенный по размеру, является более справедливым сравнением.

Агрегирование ошибок перед их измерением. Точность прогноза, рассчитанная на основе общей суммы, всегда лучше, чем точность, рассчитанная для каждого продукта, а затем объединенная, поскольку ошибки в сумме сокращаются. Оба числа реальны и отвечают на разные вопросы. Скажите, какой из них вы вычислили.

На один период вперед против многих. Прогноз, сделанный на месяц вперед, — это совсем другая задача, чем прогноз, сделанный на двенадцать месяцев вперед, и сравнивать их бессмысленно. Всегда указывайте горизонт со счетом.