Доверительные интервалы и погрешность: построенные на основе четырех чисел

1. О чем говорит интервал, словами, которые выдерживают тщательную проверку

Перед определением: у вас шестнадцать ордеров со средней стоимостью 618,13. Кто-то спрашивает, каков средний заказ по бизнесу в целом. Прежде чем читать дальше, скажите, что не так с ответом «618.13».

Неправильно то, что 618,13 — это среднее значение шестнадцати заказов, которые у вас есть, и никто не спрашивал об этих шестнадцати. Они спрашивали о бизнесе, и ваши шестнадцать — образец этого. Другие шестнадцать дали бы другое число, поэтому цитирование одного-двух десятичных знаков требует точности, которой у вас нет.

A Доверительный интервал заменяет одно число диапазоном плюс утверждение о том, как часто метод делает это правильно. Внимательная формулировка такова: если вы повторите все это упражнение много раз, каждый раз беря новую выборку и создавая интервал таким же образом, 95 процентов этих интервалов будут содержать истинное значение. Картинка вверху страницы — девятнадцать из двадцати.

Обратите внимание, что в этом предложении говорится о 95 процентах. Это собственность процедура, во многих выборках. Это не свойство одного интервала, лежащего перед вами, который либо содержит истинное значение, либо нет, и вы никогда не узнаете, какое именно.

Это различие звучит педантично, и именно поэтому существуют следующие четыре раздела. На практике вы можете прочитать интервал как «диапазон значений, которому соответствуют эти данные», и вы почти все поймете правильно. Когда вы начинаете привязывать вероятности к одному имеющемуся у вас интервалу, начинаются ошибки.

2. Построение одного из четырех номеров

Перед арифметикой: у вас есть среднее значение 618,125, стандартное отклонение 236,81 и шестнадцать строк. Прежде чем читать дальше, угадайте, от чего из этих трех зависит ширина интервала.

Последние два. Среднее значение устанавливает, где находится интервал; разброс и количество определяют его ширину. Четыре шага.

1. Стандартная ошибка. Разделите стандартное отклонение на квадратный корень из числа: 236,81 ÷ √16 = 236,81 ÷ 4 = 59.20.
2. Множитель. Для 95-процентной уверенности с 16 строками это 2.131. В третьем разделе объясняется, откуда оно взялось и почему это не 1,96.
3. Предел погрешности. Умножить: 2,131 × 59,20 = 126.19.
4. Интервал. Поместите это по обе стороны от среднего: 618,125 - 126,19 = 491,94 и 618,125 + 126,19 = 744.31.

Итак, ответ 618,13, с 95-процентным интервалом от 491,94 до 744,31.. Прежде чем читать дальше, произнесите вслух, что эта ширина говорит вам о шестнадцати строках. Там написано, что их не так много. Таблица с четвертью миллиона строк и таким же разбросом дала бы интервал шириной около двух долларов.

from scipy import stats
import numpy as np

x  = df['Revenue']
m  = x.mean()                       # 618.125
se = x.std(ddof=1) / np.sqrt(len(x)) # 59.2028
stats.t.interval(0.95, len(x) - 1, loc=m, scale=se)
# (491.937, 744.313)

' Excel
=AVERAGE(Orders[Revenue])                                      ' 618.125
=CONFIDENCE.T(0.05, STDEV.S(Orders[Revenue]), COUNT(Orders[Revenue]))
' 126.188  -> the margin of error, add and subtract it yourself

-- SQL gives you the ingredients; do the last step in the reporting layer
SELECT COUNT(*)                                     AS n,
       AVG(Revenue)                                 AS mean_order,
       STDDEV_SAMP(Revenue)                         AS sd,
       STDDEV_SAMP(Revenue) / SQRT(COUNT(*))        AS standard_error
FROM Orders;

3. Почему стандартная ошибка не является стандартным отклонением

До различия: наше стандартное отклонение равно 236,81, а стандартная ошибка — 59,20. Оба указаны в долларах и оба описывают неопределенность. Прежде чем читать дальше, скажите, в чем каждый не уверен.

тот Стандартное отклонение описывает, насколько разбросаны отдельные заказы. Ордера варьируются от 240 до 1100, а 236,81 — это примерно типичное расстояние от середины. Соберите еще десять тысяч заказов, и это число не сократится, потому что сами заказы не становятся более похожими.

тот стандартная ошибка описывает, насколько точно вы определили среднее значение. Это ответ на другой вопрос: если бы я снова проделал всю эту выборку, насколько бы изменилось мое вычисленное среднее значение? Соберите еще десять тысяч заказов, и это число действительно сократится, потому что средние значения больших выборок стабильны, даже если базовые значения нестабильны.

Деление на квадратный корень из н — это то, что превращает одно в другое, и это самая полезная часть арифметики в прикладной статистике. Именно поэтому фраза «мы опросили 1000 человек» дает погрешность около 3 процентных пунктов, независимо от того, является ли население городом или страной. Размер населения практически не имеет значения; размер выборки – это то, что обеспечивает точность.

Теперь множитель. Если бы вы знали истинный разброс населения, вы бы использовали 1,96, значение, которое отсекает средние 95 процентов колоколообразной кривой. Вы этого не знаете, вы оценили это по тем же шестнадцати строкам, и за эту лишнюю неопределенность приходится платить. т распределение взимает с вас плату за это путем расширения множителя, и плата зависит от того, сколько строк у вас было.

В 16 строках множитель т стоит 9 процентов ширины. При 1000 это ошибка округления, поэтому ярлык «умножить на 2» в первом абзаце подходит для любой таблицы реального размера и немного оптимистичен для крошечной.

4. Чтение и три ошибочных прочтения

Перед списком: у вас интервал от 491,94 до 744,31. Прежде чем читать мое, запишите в одном предложении, что, по вашему мнению, это означает. Первое предложение большинства людей — одно из трех, приведенных ниже.

На втором стоит остановиться, поскольку он наиболее важен в повседневной работе. Наш интервал составляет 252, а данные охватывают 860. Интервал среднего сужается по мере сбора большего количества данных; разброс фактических значений не влияет. Запутать их означает указать складу планировать заказы между 492 и 744, когда треть заказов выходит за пределы этого диапазона.

Что я бы на самом деле написал: «Средняя сумма заказа составила 618 с 95-процентным интервалом от 492 до 744 по 16 заказам. Индивидуальные заказы варьировались от 240 до 1100». Два предложения, и ни одно из них нельзя прочитать неправильно.

5. Два шкалы ширины: уровень достоверности и размер выборки.

Перед цифрами: нужен более узкий интервал. Назовите две вещи, которые вы могли бы изменить, и скажите, какая из них честна.

Вы можете снизить уровень достоверности или собрать больше данных. Только второй что-нибудь покупает.

Снижение до 90 процентов сужает интервал на 22 пункта в каждую сторону, и это достигается за счет признания того, что теперь метод пропускает один раз из десяти вместо одного из двадцати. Ничего не было изучено. Данные не улучшились. Вы просто согласились чаще ошибаться, что является законным выбором, когда цена ошибки невелика, и плохим, когда вы это делаете, потому что график выглядит неопрятно.

Размер выборки — это тот показатель, который действительно работает, и он работает по принципу квадратного корня.

Четырехкратные данные сокращают интервал примерно вдвое. Не в четыре раза уже, а вполовину. Это самый важный факт планирования на этой странице, поскольку он говорит вам, сколько стоит запрос на сбор данных, прежде чем вы его сделаете. Переход от 16 рядов к 64 — это трансформация. Переход от 1024 к 4096 даст вам семь долларов точности, и вряд ли это кому-то понадобится.

Теперь представьте себе последнюю оценку, которую вас попросили «уточнить». Изменили бы данные четыре раза принятое решение, или интервал уже был достаточно узок, чтобы действовать?

6. Интервалы для процентов и где простая формула не работает

Перед арифметикой: 7 из 16 наших заказов приходится на письменные столы, это 43,75 процента. Прежде чем читать дальше, примерно спрогнозируйте, насколько широк интервал этого процента.

Очень широкий, а форма расчета такая же, как и раньше. Для пропорции стандартная ошибка равна квадратному корню из п, умноженному на один, минус п, разделенному на н.

p  = 7 / 16 = 0.4375
se = sqrt(0.4375 × 0.5625 / 16) = sqrt(0.015381) = 0.12402
95% interval = 0.4375 ± 1.96 × 0.12402 = 0.1944 to 0.6806

Таким образом, доля рабочего стола находится где-то между 19 и 68 процентов. В шестнадцати порядках «примерно 44 процента» по существу не несут никакой информации, и именно интервал делает это видимым, а не заставляет читателя предполагать, что число достоверно.

У этой простой формулы, называемой интервалом Вальда, есть один недостаток, о котором стоит знать. Посмотрите, что происходит, когда каждый заказ находится на столе.

p  = 16 / 16 = 1.0
se = sqrt(1.0 × 0.0 / 16) = 0
95% interval = 1.0 to 1.0

Он утверждает с полной уверенностью, что 100 процентов всех заказов всегда будут составлять столы с шестнадцатью рядами. Формула не просто становится неточной вблизи 0 и 1; оно рушится. То же самое происходит более незаметно, когда ваши показатели невелики, и обычное практическое правило состоит в том, что вам нужно как минимум 5 успехов и 5 неудач, прежде чем доверять этому. Наши 7 и 9 совсем немного преодолели эту планку.

Решением является более совершенная формула, называемая интервалом Вильсона, которую предоставляет каждая библиотека статистики и которая разумно ведет себя на границах. На нашем столе доля это дает 23,1 против 66,8 процента, чуть уже и сдвинута к середине.

from scipy import stats
stats.binomtest(7, 16).proportion_ci(0.95, method='wilson')
# ConfidenceInterval(low=0.2310, high=0.6682)

Используйте Уилсон по умолчанию. Это стоит одного аргумента и устраняет целую категорию смущающих выводов.

7. Интервалы на разницу и нулевой тест

Перед методикой: сравниваете два региона и один впереди на 168,50. Скажите, какой интервал должен содержаться в этом пробеле, чтобы разрыв был неубедительным.

Ноль. Если интервал разности включает ноль, то «разницы вообще нет» — это одно из значений, которым согласуются ваши данные, и вы не можете указать направление. Вот сравнение оттуда руководство по значениям п, запускать как интервал.

South: 4 orders, mean 667.50
North: 5 orders, mean 499.00
Difference: 168.50 in South's favour
95% interval on the difference: −256 to +593

Интервал комфортно охватывает ноль. Данные согласуются с тем, что Юг опережает на 593, а Север – на 256, и выбор середины этого диапазона в качестве ответа был бы актом воображения. Это тот же самый вывод, к которому пришло значение п, и интервал достигает этого, одновременно говоря вам, насколько большим может быть эффект, чего никогда не делает значение п.

Вот почему я бы поместил в отчет интервал, где значение п не является обязательным. Значение п отвечает: «Может ли это быть ничем?» На это отвечает интервал плюс «а если что-то, то насколько большое?» Второй вопрос почти всегда тот, который был задан на самом деле.

Одно предупреждение, повторенное из четвертого раздела, поскольку это самая распространенная ошибка при чтении графиков: не проверяйте два отдельных интервала на перекрытие. Постройте интервал по разнице. Два 95-процентных интервала могут слегка перекрываться и при этом соответствовать разнице, превышающей любую разумную планку, поскольку неопределенность разницы не является суммой двух неопределенностей.

Крайние случаи, которые застают людей врасплох

Шесть, каждая из которых стоила кому-то дня.

Интервал для всей популяции. Если в вашей таблице представлены все существующие заказы, среднее значение — это среднее значение. Здесь нечего делать выводы и нет интервала для вычисления. Интервалы отвечают на вопрос: «Насколько далеко может быть моя выборка», а в переписи выборки нет.

Неслучайные выборки. Каждая формула здесь предполагает, что ваши строки выбраны случайным образом. Заказы за прошлый месяц не являются случайной выборкой всех заказов, респонденты опроса не являются случайной выборкой клиентов, и никакая ширина интервала это не исправляет. Интервал измеряет только шум выборки и ничего не говорит об ошибке в выборе строк.

Сильно искаженные данные по небольшим выборкам. Интервал т предполагает, что выборочное среднее ведет себя примерно как колоколообразная кривая, что и происходит в более чем 30 строках для большинства фигур. По 10 рядам чего-то вроде дохода не будет, и интервал оптимистичный. Вместо этого запустите его или сообщите процентили.

Сообщает об интервале, а затем игнорирует его. Если ваша рекомендация перевернется где-то внутри вашего интервала, у вас еще нет рекомендации. Это самое полезное, что делает интервал, и его легче всего пройти.

Путаете это с интервалом прогнозирования. Наш говорит, где находится среднее значение. Интервал прогнозирования говорит, где будет находиться следующий отдельный ордер, и он намного шире, поскольку включает в себя разброс отдельных ордеров, а также неопределенность среднего значения.

Интервалы на небольших группах в сгруппированном отчете. Каждая группа получает свое собственное н, поэтому три порядка Уэста создают настолько широкий интервал, что он почти бесполезен. Распечатайте количество рядом с каждым интервалом, та же дисциплина. GROUP BY и HAVING просит.