← Все курсы · Исследовательский анализ данных · Курс SQL
Пороговые значения, управляемые данными: выбор пороговых значений, которые можно защитить
Каждый настоящий анализ снова и снова приводит к одному и тому же тихому решению: где вы проводите черту? Сколько отзывов, прежде чем оценка будет заслуживающей доверия? Сколько покупок прежде, чем клиент будет считаться «активным»? Сколько появлений в чартах прежде, чем артист будет считаться «известным»? Эти ограничения формируют каждый результат в дальнейшем — и разница между любителем и профессионалом не в том, какое число они выбирают. Вопрос в том, смогут ли они защищать это. В этом руководстве рассматривается метод, классическая статистическая ловушка, которая делает минимальные уровни обязательными, а также рабочие примеры из открытых проектов.
- Два способа выбрать номер
- Метод: измерить, оценить, защитить, записать.
- Проработанный пример с действительными числами
- Ловушка малой выборки (самое опасное уравнение)
- Почему вашей интуиции нельзя доверять это
- Ссылки
Два способа выбрать номер
Способ первый: кажется, что это правильно. «Скажем, минимум 100 отзывов». Круглый номер, звучит разумно, занял четыре секунды. Способ второй: запросить данные. Измерьте, как на самом деле распределяются значения, посчитайте, что сохраняет и отбрасывает каждый кандидат, затем выберите тот, значение которого, произнесенное вслух, соответствует тому, что вы пытаетесь уловить. Первый метод действует до тех пор, пока первый человек не спросит: «Почему 100?» Способ второй является ответ на этот вопрос.
Метод: измерить, оценить, защитить, записать.
| Шаг | Что вы делаете | Форма запроса |
|---|---|---|
| 1. Измерьте | Прежде чем что-либо предлагать, составьте карту распределения: сколько сущностей соответствует каждому значению? | GROUP BY счетчик — «распределение счетчика», построенное с помощью GROUP BY поверх GROUP BY. |
| 2. Цена | Для каждого правдоподобного отсечения подсчитайте выживших. Порог — это решение о том, сколько данных следует хранить; сначала посмотрите законопроект. | Один запрос, несколько SUM(value >= candidate) столбцы рядом |
| 3. Защитить | Выберите отсечение, повседневное значение которого соответствует концепции, которую вы определяете. Эта концепция сначала нуждается в собственном письменном определении: как превратить нечеткий вопрос во что-то измеримое. | Никаких вопросов — предложение, которое вы могли бы сказать скептически настроенному заинтересованному лицу. |
| 4. Запись | Сохраните номера отклоненных кандидатов в файле, чтобы читатель мог разумно не согласиться. Это та же привычка, что и записывайте то, о чем данные не могут вам сказать. | Блок комментариев над запросом, использующим выбранный номер. |
Проработанный пример с действительными числами
Проекту, анализирующему 68-летнюю историю чартов Рекламный щит, необходимо было определить «известного артиста» — человека, которого явно знает радио, а не одноразового посетителя. Посмотрите, как выполняется метод:
Мера. Группировка исполнителей по количеству песен, попавших в чарты, выявила форму распределения: 57% всех артистов, попавших в чарты, поместили в чарты ровно одну песню. Диаграмма в основном посещается кратковременно, поэтому «известный» явно находится выше 1 — но где?
Цена. В одном запросе три отобранных кандидата оказались рядом: артисты с тремя+ песнями в чартах — 2596 выжили; с 5+ — 1570; при 10+ — 740.
Защищать. Оценка была 5+. Это достаточно строго, чтобы означать, что индустрия неоднократно возвращалась к этому артисту на протяжении всей карьеры (альбом 3+ может быть одним счастливым альбомом). Он достаточно широк, чтобы оставить для анализа значимую совокупность (10+ сужается до диаграммы). Была даже оперативная причина: на следующем этапе вызывался веб-API один раз для каждого известного исполнителя, поэтому количество выживших также было равно размеру извлечения данных.
Записывать. Номера всех трех кандидатов остались в SQL-файле проекта, в блоке комментариев над запросом, формирующим список. Любой, кто считает, что 10+ был лучшим решением, может точно увидеть, чего бы стоил этот выбор.
Та же самая картина проходит через Скрытые сокровища Пар и Потоковое вещание «Скрытые жемчужины» проекты. Каждый из них получает минимальный уровень «достаточно отзывов / достаточно голосов» на основе измеренного распределения. Отклоненные альтернативы задокументированы в README.
Ловушка малой выборки (самое опасное уравнение)
Одно семейство порогов вовсе не является обязательным: Минимальные уровни знаменателя при любом коэффициенте или среднем значении. Вот почему. Ранжируйте песни по среднему числу прослушиваний на одного слушателя, и в верхней части списка не будут самые любимые песни. Это будут треки с 40 слушателями, которые будут одержимо переслушивать. Ранжируйте школы по результатам тестов, и лучшие результаты окажутся в маленьких школах. То же самое произойдет и с худшими исполнителями. Это не невезение; это арифметика: чем меньше выборка, тем сильнее колеблются ее средние значения. Изменчивость уменьшается только с квадратным корнем из размера выборки, и этот результат доказал Абрахам де Муавр в 1730 году. Статистик Говард Вайнер назвал это «самым опасным уравнением», потому что игнорирование его приводит к дорогостоящим реальным ошибкам. Его главный пример — фонд, который потратил миллиарды на поддержку маленьких школ. Он заметил, что они доминируют на вершине рейтинга производительности, не замечая, что они доминируют в рейтинге. нижний тоже (Вайнер, 2007).
Последствия для аналитиков очевидны: Для каждого рейтинга, построенного на основе отношения или среднего значения, необходим нижний предел минимального знаменателя, выбираемый из измеренного распределения знаменателей. Соотношение более 40 человек — это анекдот; такое же соотношение для более чем 100 000 человек является результатом. Правильное определение этого знаменателя — это отдельная маленькая ловушка: что COUNT на самом деле имеет значение. Никакая хитрость в числителе не спасет голодающий знаменатель.
Почему вашей интуиции нельзя доверять это
Вы можете надеяться, что интуиция сможет заменить измерение. Исследование говорит об обратном: люди, в том числе обученные ученые, систематически ожидают, что маленькие выборки будут вести себя как большие. Тверски и Канеман задокументировали эту предвзятость в 1971 году. Даже профессиональные исследователи делали уверенные суждения на основе размеров выборки, которые не могли их подтвердить. Они назвали эту предвзятость «верой в закон малых чисел» (Тверской & Канеман, 1971). Ваша интуиция действительно не может почувствовать разницу между соотношением, рассчитанным на 40 человек, и соотношением, рассчитанным на 40 000. Исправление — это не лучшая интуиция; это четырехэтапный метод выше, который заменяет ощущение счетом в каждой точке, где чувство не работает.
Построение дистрибуции (GROUP BY в GROUP BY), ценообразование по выживанию (СУММА сравнений) и ограничения на основе HAVING — все это основные шаги в Курс SQL. Статистический комплект охватывает распределение и изменчивость с нуля.
Откройте набор SQL →Думать как аналитик Это 64 страницы, посвященные половине работы: определение показателя, составление отчета по результатам анализа, изучение данных, прежде чем вы им поверите, и высказывание вслух того, о чем ваши данные не могут вам сказать.
Думать как аналитик, 19 $ →Ссылки
- Вайнер, Х. (2007). Самое опасное уравнение. Американский учёный, 95 лет.(3), 249–256.
- Тверски А. и Канеман Д. (1971). Вера в закон малых чисел. Психологический вестник, 76(2), 105–110. дои: 10.1037/h0031322
- Тьюки, JW (1977). Исследовательский анализ данных. Аддисон-Уэсли. (Традиция «смотри сначала», к которой принадлежит шаг «Измерение».)