← Все курсы · Курс SQL · Статистический комплект
Почему важен исследовательский анализ данных
Исследовательский анализ данных, или EDA, — это привычка просматривать данные, прежде чем что-либо на их основе вычислять. В этом руководстве рассказывается, на что следует обратить внимание, исследования показывают, почему это не является обязательным, и как это выглядит в реальных проектах, которые вы можете открыть и прочитать.
Он существует для предотвращения одной конкретной ошибки, и эта ошибка не имеет ничего общего с математикой. Аналитик вычисляет ответ на основе данных, на которые он никогда не обращал внимания. Цифры получаются точными, уверенными и неверными, потому что в данных была одна особенность, которую никто не проверял.
- Детективная работа против работа в зале суда
- Откуда взялась EDA (и почему взбунтовался известный статистик)
- Доказательство лжи резюме: квартет и динозавр
- Как выглядит разведка в реальном проекте
- Привычки, очищенные
- Честный предел: расследование находит подозреваемых, а не приговоры
- Ссылки
Детективная работа против работа в зале суда
Работа с данными имеет два различных режима, и их смешение приводит к большинству аналитических ошибок:
| Исследовательский (детектив) | Подтверждение (зал суда) | |
|---|---|---|
| Вопрос | «Что здесь происходит?» | «Правда ли это конкретное утверждение?» |
| Отношение | Открытый, скептический, любопытный | Формальный, связанный с правилами, заранее принятый на себя обязательства |
| Выход | Гипотезы, сюрпризы, открытия качества данных | Доказательства за или против одной гипотезы |
Детектив не приходит на место преступления с приговором. Они смотрят на все, замечают странное и строят теории. Позже зал суда формально проверяет одну теорию.
Поисковый анализ – это этап осмотра места преступления. Пропустите это, и вы будете преследовать дело, которое никогда не расследовали. Сравнение — это не метод обучения, придуманный для новичков. Джон Тьюки, основатель этой области, определил исследовательскую работу как детективную работу, и с тех пор в литературе используется эта аналогия (Беренс, 1997).
Откуда взялась EDA (и почему взбунтовался известный статистик)
В 1962 году Джон Тьюки опубликовал 67-страничный аргумент под названием Будущее анализа данных это возмутило его собственную сферу деятельности. Он был математиком из Принстона и также придумал слова «бит» и «программное обеспечение».
Статистика, утверждал он, стала одержима залом суда. Элегантные формальные тесты, применимые к вопросам, которые кто-то уже решил задать. Почти никто не изучал более сложную, более раннюю задачу: как вы определяете, какие вопросы данные хотят, чтобы вы задали. Он предложил рассматривать анализ данных как отдельную эмпирическую науку, которая начинается с наблюдения (Тьюки, 1962).
Пятнадцать лет спустя его книга Исследовательский анализ данных (1977) превратили этот аргумент в набор инструментов: графики, сводки и привычки проверки остатков, и все это создано для того, чтобы сделать неожиданное видимым. Наиболее цитируемая строка — это формулировка миссии всей области:
«Самая большая ценность изображения — это то, что оно заставляет нас заметить то, чего мы никогда не ожидали увидеть». (Тьюки, 1977)
Обратите внимание, что на самом деле говорится в этом предложении. Результатом поиска не является подтверждение того, что вы ожидали. Это засада того, чего вы не делали. Каждая техника в EDA — это машина для изготовления полезных засад.
Доказательство лжи резюме: квартет и динозавр
Перед ответом поставьте цифру собственной уверенности. Два набора данных имеют одинаковое среднее значение, одинаковый разброс и одинаковую корреляцию. Насколько похожими должны быть их формы? Очень, немного или совсем нет? Выберите один.
Почему таблицы средних показателей недостаточно? В 1973 году статистик Фрэнсис Анскомб решил эту проблему с помощью четырех небольших наборов данных, которые теперь называются квартет Анскомба. Все четверо имеют почти идентичную сводную статистику. То же среднее значение х, то же среднее значение й, та же дисперсия, та же корреляция 0,816, та же подобранная линия тренда (Анскомб, 1973). По цифрам они четверки. На графике они чужие:
- Одна из них — это здоровая, обычная линейная связь, именно это и подразумевается в кратком изложении.
- Один — гладкий изгиб, поэтому линейная линия тренда — просто неправильная модель.
- Одна из них представляет собой идеальную линию, за исключением одного выброса, который сбил тренд с курса.
- В первом вообще нет никакой связи: вертикальная стопка точек плюс одно экстремальное значение, которое изготовленный вся корреляция.
Четыре разные реальности, одна идентичная система показателей. Если ваш анализ останавливается на системе показателей, вы не сможете определить, в какой реальности вы находитесь.
В 2017 году Джастин Матейка и Джордж Фицморис довели эту тему до комической крайности. Они показали, что можно совместить точки набора данных практически с любым изображением, включая нарисованное от руки. Тираннозавр Рекс. Среднее значение, стандартное отклонение и корреляция остаются идентичными до двух десятичных знаков.
Их «Дюжина Датазавра» представляет собой двенадцать совершенно разных сюжетов, среди которых динозавр, звезда и концентрические круги, и все с соответствующей сводной статистикой (Матейка и Фитцморис, 2017). Урок Анскомба, обновленный: никогда не доверяйте только сводной статистике. Всегда визуализируйте.
Как выглядит разведка в реальном проекте
Классика доказывает Почему; вот Как это выглядит, из проектов открытого портфолио можно прочитать от начала до конца. Все это не гламурно. Все это изменило результаты.
Взгляните, прежде чем поверить: подвох фантомной колонны
Первое правило EDA простое: прежде чем что-либо вычислять, посмотрите на реальные строки. Представьте себе последний загруженный вами набор данных. Вы на ряды смотрели или сразу перешли к подсчету? Большинство людей сразу переходят к подсчету, и следующий абзац рассказывает, сколько это стоит.
В проекте по истории чартов Рекламный щит первый взгляд на импортированную таблицу показал два загадочных столбца, которых не было в исходном файле, а названия песен были обрезаны пополам. Причиной была неправильная настройка импорта. Он разделил каждый заголовок, содержащий запятую, например «Пусть идет снег, пусть идет снег, пусть идет снег», по столбцам.
Любой подсчет этого импорта был бы заведомо ошибочным. Поймать его стоит одного SELECT * ... LIMIT 20 и тридцать секунд чтения. Трансляция проекта «Скрытые драгоценности» столкнулся с тем же классом проблем с другой стороны: его файлы «CSV» оказались разделены табуляцией и вообще не содержали кавычек.
Сверьте данные с арифметикой, которой они должны подчиняться.
Хорошие геологоразведочные работы подтверждают ожидания, что данные не могут быть оправданы. Таблица, в которой перечислены 100 песен за неделю, должна иметь количество строк, кратное 100. Недели, умноженные на 100, должны точно равняться общему количеству строк.
Когда подобная проверка проходит, импорт заслуживает некоторого доверия. Если он терпит неудачу, вы обнаружили проблему в самый дешевый момент. Скрытые сокровища Пар и Потоковое вещание «Скрытые жемчужины» Оба проекта имеют раздел «Проверка», показывающий эти перекрестные проверки, при этом итоговые суммы согласовываются двумя независимыми способами, прежде чем на них будет сделан какой-либо вывод.
Задайте странный вопрос: почему число хранится в виде текста?
Исследование означает относиться к странностям как к наводкам, а не как к раздражению. В данных Рекламный щит столбец положения диаграммы импортируется в виде текста, а не чисел.
Детектив на это не пожимает плечами. Последующие запросы нашли виновника: тысячи строк, содержащих буквы. 'NA'. Они также обнаружили кое-что еще. «Дебютная неделя» в разные эпохи архива отмечалась по-разному, поэтому в каждом последующем запросе приходилось говорить на обоих диалектах. Упустить это во время исследования и каждый последующий подсчет, связанный с дебютом, совершенно неправильно.
Эта модель исследования такова: гипотеза, целевой запрос, вердикт, следующая гипотеза. Он проходится шаг за шагом в Руководство по выражениям SQL CASE, где изучение беспорядочной колонки об артистах в конечном итоге диктует правила уборки.
Позвольте дистрибутивам выбирать ваши пороговые значения
Анализы постоянно требуют отсечек. Сколько отзывов делает рейтинг заслуживающим доверия? Сколько голосов делает фильм «известным»?
Вы можете выбрать круглое число на интуитивном уровне, и это число будет неоправданным. Исследовательский ход заключается в том, чтобы сначала запросить данные. Постройте график или сведите в таблицу распределение, найдите, где поведение действительно меняется, и выберите пороговое значение, которое вы сможете защитить.
Оба проекта драгоценных камней делают это открыто. Скрытые сокровища Пар Минимальное количество обзоров берется из измеренного распределения объемов обзоров. Потоковое вещание «Скрытые жемчужины» таким же образом принимает свою полосу подсчета голосов, записывая отклоненные альтернативы. Порог с распределением за ним выдерживает вопрос «почему это число?»
Разделите среднее значение, прежде чем сообщать об этом
Одна цифра для всего населения обычно равна четырем номерам в плащах.
Возьмите номер заголовка ниже и угадайте, прежде чем читать раздел. Телекоммуникационная компания теряет 26,5% своих клиентов. Кто уходит больше всего — самые новые клиенты или самые старые и в каком объеме? Возьмите приблизительную цифру, а затем сравните ее с тем, что говорят данные.
Анализ оттока телекоммуникационных компаний начинается с показателя оттока 26,5%. Это правда, и бесполезно для принятия каких-либо решений. Разделение одних и тех же клиентов по времени их подписки полностью изменило ситуацию. Клиенты в первый год оттока составляют 47%. Лояльное ядро теряет 10%. И 91% представителей этой группы риска работают по ежемесячным контрактам.
Таким образом, у компании нет проблем с оттоком сотрудников. У него есть проблема первого года, и это другая статья бюджета. Проект Отток телекоммуникационных компаний показывает этап разделения и сравнения в pandas: от среднего значения заголовка до четырех персонажей и трех рекомендаций.
Сохраните привычку: прежде чем среднее значение покинет ваш блокнот, сократите его на две или три переменные, которые, скорее всего, скрывают внутри него другую совокупность.
Привычки, очищенные
| Привычка | Движение | Что он ловит |
|---|---|---|
| Посмотрите на строки | SELECT * ... LIMIT 20 прежде всего | Импорт обломков, замененные столбцы, искаженный текст |
| Посчитайте и сопоставьте | Количество строк проверяется на соответствие арифметическим данным, которым должны подчиняться данные. | Незаметно удаленные или дублированные строки |
| Профилируйте каждый столбец | Различные значения, мин/макс, маркеры пропущенных значений, тип-сюрпризы | Строки «NA», два маркера для одного значения, текстовые числа. |
| Визуализируйте, не обобщайте | Постройте распределения и отношения, прежде чем доверять средним значениям | Все, о чем предупреждали Анскомб и Датазавр |
| Погоня за странностями | Рассматривайте каждое «да, странно» как повод с последующим запросом. | Сшитые эпохой архивы и дубликаты реальных данных полны |
| Разделить каждое среднее значение | Сократите число заголовков на переменные, которые с большей вероятностью скроют другую совокупность. | Средние значения, которые никого не описывают, и сегмент, в котором существует настоящая проблема |
| Получение пороговых значений | Отсечки от измеренных распределений, а не от вибраций | Неоправданный выбор анализа |
Честный предел: расследование находит подозреваемых, а не приговоры
Одно предупреждение поможет сохранить честность EDA. Когда вы свободно исследуете, вы воля находите закономерности, и некоторые из них являются чистым совпадением. Посмотрите на данные под разными углами, и в конечном итоге что-то покажется интересным.
Раскол между детективом и залом суда существует именно для этого. Образец, обнаруженный в ходе разведки, представляет собой подозревать, а не осуждение. Он создает гипотезу, и эта гипотеза нуждается в проверке на доказательствах, которые ее не породили: свежие данные, отложенная выборка или формальный тест, указанный заранее.
Расценивать исследовательскую находку как доказанный факт — это аналитическая версия осуждения первого человека, которого опросил детектив. Исследуйте смело, делайте выводы осторожно. И какое бы исследование ни обнаружилось, анализ должен это учитывать, что описано в Как аналитики документируют ограничения.
тот Курс SQL обучает навыкам запроса, которые используются в каждом исследовании, приведенном выше. Статистический комплект охватывает распределения и корреляции, на которые опирается это руководство. Портфельные проекты На странице показано, как превратить изученный набор данных в проект, который стоит показать работодателю. Все они запускаются в вашем браузере.
Откройте набор SQL →Думать как аналитик Это 64 страницы, посвященные половине работы: определение показателя, составление отчета по результатам анализа, изучение данных, прежде чем вы им поверите, и высказывание вслух того, о чем ваши данные не могут вам сказать.
Думать как аналитик, 19 $ →Каждый раз один и тот же первый взгляд на данные, которые вы никогда не видели. ОС Аналитик данных делает это командой: рабочий процесс контроля качества данных в Клод Код, который профилирует таблицу, помечает соединения, которые будут кусаться, и записывает то, что он нашел. ОС Аналитик данных, 49 долларов США →
Ссылки
- Тьюки, JW (1962). Будущее анализа данных. Анналы математической статистики, 33.(1), 1–67. doi:10.1214/aoms/1177704711
- Тьюки, JW (1977). Исследовательский анализ данных. Аддисон-Уэсли.
- Анскомб, Ф.Дж. (1973). Графики в статистическом анализе. Американский статистик, 27 лет.(1), 17–21. дои: 10.2307/2682899
- Беренс, Дж. Т. (1997). Принципы и процедуры разведочного анализа данных. Психологические методы, 2(2), 131–160. doi:10.1037/1082-989X.2.2.131
- Матейка Дж. и Фицморис Г. (2017). Одна и та же статистика, разные графики: создание наборов данных с разным внешним видом и одинаковой статистикой посредством моделирования отжига. Материалы конференции CHI 2017 г. по человеческому фактору в вычислительных системах, 1290–1294. АКМ.