← Все курсы · Исследовательский анализ данных · Курс SQL

Ваши данные никогда не бывают полностью чистыми, и аналитики все равно их отправляют

Как представить анализ, в котором все еще есть недостатки, на трех уровнях, которые фактически используют аналитики · Часть Analyst Prep Kit

К Майкл Носито, аналитик данных · Обновлено 30 июля 2026 г.

Аналитики реализуют работу, в которой все еще есть недостатки. Они делают это документирование каждого несовершенства и обоснование его. В этом руководстве описывается, как на трех уровнях используют настоящие аналитики, а также приведены примеры из открытых проектов, которые вы можете прочитать.

Причина, по которой это должно работать таким образом, проста. Очистка данных никогда не заканчивается. Вы исправляете ошибку импорта, стандартизируете беспорядочные имена, обрабатываете пропущенные значения. Есть Все еще дубликаты, которые вы решили не объединять, крайние случаи, которые пропускают ваши правила, и особенности, которые вы еще не обнаружили.

Стандарт — фитнес, а не чистота

Потратьте секунду на это, прежде чем читать ответ. Может ли одна и та же таблица быть одновременно хорошими и плохими данными? Примите решение «да» или «нет».

Область исследований качества данных устоялась несколько десятилетий назад. Качество не является абсолютным свойством данных. Это пригодность к использованию, что означает, достаточно ли хороши данные для принятия конкретного решения, на основе которого они основаны (Ван & Сильный, 1996).

Да, и вот случай, подтверждающий это. Одна и та же таблица клиентов может быть отличной для подсчета клиентов и бесполезной для их рассылки, если адреса устарели. Такое переосмысление меняет работу. Никогда не возникает вопрос «чисты ли эти данные?», потому что ответ всегда отрицательный. Вопрос в том, достаточно ли он чист для этот вывод, и рассказали ли вы читателю, где его нет.

Вот как это выглядит в реальном проекте. Анализ истории чартов Рекламный щит потребовал стандартизировать имена артистов, поскольку один артист может фигурировать под семью разными вариантами написания. Правила уборки большую часть исправили, а кое-что намеренно оставили.

Имена дуэтов, содержащие «&», никогда не разделялись. Разделение превратило бы настоящие группы, такие как Зал & Оутс, в сольных исполнителей, которых не существует. Цена в том, что работа участников дуэта никогда не сливается с их сольной карьерой.

Это не ошибка, которую кто-то пропустил. Это документированный компромисс. Альтернативное правило причинило больший ущерб, стоимость была измерена и записана, и анализ продолжается с открытыми глазами. Умножьте это на каждое правило в каждом проекте, и вы получите профессиональную реальность: законченный анализ — это набор оправданных компромиссов, а не отсутствие недостатков.

Уровень 1: раздел ограничений (в конечном результате)

Каждый серьезный результат содержит раздел, в котором указывается, что может дать анализ. нет претензия и почему. Это касается отчета, файла README, заметок на информационной панели или научной статьи. Он путешествует под несколькими названиями: Ограничения, Область применения и предположения, Предостережения. Академические журналы требуют по одному экземпляру в каждой статье. Пропустите это в промышленности, и ваши выводы выйдут за рамки того, что подтверждают данные, и в них все еще будет указано ваше имя.

Вы можете прочитать настоящие в дикой природе. Скрытые сокровища Пар и Потоковое вещание «Скрытые жемчужины» Каждый проект имеет раздел «Объем и предположения». Они указывают, какие записи были исключены и почему, что не видно исходным данным и какие решения по очистке влекут за собой известные затраты.

тот Проект Отток телекоммуникационных компаний показывает вариант граничных условий в одном абзаце. Его персонажи — это сегменты владения, считываемые из одного снимка, а не клиенты, за которыми следят с течением времени. Таким образом, в описании ясно говорится, что данная модель направленно надежна и что для подтверждения прогнозируемых сбережений потребуется продольное когортное исследование. Если вы назовете это до того, как читатель обнаружит это, это сохранит доверие к рекомендации.

Что в нем есть:

• Сознательные компромиссы. Правила, которые вы выбрали, зная, что у них есть цена, как в случае с решением со знаком «&» выше.
• Известные неисправимые вещи. Проблемы, которые вы обнаружили, но не смогли решить, например псевдонимы или пробелы в освещении источника.
• Граничные условия. На что данные структурно ответить не могут. «Этот набор данных заканчивается в июне, поэтому здесь ничего не говорится о последующих месяцах».
• Ограничения по численности населения. Кого или что данные не представляют.

Уровень 2: журнал качества данных (рабочая запись).

Раздел ограничений представляет собой общедоступное резюме. За этим аналитики ведут оперативный журнал каждой проблемы, обнаруженной в ходе работы: в чем заключалась подсказка, как она подтверждалась, какое решение было принято. Спустя несколько месяцев, когда кто-то спрашивает, почему художник X появляется дважды, ответ находится в журнале, а не в памяти ушедшего аналитика. В регулируемых отраслях это не является обязательным, поскольку происхождение данных и контрольный журнал решений являются требованиями соответствия.

Полезный формат состоит из четырех частей на каждый выпуск. Подсказка, то есть то, что выглядело не так. Валидация, запрос или проверка, подтвердившая это. Решение, что было сделано или намеренно не сделано. И концепция, какой это был класс проблемы, чтобы вы узнали ее в следующий раз.

Журнал проблем, написанный таким образом, служит учебным документом. Каждая запись представляет собой небольшой практический пример в области криминалистики данных.

Уровень 3: количественные предостережения (ограничения с цифрами)

Самые строгие ограничительные заявления имеют измерение. Сравнивать:

Схема такова. Когда вы обнаружите ограничение, проведите еще один запрос, измеряя его размер. Ограничение числом само по себе является результатом, поскольку оно сообщает читателю, какой именно вес может иметь вывод. Ограничение без такового оставляет читателю гадать, а читатели предполагают пессимистично.

Парадокс доверия: признание недостатков делает вас более авторитетным

Сначала сядьте по другую сторону стола. Вы просматриваете чужой анализ, и он перечисляет шесть проблем со своими собственными данными. Ваше доверие растет или падает? Ответьте, прежде чем читать дальше, потому что большинство людей здесь понимают свои инстинкты наоборот.

Соблазнительно скрыть ограничения, полагая, что из-за них работа будет выглядеть слабой. Опытные рецензенты читали наоборот.

Анализ, в котором не утверждается об отсутствии ограничений, не был тщательно изучен. Анализ, в котором говорится: «Вот шесть проблем, которые я обнаружил, как я подтвердил каждую из них, сколько каждая из них стоила и почему вывод их выдерживает». Читатель, обнаруживший уже задокументированный вами недостаток, доверяет вам больше. Читатель, обнаруживший недостаток, о котором вы не упомянули, перестает доверять всему остальному.

Это тоже стоит упомянуть на собеседовании. «Расскажи мне о своем проекте», ответ на который содержит только выводы, — это книжный отчет. Ответьте на него с выводами и о чем данные не могут вам сказать, и как вы это ограничили. Это версия, которая звучит как работающий аналитик, потому что учет неопределенности — это большая часть того, чем занимаются работающие аналитики.

Как написать свое: стартовый шаблон

## Limitations & Assumptions

1. [Deliberate tradeoff] We did X instead of Y because Y caused
   worse damage (evidence: ...). Cost of X: ... (measured: N rows /
   M% affected).
2. [Known unfixable] The source data cannot distinguish A from B.
   Conclusions about A alone are therefore approximate.
3. [Boundary] Data covers [range]. Nothing here speaks to [outside].
4. [Match/coverage rate] Step Z joined/matched N% of records. The
   unmatched remainder looks like: ...

Попробуйте одну запись сейчас, о чем-то, что вы уже создали. Выберите работу, которую вы кому-то показали, и закончите предложение: этот анализ ничего не может вам сказать о ___. Что бы ни заполняло этот пробел, это ваше первое ограничение, и оно было верным независимо от того, записали вы это или нет.

Пишите это по ходу работы, а не в конце. Каждая запись занимает минуту, пока проблема свежа, и полдня археологических раскопок, когда она еще не свежа. Привычка сочетается с Исследовательский анализ данных. Исследование — это то, как вы находить проблемы. Книга ограничений – это то, как вы счет для них. Находка без учета приводит к потере находки.

Указание ограничения легко пропустить, если вы устали и настало время снятия показаний. ОС Аналитик данных вводит предостережение в рабочий процесс: команды считывания и передачи в Клод Код не будут печатать результаты без того, что данные не могут поддерживать. ОС Аналитик данных, 49 долларов США →

Ссылки

1. Ван, Р.Ю., и Стронг, Д.М. (1996). За пределами точности: что качество данных означает для потребителей данных. Журнал информационных систем управления, 12(4), 5–33. doi:10.1080/07421222.1996.11518099
2. Тьюки, JW (1977). Исследовательский анализ данных. Аддисон-Уэсли. (Исследовательская традиция, описанная в сопутствующей статье этого руководства.)