Что такое анализ данных?
К концу этой страницы вы проведете настоящий анализ данных. Это небольшое задание, написанное на бумаге, с арифметикой, которую вы можете проделать в голове. Вы также будете знать, как выглядят реальные вакансии по часам (эту часть пропускают большинство статей для начинающих), и чему следует научиться в первую очередь, если вы этого хотите.
Сама работа состоит из четырех ходов. Вы начинаете с вопроса, за которым стоит решение. Вы получаете записи того, что произошло. Вы разбиваете эти записи на группы и сравниваете группы. Потом вы говорите, что с этим делать. Все остальное, каждый инструмент и каждая должность — это вариации этих четырех приемов.
- Что на самом деле представляет собой анализ данных
- Проработанный пример, которому вы можете следовать на бумаге
- Где используется анализ данных
- Четыре шага по порядку
- Инструменты и порядок их изучения
- Когда очевидный ответ неверен
- Работа и как на самом деле выглядит день
- Откуда эти цифры
- Как попасть в поле
- Шпаргалка
- Что читать дальше
Что на самом деле представляет собой анализ данных
Данные — это просто запись того, что произошло. Квитанция — это данные. Временная метка на дверном значке — это данные. Спор о том, что клиент 4471 аннулировал контракт 3 марта, является данными.
Анализ — это то, что вы делаете с кучей этих записей, чтобы ответить на вопрос. Обычно вопрос заключается в сравнении. Какая группа больше? Какой из них растет? Какой из них стоит нам денег?
Вот та часть, которая делает это работой, а не хобби. Одна запись не скажет вам ничего полезного. Один клиент отменил, и что. Десять тысяч записей имеют форму, и эта форма видна только после того, как вы их сгруппируете. Группировка – это весь фокус. Вы берете одинаковые строки, складываете их в корзину и считаете корзины.
Одно слово вы увидите повсюду: метрика. Метрика — это число, которое вы решили отслеживать, с прикрепленным к нему определением. «Продажи» не являются показателем, пока кто-то не скажет, включает ли он возврат средств. Половина всех аналитических аргументов на самом деле являются аргументами по поводу определения. руководство по определению показателей полностью об этом.
Проработанный пример, которому вы можете следовать на бумаге
У владельца кофейни есть вопрос, за которым стоит решение. Она платит сотрудникам за два дополнительных часа, по одному в каждый конец дня. Она может позволить себе только один. Должна ли она открыться в 7 утра или оставаться открытой до 8 вечера?
Остановитесь на секунду и решите, что вы хотели бы знать, чтобы ответить на этот вопрос. Не так, как вы бы это посчитали. Именно то, что вам нужно увидеть. Запомните свой ответ и сравните его с четырьмя шагами, которые она предприняла.
У нее есть кассовые записи всех продаж за последние три месяца. Это около 1200 строк, и каждая строка выглядит так:
date time item amount
2026-04-02 07:14 latte 4.50
2026-04-02 07:22 croissant 3.20
2026-04-02 19:41 tea 2.80
Никто не может прочитать 1200 строк. Поэтому она группирует их. Каждая продажа до 8 утра идет в одно ведро. Каждая продажа после 19:00 переходит в другую. Затем она складывает суммы в каждом ведре.
| Час | Продажи за 90 дней | Всего денег | в день |
|---|---|---|---|
| с 7 утра до 8 утра | 612 | $2,570 | $28.56 |
| с 19:00 до 20:00 | 184 | $690 | $7.67 |
Это полный анализ. Четыре столбца, две строки, и из него выпадает решение: открыть пораньше. Утренний час приносит за день почти в четыре раза больше, чем вечерний час.
Обратите внимание на то, что вам не нужно. Никакой статистики. Никакого машинного обучения. Никакого прогноза. Вы сгруппировали строки и сравнили группы, а это и есть подавляющее большинство оплачиваемой аналитической работы.
Где используется анализ данных
Везде кто-то ведет учет и ему приходится делать выбор. Это шире, чем «технологическая компания», и повседневная версия гораздо более распространена, чем знаменитая версия.
| Поле | Настоящий вопрос, за ответ на который платят деньги |
|---|---|
| Розничная торговля и рестораны | Какие продукты люди покупают вместе, какие два должны стоять на одной полке? |
| Больницы | В какой день недели чаще всего пропускают приемы, и можем ли мы написать этим пациентам текстовые сообщения накануне вечером? |
| Банковское дело | Какие транзакции отличаются от всего остального, что когда-либо совершал этот клиент? |
| Приложения по подписке | Сколько человек, зарегистрировавшихся в январе, все еще платят в июне? |
| Логистика | Какие маршруты доставки чаще всего опаздывают, и это маршрут или время отправления водителя? |
| Местное самоуправление | На каких перекрестках поступает больше всего сообщений о столкновениях на тысячу транспортных средств? |
| Спорт | Из каких точек площадки этот игрок на самом деле забивает, а не забивает больше всего? |
| Сельское хозяйство | Какие участки поля дают наименьшую урожайность и соответствует ли это карте испытаний почвы? |
Каждый из них — кофейня. Возьмите записи, разбейте их на группы, сравните группы, порекомендуйте изменение.
Четыре шага по порядку
Любой анализ, который вы когда-либо будете проводить, состоит из этих четырех шагов. Названия шагов меняются в зависимости от компании. Заказа нет.
1. Зафиксируйте вопрос
Кто-то спрашивает: «Как идут продажи?» Это не подлежит ответственности. Превратите это во что-то, что имеет один ответ и связанное с ним решение. «Час 7 утра стоит больше, чем час 7 вечера?» является ответственным. Запишите вопрос, прежде чем прикасаться к данным, потому что он решает все, что вы будете делать дальше.
Здесь вы также устанавливаете определения. Учитывается ли возвращенная продажа? Считается ли покупка в рамках программы лояльности стоимостью 0 долларов продажей? Решайте сейчас, письменно, или будете переделывать работу.
2. Получите данные и посмотрите на них
Найдите записи. Они будут в электронной таблице, или в базе данных, или в экспорте из какой-то системы, в которую никто не заходил с 2021 года. Затем, прежде чем доверять чему-либо из этого, посмотрите на это. Посчитайте ряды. Убедитесь, что диапазон дат соответствует вашим ожиданиям. Найдите пробелы. Найдите дубликаты.
Этот шаг называется исследовательским анализом данных, и именно на нем обнаруживаются проблемы, пока они еще дешевы. руководство по исследовательскому анализу данных охватывает то, что искать.
3. Сгруппируйте и сравните
Это анализ. Поместите одинаковые ряды в ведра, посчитайте или сложите каждое ведро и поставьте ведра рядом. В электронной таблице это сводная таблица. В SQL это GROUP BY. Это одна и та же операция с двумя названиями.
Затем разделите группы дальше. Не просто утро против вечера, а утро против вечера в будние и выходные дни. Именно в расщеплении и заключаются настоящие результаты, и в следующем разделе показано, почему.
4. Скажите, что это значит и что делать
График не является ответом. Ответом является предложение: «открыт в 7 утра, зарабатывает примерно на 21 доллар в день больше, чем за вечерний час, и так каждый будний день». Затем укажите, в чем вы ошибаетесь. «Это весенние данные за три месяца, и они не охватывают декабрь».
Говорить о том, что может сделать вас неправым, — это не слабость, это главное, что отличает аналитика от того, кто задавал запрос. руководство по документированию ограничений вникает в это как следует.
Инструменты и порядок их изучения
Сначала угадайте порядок. Excel, SQL, инструмент визуализации, Питон. Что наступит первым, а что может ждать дольше всего? Большинство людей ставят неправильный вариант на последнее место.
Инструменты выполняют четыре шага за вас при больших размерах. Это все, чем они являются. Существует разумный порядок, и это не тот порядок, который подразумевают объявления о вакансиях.
| инструмент | Что это такое | Когда вам это нужно |
|---|---|---|
| Электронные таблицы (Excel, Google Таблицы) | Сетка, которую вы можете ввести, с формулами и сводными таблицами. | Всегда. Это по-прежнему наиболее используемый инструмент в этой области, и сводная таблица — это третий шаг. |
| SQL | Язык для задания вопросов к базе данных | Когда данные слишком велики для электронной таблицы или находятся в базе данных компании. Это навык, который проверяется большинством объявлений о вакансиях. |
| Инструмент информационной панели (Power BI, Tableau). | Превращает таблицу в диаграммы, которые могут просматривать другие люди. | Когда каждую неделю задают один и тот же вопрос и ты устал на него отвечать. |
| Питон или R | Языки программирования с библиотеками данных | Когда для работы нужно что-то, чего не может сделать электронная таблица: статистика, прогнозы или повторение грязной уборки каждую ночь. |
| Статистика | Способы сказать, насколько вы уверены | Когда разница между двумя группами невелика и кто-то будет тратить на это деньги. |
Изучите их в таком порядке. Таблицы и SQL сами по себе охватывают большую часть работы начального уровня. Python действительно полезен, и это также наиболее распространенный способ, которым новички тянутся в течение шести месяцев, не создавая ничего, на что можно было бы обратить внимание.
Когда очевидный ответ неверен
Вот что делает анализ навыком, а не поиском. Число всей группы может указывать в одну сторону, а число каждой подгруппы — в другую.
Скажите, верите ли вы в это, прежде чем читать пример. В одной больнице в целом уровень выживаемости хуже, чем в другой, но при этом она лучше справляется с каждым типом пациентов. Возможно, или ошибка в арифметике?
Сначала выдуманный пример, чтобы механика была ясна. Две больницы, и ты хочешь, чтобы в одной из них ты с большей вероятностью вернулся домой живым.
| Пациенты | Больница А выжила | Больница Б выжила |
|---|---|---|
| Прибыл в хорошем состоянии | 95 из 100 (95%) | 180 из 200 (90%) |
| Прибыл в плохом состоянии | 120 из 200 (60%) | 55 из 100 (55%) |
| Каждый | 215 из 300 (72%) | 235 из 300 (78%) |
Больница Б в целом выглядит лучше: 78% против 72%. Но А лучше в обеих группах, которые он фактически лечит: 95% против 90% и 60% против 55%. Б просто получает в два раза больше легких случаев. Общее число измеряет тех, кто входит в дверь, а не того, что делает больница.
Это не любопытство. Это произошло публично, на основе реальных данных, в 1973 году. Калифорнийский университет в Беркли выглядел так, будто в аспирантуру принимал мужчин гораздо чаще, чем женщин: 8442 мужчины подали заявки и около 44% поступили против 4321 женщин и около 35%. Затем трое исследователей разделили цифры по отделам, и закономерность практически исчезла. Гораздо большее число женщин подавало заявления в отделы, куда принимали наименьшую долю заявок (Бикель, Хаммель & O'Коннелл, 1975, Наука 187(4175), 398–404).
От этого вас защищает одна привычка: сравнив две группы, снова разделите их и проверьте, что ответ сохранился. Вот и все. Это стоит одной дополнительной сводной таблицы.
Работа и как на самом деле выглядит день
Названия должностей в этой области не совпадают в разных компаниях. Одна и та же работа называется тремя разными словами, и одно и то же название означает три разные работы. Таким образом, таблица ниже описывает работу, а не ярлык, и дает примерное представление о том, как на самом деле проходит неделя.
| роль | Что вы на самом деле делаете большую часть дней | Тяжелая неделя | Честное замечание |
|---|---|---|---|
| Аналитик данных |
Отвечайте на вопросы, которые вам присылают. Вытяните строки, сгруппируйте их, постройте небольшую таблицу или диаграмму, объясните ее на собрании. Затем выясните, почему ваш номер не совпадает с чужим номером. | Поиск и очистка данных 45% Фактический анализ 20% Объяснения и встречи 25% Исправление старой работы 10% |
Вы будете использовать статистику гораздо меньше, чем предполагает курсовая работа. Навык, который поможет вам повыситься, заключается в том, чтобы спросить у запрашивающего, какое решение он принимает, прежде чем что-либо создавать. |
| Бизнес- или BI-аналитик | Иметь набор информационных панелей. Добавляйте показатели, исправляйте неработающие, переобучайте людей по ним и принимайте запросы на новые представления тех же данных. | Ведение дашбордов 40% Строительство новых 20% Встречи с заинтересованными сторонами 30% Анализ 10% |
Вы поддерживаете больше, чем строите. Реальную долю запрошенных информационных панелей просматривают дважды, а затем никогда больше, и никто не говорит вам, какие именно. |
| Аналитик по отчетности или операциям | Создавайте один и тот же набор отчетов по фиксированному графику в Excel для одной и той же аудитории. Исследуйте все, что вам не нравится. | Составление плановых отчетов 55% Расследование странностей 20% Встречи 15% Улучшение процесса 10% |
Самая легкая дверь в поле и самые предсказуемые часы. Это также та должность, на которой можно провести три года, не изучая ничего нового, если только вы намеренно не автоматизируете собственную работу. |
| Инженер-аналитик | Напишите и поддерживайте SQL, который превращает необработанные таблицы в чистые таблицы, которые используют все остальные. Контроль версий, тесты, документация. | Написание SQL 50% Тестирование и обзор 20% Документация 15% Встречи 15% |
Самая новая из этих игр, наиболее близкая к разработке программного обеспечения. Опущенные головы, мало встреч с заинтересованными сторонами, и обычно сначала требуется год или два аналитической работы. |
| Дата-инженер | Создавайте и контролируйте конвейеры, которые перемещают данные между системами. Управляйте сбоями, объемом и стоимостью. | Строительство и ремонт трубопроводов 60% Дежурства и инциденты 15% Дизайн и проверка 15% Встречи 10% |
Это работа по разработке программного обеспечения, а не по анализу. Вы редко смотрите на то, что означают данные. Здесь обычно платят больше всего должностей и больше всего дежурят по вызову. |
| Специалист по данным | Варьируется больше, чем любое другое название здесь. Во многих компаниях Python используют аналитики. Некоторые из них занимаются созданием и мониторингом прогнозных моделей. | Подготовка данных 45% Моделирование 20% Анализ 20% Встречи 15% |
Читайте фактические обязанности в публикации, а не в названии. Должности, которые действительно связаны с моделированием, обычно требуют наличия ученой степени, и их доля вакансий меньше, чем предлагает Интернет. |
Закономерность для всех шести: подготовка данных занимает больше недели, чем их анализ. Это не признак плохо управляемой компании. Это работа.
Что касается зарплаты, я бы предпочел указать вам на источник, чем повторять цифры из блога о зарплатах. Бюро статистики труда США публикует медианную заработную плату, ожидаемый рост и типичное начальное образование для каждого из них, и эти данные обновляются ежегодно: bls.gov/ooh. Найдите там «специалистов по обработке данных», «аналитиков управления» и «аналитиков исследования операций», поскольку именно эти категории охватывают большую часть аналитической работы.
Откуда эти цифры
Утверждение, что подготовка данных съедает неделю, не является фольклором. Исследователи опросили 35 аналитиков в 25 организациях, работающих в таких секторах, как здравоохранение, розничная торговля, маркетинг и финансы. Поиск данных, их очистка и выяснение того, что в них содержится, снова и снова возникали в качестве повторяющихся болевых точек работы у всех аналитиков, с которыми они разговаривали (Кандель, Пэпке, Хеллерштейн & Хир, 2012, Транзакции IEEE по визуализации и компьютерной графике 18(12), 2917–2926).
В том же исследовании выяснилось, что аналитики разделены на три группы в зависимости от того, как они работают: люди, которые свободно пишут код, люди, которые пишут сценарии, и люди, которые работают внутри таких приложений, как Excel или инструмент информационной панели. Все три — настоящие аналитики. Вам не обязательно быть первым человеком.
В более позднем исследовании были опрошены тридцать профессиональных аналитиков, посвященных конкретно разведке. Он не нашел ни одного аккуратного трубопровода. Иногда исследование является разминкой перед целенаправленным анализом, а иногда поиск чего-то интересного сам по себе является целью, и аналитики расходятся во мнениях относительно того, имеет ли значение эта вторая цель (Олспо, Зокаи, Лю, Джин & Херст, 2019, Транзакции IEEE по визуализации и компьютерной графике 25(1), 22–31).
Новичку стоит этого придерживаться. Четыре шага — это правильный порядок обучения. В реальной работе вы вернетесь к первому шагу на полпути к третьему, потому что данные подсказывают вам, что вопрос был неправильным. То есть работа идет хорошо, а не плохо.
Как попасть в поле
Преградой является не интеллект и обычно не степень. Дело в том, что менеджеры по найму не могут по сертификату определить, действительно ли вы можете это сделать. Итак, весь план направлен на создание чего-то, на что они смогут посмотреть.
- Сначала освоитесь с электронной таблицей. сводные таблицы,
SUMIFS,VLOOKUPилиXLOOKUPи основные диаграммы. Неделю или две. На самом деле это большая часть третьего шага, и он есть почти в каждой должностной инструкции. - Затем изучите SQL и пойдите дальше, чем просто основы.
SELECT,WHERE,GROUP BY, а затем присоединяется. В соединениях новички незаметно теряют или дублируют строки, и это самая проверяемая тема в интервью аналитиков. Запланируйте месяц реальной практики. - Сделайте один проект с данными, которые вам действительно важны. Не набор данных Титаника. О чем-то, о чем у вас есть мнение: об открытых данных вашего города, об игре, в которую вы играете, о ваших собственных расходах. Забота – это то, что помогает вам пройти через скучную часть уборки.
- Напишите проект, чтобы незнакомец мог следить за ним. Сформулируйте вопрос, покажите проблемы данных, покажите сравнение, сформулируйте рекомендацию и укажите, в чем вы ошибаетесь. Этот документ является вашей квалификацией. Это то, что на самом деле читают.
- Опубликуйте его на Гитхаб. Ссылка лучше, чем пункт в резюме. Руководство по Git покрывает это с нуля.
- Добавляйте инструмент информационной панели только в том случае, если сообщения, которые вы хотите, требуют этого. Сначала прочтите десять реальных объявлений о работе в вашем городе. Позвольте им сказать вам, следует ли изучать Power BI или Tableau, вместо того, чтобы гадать.
- Потренируйтесь объяснять вслух. Интервью в основном заключаются в том, чтобы «провести меня через момент, когда вы обнаружили что-то удивительное». Расскажите историю вашего проекта человеку, который не работает с данными, и вырезайте все, что ему не нравится.
Две вещи, которые следует пропустить на раннем этапе: второй сертификат перед первым проектом и Python перед SQL. Оба чувствуют себя продуктивными и оба откладывают дело, ради которого вас нанимают.
Комплект подготовки аналитика обучает SQL, Excel, Python, Power BI, Tableau и статистике с помощью рабочих примеров, лабораторных работ, которые вы запускаете в браузере, обучающих карточек и пробных экзаменов. Если вы следуете приведенному выше плану, начните с Курс SQL и Эксель-комплект. Ничего устанавливать и учетная запись не требуется.
Откройте платформа для подготовки аналитиков →Шпаргалка
| Срок | Что это значит | Где вы встретите это |
|---|---|---|
| Данные | Запись о том, что произошло | Строка в электронной таблице или таблице |
| Строка и столбец | Ссора – это то, что произошло. Колонка — это один факт об этом. | Каждый стол, везде |
| метрика | Число, которое вы отслеживаете, плюс определение того, что имеет значение | Шаг первый и каждый спор после него |
| Группировка | Размещение одинаковых строк в сегменты и подсчет каждого сегмента. | Сводная таблица в Excel, GROUP BY в SQL |
| Очистка | Исправляйте пробелы, дубликаты и несоответствия в написании перед подсчетом | Шаг второй и большая часть недели |
| Исследовательский анализ данных | Просмотр данных, прежде чем доверять им | Шаг второй |
| Присоединение | Сопоставление строк одной таблицы со строками другой | SQL и популярная тема интервью |
| Разделение групп | Повторная проверка сравнения внутри каждой подгруппы | Шаг третий, и он убережет вас от неправильных ответов |
| Ограничения | Что не охватывает ваш ответ и что может сделать его неправильным | Шаг четвертый, всегда записанный |
Что читать дальше
Каждый из четырех шагов имеет более глубокое руководство. Чтобы:
- Шаг первый, фиксация вопроса: превращение нечетких вопросов в измеримые определения и выбор ограничений, которые вы можете защитить.
- Шаг второй, просмотр данных: Почему важен исследовательский анализ данных, и Как настроить базу данных SQL когда файл становится слишком большим.
- Шаг третий, группировка и сравнение: СЧЕТ в SQL, Выражение CASE, и объединяется без потери или удвоения строк.
- Шаг четвертый, говоря, что это значит: Документирование ограничений и создание информационной панели и истории.
- Когда инструменты сопротивляются, а они: Техническая стойкость.
Вопрос, если у вас есть минутка. На какой первый вопрос вы хотели бы ответить, используя данные из своей жизни или своей работы? Не практический набор данных. Настоящий, о котором вы уже задаетесь вопросом. Этот вопрос лучше всего подойдет для начала проекта, чем все, что я мог бы вам задать, и я читаю каждый ответ.
Думать как аналитик Это 64 страницы, посвященные половине работы: определение показателя, составление отчета по результатам анализа, изучение данных, прежде чем вы им поверите, и высказывание вслух того, о чем ваши данные не могут вам сказать.
Думать как аналитик, 19 $ →Ссылки
- Бикель П.Дж., Хаммел Э.А. и О'Коннелл Дж.В. (1975). Половая предвзятость при поступлении в аспирантуру: данные Беркли. Наука, 187(4175), 398–404.
- Кандел С., Паепке А., Хеллерштейн Дж. М. и Хир Дж. (2012). Анализ и визуализация корпоративных данных: интервью. Транзакции IEEE по визуализации и компьютерной графике, 18(12), 2917–2926.
- Олспо С., Зокаи Н., Лю А., Джин К. и Херст М.А. (2019). Фаттцинг и мечется: Интервью с профессиональными аналитиками данных о методах геологоразведочных работ. Транзакции IEEE по визуализации и компьютерной графике, 25(1), 22–31.