← Все курсы · Все руководства

Что такое анализ данных?

Отправная точка для новичков в работе с данными: что это за работа, на что она похожа и чему следует научиться в первую очередь · Часть Analyst Prep Kit

К , аналитик данных · Обновлено

К концу этой страницы вы проведете настоящий анализ данных. Это небольшое задание, написанное на бумаге, с арифметикой, которую вы можете проделать в голове. Вы также будете знать, как выглядят реальные вакансии по часам (эту часть пропускают большинство статей для начинающих), и чему следует научиться в первую очередь, если вы этого хотите.

Сама работа состоит из четырех ходов. Вы начинаете с вопроса, за которым стоит решение. Вы получаете записи того, что произошло. Вы разбиваете эти записи на группы и сравниваете группы. Потом вы говорите, что с этим делать. Все остальное, каждый инструмент и каждая должность — это вариации этих четырех приемов.

Краткая версия. Анализ данных — это изучение записей о событиях, которые уже произошли, и поиск закономерностей, которые изменят то, что кто-то сделает дальше. Если ничего не изменится, это не анализ. Это был отчет.
A tall stack of identical data rows on the left, labelled 1,200 rows. An arrow points right to two bars. The taller bar is labelled 7am and carries a tick. The shorter bar is labelled 8pm. 1,200 rows 7am 8pm
Множество записей становятся одним сравнением, и сравнение указывает на выбор.
Что здесь
  1. Что на самом деле представляет собой анализ данных
  2. Проработанный пример, которому вы можете следовать на бумаге
  3. Где используется анализ данных
  4. Четыре шага по порядку
  5. Инструменты и порядок их изучения
  6. Когда очевидный ответ неверен
  7. Работа и как на самом деле выглядит день
  8. Откуда эти цифры
  9. Как попасть в поле
  10. Шпаргалка
  11. Что читать дальше

Что на самом деле представляет собой анализ данных

Данные — это просто запись того, что произошло. Квитанция — это данные. Временная метка на дверном значке — это данные. Спор о том, что клиент 4471 аннулировал контракт 3 марта, является данными.

Анализ — это то, что вы делаете с кучей этих записей, чтобы ответить на вопрос. Обычно вопрос заключается в сравнении. Какая группа больше? Какой из них растет? Какой из них стоит нам денег?

Вот та часть, которая делает это работой, а не хобби. Одна запись не скажет вам ничего полезного. Один клиент отменил, и что. Десять тысяч записей имеют форму, и эта форма видна только после того, как вы их сгруппируете. Группировка – это весь фокус. Вы берете одинаковые строки, складываете их в корзину и считаете корзины.

Одно слово вы увидите повсюду: метрика. Метрика — это число, которое вы решили отслеживать, с прикрепленным к нему определением. «Продажи» не являются показателем, пока кто-то не скажет, включает ли он возврат средств. Половина всех аналитических аргументов на самом деле являются аргументами по поводу определения. руководство по определению показателей полностью об этом.

Проработанный пример, которому вы можете следовать на бумаге

У владельца кофейни есть вопрос, за которым стоит решение. Она платит сотрудникам за два дополнительных часа, по одному в каждый конец дня. Она может позволить себе только один. Должна ли она открыться в 7 утра или оставаться открытой до 8 вечера?

Остановитесь на секунду и решите, что вы хотели бы знать, чтобы ответить на этот вопрос. Не так, как вы бы это посчитали. Именно то, что вам нужно увидеть. Запомните свой ответ и сравните его с четырьмя шагами, которые она предприняла.

У нее есть кассовые записи всех продаж за последние три месяца. Это около 1200 строк, и каждая строка выглядит так:

date         time     item        amount
2026-04-02   07:14    latte       4.50
2026-04-02   07:22    croissant   3.20
2026-04-02   19:41    tea         2.80

Никто не может прочитать 1200 строк. Поэтому она группирует их. Каждая продажа до 8 утра идет в одно ведро. Каждая продажа после 19:00 переходит в другую. Затем она складывает суммы в каждом ведре.

ЧасПродажи за 90 днейВсего денегв день
с 7 утра до 8 утра612$2,570$28.56
с 19:00 до 20:00184$690$7.67

Это полный анализ. Четыре столбца, две строки, и из него выпадает решение: открыть пораньше. Утренний час приносит за день почти в четыре раза больше, чем вечерний час.

Обратите внимание на то, что вам не нужно. Никакой статистики. Никакого машинного обучения. Никакого прогноза. Вы сгруппировали строки и сравнили группы, а это и есть подавляющее большинство оплачиваемой аналитической работы.

Один дополнительный шаг, который добавляет профессионал. Она проверяет стоимость персонала. Если час в 7 утра стоит 32 доллара заработной платы и приносит 28,55 доллара, ответ будет противоположным. Анализ не закончен до тех пор, пока число не окажется рядом с тем, что оно должно побить.

Где используется анализ данных

Везде кто-то ведет учет и ему приходится делать выбор. Это шире, чем «технологическая компания», и повседневная версия гораздо более распространена, чем знаменитая версия.

ПолеНастоящий вопрос, за ответ на который платят деньги
Розничная торговля и рестораныКакие продукты люди покупают вместе, какие два должны стоять на одной полке?
БольницыВ какой день недели чаще всего пропускают приемы, и можем ли мы написать этим пациентам текстовые сообщения накануне вечером?
Банковское делоКакие транзакции отличаются от всего остального, что когда-либо совершал этот клиент?
Приложения по подпискеСколько человек, зарегистрировавшихся в январе, все еще платят в июне?
ЛогистикаКакие маршруты доставки чаще всего опаздывают, и это маршрут или время отправления водителя?
Местное самоуправлениеНа каких перекрестках поступает больше всего сообщений о столкновениях на тысячу транспортных средств?
СпортИз каких точек площадки этот игрок на самом деле забивает, а не забивает больше всего?
Сельское хозяйствоКакие участки поля дают наименьшую урожайность и соответствует ли это карте испытаний почвы?

Каждый из них — кофейня. Возьмите записи, разбейте их на группы, сравните группы, порекомендуйте изменение.

Четыре шага по порядку

Любой анализ, который вы когда-либо будете проводить, состоит из этих четырех шагов. Названия шагов меняются в зависимости от компании. Заказа нет.

1. Зафиксируйте вопрос

Кто-то спрашивает: «Как идут продажи?» Это не подлежит ответственности. Превратите это во что-то, что имеет один ответ и связанное с ним решение. «Час 7 утра стоит больше, чем час 7 вечера?» является ответственным. Запишите вопрос, прежде чем прикасаться к данным, потому что он решает все, что вы будете делать дальше.

Здесь вы также устанавливаете определения. Учитывается ли возвращенная продажа? Считается ли покупка в рамках программы лояльности стоимостью 0 долларов продажей? Решайте сейчас, письменно, или будете переделывать работу.

2. Получите данные и посмотрите на них

Найдите записи. Они будут в электронной таблице, или в базе данных, или в экспорте из какой-то системы, в которую никто не заходил с 2021 года. Затем, прежде чем доверять чему-либо из этого, посмотрите на это. Посчитайте ряды. Убедитесь, что диапазон дат соответствует вашим ожиданиям. Найдите пробелы. Найдите дубликаты.

Этот шаг называется исследовательским анализом данных, и именно на нем обнаруживаются проблемы, пока они еще дешевы. руководство по исследовательскому анализу данных охватывает то, что искать.

3. Сгруппируйте и сравните

Это анализ. Поместите одинаковые ряды в ведра, посчитайте или сложите каждое ведро и поставьте ведра рядом. В электронной таблице это сводная таблица. В SQL это GROUP BY. Это одна и та же операция с двумя названиями.

Затем разделите группы дальше. Не просто утро против вечера, а утро против вечера в будние и выходные дни. Именно в расщеплении и заключаются настоящие результаты, и в следующем разделе показано, почему.

4. Скажите, что это значит и что делать

График не является ответом. Ответом является предложение: «открыт в 7 утра, зарабатывает примерно на 21 доллар в день больше, чем за вечерний час, и так каждый будний день». Затем укажите, в чем вы ошибаетесь. «Это весенние данные за три месяца, и они не охватывают декабрь».

Говорить о том, что может сделать вас неправым, — это не слабость, это главное, что отличает аналитика от того, кто задавал запрос. руководство по документированию ограничений вникает в это как следует.

Инструменты и порядок их изучения

Сначала угадайте порядок. Excel, SQL, инструмент визуализации, Питон. Что наступит первым, а что может ждать дольше всего? Большинство людей ставят неправильный вариант на последнее место.

Инструменты выполняют четыре шага за вас при больших размерах. Это все, чем они являются. Существует разумный порядок, и это не тот порядок, который подразумевают объявления о вакансиях.

инструментЧто это такоеКогда вам это нужно
Электронные таблицы (Excel, Google Таблицы)Сетка, которую вы можете ввести, с формулами и сводными таблицами.Всегда. Это по-прежнему наиболее используемый инструмент в этой области, и сводная таблица — это третий шаг.
SQLЯзык для задания вопросов к базе данныхКогда данные слишком велики для электронной таблицы или находятся в базе данных компании. Это навык, который проверяется большинством объявлений о вакансиях.
Инструмент информационной панели (Power BI, Tableau).Превращает таблицу в диаграммы, которые могут просматривать другие люди.Когда каждую неделю задают один и тот же вопрос и ты устал на него отвечать.
Питон или RЯзыки программирования с библиотеками данныхКогда для работы нужно что-то, чего не может сделать электронная таблица: статистика, прогнозы или повторение грязной уборки каждую ночь.
СтатистикаСпособы сказать, насколько вы увереныКогда разница между двумя группами невелика и кто-то будет тратить на это деньги.

Изучите их в таком порядке. Таблицы и SQL сами по себе охватывают большую часть работы начального уровня. Python действительно полезен, и это также наиболее распространенный способ, которым новички тянутся в течение шести месяцев, не создавая ничего, на что можно было бы обратить внимание.

Когда очевидный ответ неверен

Вот что делает анализ навыком, а не поиском. Число всей группы может указывать в одну сторону, а число каждой подгруппы — в другую.

Скажите, верите ли вы в это, прежде чем читать пример. В одной больнице в целом уровень выживаемости хуже, чем в другой, но при этом она лучше справляется с каждым типом пациентов. Возможно, или ошибка в арифметике?

Сначала выдуманный пример, чтобы механика была ясна. Две больницы, и ты хочешь, чтобы в одной из них ты с большей вероятностью вернулся домой живым.

ПациентыБольница А выжилаБольница Б выжила
Прибыл в хорошем состоянии95 из 100 (95%)180 из 200 (90%)
Прибыл в плохом состоянии120 из 200 (60%)55 из 100 (55%)
Каждый215 из 300 (72%)235 из 300 (78%)

Больница Б в целом выглядит лучше: 78% против 72%. Но А лучше в обеих группах, которые он фактически лечит: 95% против 90% и 60% против 55%. Б просто получает в два раза больше легких случаев. Общее число измеряет тех, кто входит в дверь, а не того, что делает больница.

Это не любопытство. Это произошло публично, на основе реальных данных, в 1973 году. Калифорнийский университет в Беркли выглядел так, будто в аспирантуру принимал мужчин гораздо чаще, чем женщин: 8442 мужчины подали заявки и около 44% поступили против 4321 женщин и около 35%. Затем трое исследователей разделили цифры по отделам, и закономерность практически исчезла. Гораздо большее число женщин подавало заявления в отделы, куда принимали наименьшую долю заявок (Бикель, Хаммель & O'Коннелл, 1975, Наука 187(4175), 398–404).

От этого вас защищает одна привычка: сравнив две группы, снова разделите их и проверьте, что ответ сохранился. Вот и все. Это стоит одной дополнительной сводной таблицы.

Работа и как на самом деле выглядит день

Названия должностей в этой области не совпадают в разных компаниях. Одна и та же работа называется тремя разными словами, и одно и то же название означает три разные работы. Таким образом, таблица ниже описывает работу, а не ярлык, и дает примерное представление о том, как на самом деле проходит неделя.

Распределение по неделям: это мои оценки на основе объявлений о вакансиях, исследований, приведенных ниже, и результатов выполнения работы. Это не данные опросов. Относитесь к ним как к форме недели, а не как к ее измерению.

рольЧто вы на самом деле делаете большую часть днейТяжелая неделяЧестное замечание
Аналитик данных
общая точка входа
Отвечайте на вопросы, которые вам присылают. Вытяните строки, сгруппируйте их, постройте небольшую таблицу или диаграмму, объясните ее на собрании. Затем выясните, почему ваш номер не совпадает с чужим номером. Поиск и очистка данных 45%
Фактический анализ 20%
Объяснения и встречи 25%
Исправление старой работы 10%
Вы будете использовать статистику гораздо меньше, чем предполагает курсовая работа. Навык, который поможет вам повыситься, заключается в том, чтобы спросить у запрашивающего, какое решение он принимает, прежде чем что-либо создавать.
Бизнес- или BI-аналитик Иметь набор информационных панелей. Добавляйте показатели, исправляйте неработающие, переобучайте людей по ним и принимайте запросы на новые представления тех же данных. Ведение дашбордов 40%
Строительство новых 20%
Встречи с заинтересованными сторонами 30%
Анализ 10%
Вы поддерживаете больше, чем строите. Реальную долю запрошенных информационных панелей просматривают дважды, а затем никогда больше, и никто не говорит вам, какие именно.
Аналитик по отчетности или операциям Создавайте один и тот же набор отчетов по фиксированному графику в Excel для одной и той же аудитории. Исследуйте все, что вам не нравится. Составление плановых отчетов 55%
Расследование странностей 20%
Встречи 15%
Улучшение процесса 10%
Самая легкая дверь в поле и самые предсказуемые часы. Это также та должность, на которой можно провести три года, не изучая ничего нового, если только вы намеренно не автоматизируете собственную работу.
Инженер-аналитик Напишите и поддерживайте SQL, который превращает необработанные таблицы в чистые таблицы, которые используют все остальные. Контроль версий, тесты, документация. Написание SQL 50%
Тестирование и обзор 20%
Документация 15%
Встречи 15%
Самая новая из этих игр, наиболее близкая к разработке программного обеспечения. Опущенные головы, мало встреч с заинтересованными сторонами, и обычно сначала требуется год или два аналитической работы.
Дата-инженер Создавайте и контролируйте конвейеры, которые перемещают данные между системами. Управляйте сбоями, объемом и стоимостью. Строительство и ремонт трубопроводов 60%
Дежурства и инциденты 15%
Дизайн и проверка 15%
Встречи 10%
Это работа по разработке программного обеспечения, а не по анализу. Вы редко смотрите на то, что означают данные. Здесь обычно платят больше всего должностей и больше всего дежурят по вызову.
Специалист по данным Варьируется больше, чем любое другое название здесь. Во многих компаниях Python используют аналитики. Некоторые из них занимаются созданием и мониторингом прогнозных моделей. Подготовка данных 45%
Моделирование 20%
Анализ 20%
Встречи 15%
Читайте фактические обязанности в публикации, а не в названии. Должности, которые действительно связаны с моделированием, обычно требуют наличия ученой степени, и их доля вакансий меньше, чем предлагает Интернет.

Закономерность для всех шести: подготовка данных занимает больше недели, чем их анализ. Это не признак плохо управляемой компании. Это работа.

Что касается зарплаты, я бы предпочел указать вам на источник, чем повторять цифры из блога о зарплатах. Бюро статистики труда США публикует медианную заработную плату, ожидаемый рост и типичное начальное образование для каждого из них, и эти данные обновляются ежегодно: bls.gov/ooh. Найдите там «специалистов по обработке данных», «аналитиков управления» и «аналитиков исследования операций», поскольку именно эти категории охватывают большую часть аналитической работы.

Откуда эти цифры

Утверждение, что подготовка данных съедает неделю, не является фольклором. Исследователи опросили 35 аналитиков в 25 организациях, работающих в таких секторах, как здравоохранение, розничная торговля, маркетинг и финансы. Поиск данных, их очистка и выяснение того, что в них содержится, снова и снова возникали в качестве повторяющихся болевых точек работы у всех аналитиков, с которыми они разговаривали (Кандель, Пэпке, Хеллерштейн & Хир, 2012, Транзакции IEEE по визуализации и компьютерной графике 18(12), 2917–2926).

В том же исследовании выяснилось, что аналитики разделены на три группы в зависимости от того, как они работают: люди, которые свободно пишут код, люди, которые пишут сценарии, и люди, которые работают внутри таких приложений, как Excel или инструмент информационной панели. Все три — настоящие аналитики. Вам не обязательно быть первым человеком.

В более позднем исследовании были опрошены тридцать профессиональных аналитиков, посвященных конкретно разведке. Он не нашел ни одного аккуратного трубопровода. Иногда исследование является разминкой перед целенаправленным анализом, а иногда поиск чего-то интересного сам по себе является целью, и аналитики расходятся во мнениях относительно того, имеет ли значение эта вторая цель (Олспо, Зокаи, Лю, Джин & Херст, 2019, Транзакции IEEE по визуализации и компьютерной графике 25(1), 22–31).

Новичку стоит этого придерживаться. Четыре шага — это правильный порядок обучения. В реальной работе вы вернетесь к первому шагу на полпути к третьему, потому что данные подсказывают вам, что вопрос был неправильным. То есть работа идет хорошо, а не плохо.

Как попасть в поле

Преградой является не интеллект и обычно не степень. Дело в том, что менеджеры по найму не могут по сертификату определить, действительно ли вы можете это сделать. Итак, весь план направлен на создание чего-то, на что они смогут посмотреть.

  1. Сначала освоитесь с электронной таблицей. сводные таблицы, SUMIFS, VLOOKUP или XLOOKUPи основные диаграммы. Неделю или две. На самом деле это большая часть третьего шага, и он есть почти в каждой должностной инструкции.
  2. Затем изучите SQL и пойдите дальше, чем просто основы. SELECT, WHERE, GROUP BY, а затем присоединяется. В соединениях новички незаметно теряют или дублируют строки, и это самая проверяемая тема в интервью аналитиков. Запланируйте месяц реальной практики.
  3. Сделайте один проект с данными, которые вам действительно важны. Не набор данных Титаника. О чем-то, о чем у вас есть мнение: об открытых данных вашего города, об игре, в которую вы играете, о ваших собственных расходах. Забота – это то, что помогает вам пройти через скучную часть уборки.
  4. Напишите проект, чтобы незнакомец мог следить за ним. Сформулируйте вопрос, покажите проблемы данных, покажите сравнение, сформулируйте рекомендацию и укажите, в чем вы ошибаетесь. Этот документ является вашей квалификацией. Это то, что на самом деле читают.
  5. Опубликуйте его на Гитхаб. Ссылка лучше, чем пункт в резюме. Руководство по Git покрывает это с нуля.
  6. Добавляйте инструмент информационной панели только в том случае, если сообщения, которые вы хотите, требуют этого. Сначала прочтите десять реальных объявлений о работе в вашем городе. Позвольте им сказать вам, следует ли изучать Power BI или Tableau, вместо того, чтобы гадать.
  7. Потренируйтесь объяснять вслух. Интервью в основном заключаются в том, чтобы «провести меня через момент, когда вы обнаружили что-то удивительное». Расскажите историю вашего проекта человеку, который не работает с данными, и вырезайте все, что ему не нравится.

Две вещи, которые следует пропустить на раннем этапе: второй сертификат перед первым проектом и Python перед SQL. Оба чувствуют себя продуктивными и оба откладывают дело, ради которого вас нанимают.

Начните с двух навыков, которые действительно проверяются в объявлениях о вакансиях.

Комплект подготовки аналитика обучает SQL, Excel, Python, Power BI, Tableau и статистике с помощью рабочих примеров, лабораторных работ, которые вы запускаете в браузере, обучающих карточек и пробных экзаменов. Если вы следуете приведенному выше плану, начните с Курс SQL и Эксель-комплект. Ничего устанавливать и учетная запись не требуется.

Откройте платформа для подготовки аналитиков →

Шпаргалка

СрокЧто это значитГде вы встретите это
ДанныеЗапись о том, что произошлоСтрока в электронной таблице или таблице
Строка и столбецСсора – это то, что произошло. Колонка — это один факт об этом.Каждый стол, везде
метрикаЧисло, которое вы отслеживаете, плюс определение того, что имеет значениеШаг первый и каждый спор после него
ГруппировкаРазмещение одинаковых строк в сегменты и подсчет каждого сегмента.Сводная таблица в Excel, GROUP BY в SQL
ОчисткаИсправляйте пробелы, дубликаты и несоответствия в написании перед подсчетомШаг второй и большая часть недели
Исследовательский анализ данныхПросмотр данных, прежде чем доверять имШаг второй
ПрисоединениеСопоставление строк одной таблицы со строками другойSQL и популярная тема интервью
Разделение группПовторная проверка сравнения внутри каждой подгруппыШаг третий, и он убережет вас от неправильных ответов
ОграниченияЧто не охватывает ваш ответ и что может сделать его неправильнымШаг четвертый, всегда записанный
Единственная привычка, которую следует сохранить. Прежде чем тянуть одну строку, спросите, какое решение изменит ответ. Если никто не может назвать ни одного ответа, анализ не дает правильного ответа, потому что нет ничего, в чем он был бы прав.

Что читать дальше

Каждый из четырех шагов имеет более глубокое руководство. Чтобы:

Вопрос, если у вас есть минутка. На какой первый вопрос вы хотели бы ответить, используя данные из своей жизни или своей работы? Не практический набор данных. Настоящий, о котором вы уже задаетесь вопросом. Этот вопрос лучше всего подойдет для начала проекта, чем все, что я мог бы вам задать, и я читаю каждый ответ.

Вы можете выполнять работу, как только кто-то скажет вам, в чем она заключается. Расплывчатый вопрос — это та часть, которая вас останавливает.

Думать как аналитик Это 64 страницы, посвященные половине работы: определение показателя, составление отчета по результатам анализа, изучение данных, прежде чем вы им поверите, и высказывание вслух того, о чем ваши данные не могут вам сказать.

Думать как аналитик, 19 $ →

Ссылки