← Все курсы · Все руководства · Серия «Миграция данных»

Храните свои файлы в порядке

Негламурная половина работы, которая каждый день возвращает вам время · Часть Analyst Prep Kit

К Майкл Носито, аналитик данных · Опубликовано 30 июля 2026 г.

В результате миграции создаются сотни файлов: экстракты, файлы загрузки, отклоненные строки, версии сопоставления, списки исключений. Потеря отслеживания того, какой лист является текущим, стоит часа и, что еще хуже, стоит вашей уверенности в своих собственных цифрах. Это структура, которую я использую, и три правила, которые имеют наибольшее значение.

Краткая версия. Одна папка на этап, даты в начале имен файлов, никогда не перезаписывайте фрагменты и сохраняйте каждый файл отклоненных строк.

Структура папок

client-name/
  00-admin/          contract dates, plan, contacts, meeting notes
  01-extracts/       raw exports, never edited, never overwritten
  02-profiling/      counts, findings, the queries that produced them
  03-mapping/        the map, versioned, plus the signed-off copy
  04-cleaning/       transformation rules, exception lists, decisions
  05-loads/          load files, by attempt
  06-rejects/        rejected rows, by attempt, never deleted
  07-reconciliation/ before and after counts, the final report
  08-handover/       what goes to the client and to support

Нумерация папок позволяет сортировать их в порядке выполнения работы, поэтому список папок является статусом проекта. Любой, кто откроет его, включая вас через шесть недель, сможет увидеть, где что находится.

Именование, которое сортируется само собой

Сначала укажите дату в порядке года, месяца, дня, затем что это такое, затем версию.

2026-07-14_client-extract_full.csv сортируется в хронологическом порядке без каких-либо действий. final_v2_REALFINAL.xlsx нет, и вы точно знаете, какой из этих двух вы создали.

Как вы думаете, что в первую очередь идет не так с таким именем, как mapping_final.xlsx? Он перестает быть окончательным, и ничто в названии не говорит вам, когда оно прекратилось.

Три правила, которые важнее структуры

Никогда не редактируйте отрывок на месте. Экспорт сырья является тому подтверждением. Скопируйте его в рабочую папку и отредактируйте копию. Когда три недели спустя число подвергается сомнению, все решает нетронутый оригинал.

Никогда не перезаписывайте загрузочный файл. Каждая попытка получает свой собственный датированный файл. Третья попытка, провалившаяся иначе, чем вторая, является информацией, и она исчезнет, ​​если вы сохраните ее.

Сохраняйте каждый файл отклоненных строк. Это самые полезные файлы в проекте, и люди удаляют их в первую очередь. Они расскажут вам, что ненавидит загрузчик, и являются доказательством изменения расписания или обращения в службу поддержки.

Записывайте поведение загрузчика по мере его изучения.

Массовые погрузчики строгие, молчат о сбоях и не спешат сказать, какой ряд сломался. Никто не документирует за вас свои причуды, и вы встретите такие же при следующем клиенте.

Держите один файл. Дата, что вы пробовали, что получилось, сколько времени это заняло, что исправило.

Две причины, по которым это стоит потраченной минуты. Это ускоряет работу со следующим клиентом. А плохая работа, которую можно доказать с помощью дат и сроков, — это бизнес-находка, тогда как та же жалоба без сроков — это фольклор.

Версируйте карту, храните подписанную копию отдельно.

тот карта поля изменения в рамках проекта, и одной из его версий является та, с которой согласился клиент.

Храните эту копию в отдельном файле с именем, соответствующим дате ее подписания, и никогда не редактируйте ее. Более поздние версии живут рядом с ним. Когда кто-то говорит, что данные неверны, вы открываете подписанную копию, и возникает вопрос, соответствует ли нагрузка соглашению, на который вы можете ответить за считанные секунды.

Еще одна вещь, за которую вы поблагодарите себя

Постоянно записывайте решения с датами. Не формальный журнал, один файл, одна строка на каждое решение, кто его принял.

Почти каждый спор в проекте связан с решением, которое кто-то не помнит. Строка, говорящая, кто, что и когда выбрал, завершает это, и никому не придется ошибаться перед своим менеджером.

Одна привычка

Дата перед каждым именем файла. Это двухсекундная привычка, которая устраняет целую категорию путаницы.

Какое самое худшее преступление, связанное с именованием файлов, вы считаете?

Ссылки

1. Ван, Р.Ю., и Стронг, Д.М. (1996). За пределами точности: что качество данных означает для потребителей данных. Журнал информационных систем управления, 12(4), 5–33.
2. Маттес Ф., Шульц К. и Халлер К. (2011). Тестирование и обеспечение качества в проектах миграции данных. 27-я Международная конференция IEEE по сопровождению программного обеспечения (ICSM), 438–447.