← Все курсы · Все руководства · Серия «Миграция данных»

Этап 5: Пробный прогон

Этап 5 из 8 · Загрузите все это в безопасное место и докажите, что оно работает · Часть Analyst Prep Kit

К Майкл Носито, аналитик данных · Опубликовано 30 июля 2026 г.

Пробный прогон — это полная загрузка в песочницу с последующей сверкой. Это этап, на котором исследования звучат наиболее громко, и именно он решает, будет ли ваша жизнь спокойной. В этой статье рассказывается, что загружать, шесть проверок, которые необходимо пройти, и как регистрировать сбои, чтобы второй запуск был быстрее.

Краткая версия. Загрузите все, согласуйте четыре способа и запишите каждое исправление. Если прогон потребовал от вас вмешательства вручную, он не завершен.

Загружайте все, а не образец

Как вы думаете, что не может найти образец загрузки? Ответьте, прежде чем читать дальше.

Пример подтверждает отображение. Полная загрузка подтверждает сопоставление, объем, время и длинный хвост странных значений, которые существуют всего несколько сотен раз в миллионе строк. Это то, что мешает запуску, и образец не может их увидеть.

Полная загрузка также говорит вам, сколько времени занимает реальная загрузка. Это число входит в план и определяет окно заморозки.

Шесть проверок

1. Считает. Строки в источнике и строки в целевом объекте для каждой таблицы. Они совпадают, или вы можете объяснить разницу цифрами. «Нам не хватает 412 записей, потому что 412 записей были исключены из списка исключений», — таково объяснение. «Примерно то же самое» — нет.

2. Итоги. Суммируйте числа, которые имеют значение. Часы посещения, суммы счетов, остатки. Счетчики могут совпадать, хотя значения неверны, и итоговая сумма улавливает преобразование, которое сдвигает десятичную дробь.

3. Сироты. Ноль. Каждый документ, прикрепленный к клиенту, каждый визит, прикрепленный к сотруднику. Это левое соединение, где правая часть равна нулю, и ответ должен быть пустым.

4. Выборочные проверки реальных записей. Выберите десять клиентов, включая двух самых сложных, и сравните их по полю со старой системой. Это проверка, которая находит то, что скрывают агрегаты.

5. Технологичность. Данные загружены и выглядят прямо на экране. Теперь создайте целевую систему на самом деле Использовать это. Запустите полноценный рабочий процесс: создайте счет, запланируйте визит, создайте отчет, который клиент запускает каждый понедельник. Данные могут отображаться идеально, но при этом оставаться непригодными для использования, поскольку загрузчик записывал данные прямо в таблицы и пропускал значение, которое приложение ожидало там разместить.

6. Интеграция. Все, что общается с этой системой, по-прежнему работает. Экспорт заработной платы, подача отчетов, передача счетов. Они ломаются тихо и ломаются после запуска в эксплуатацию на глазах у кого-то другого.

Проверки с 1 по 4 спрашивают, прибыли ли данные. Проверки 5 и 6 спрашивают, работает ли это. Это разные вопросы, и чистое примирение дает ответ только на первый.

Представьте себе нагрузку, в которой значения идеально совпадают, а общие суммы на десять процентов ниже. Скажите, что могло стать причиной этого, прежде чем читать следующее предложение. Преобразование валюты или единиц измерения, примененное к некоторым строкам, а не к другим, является обычным ответом, и его находит только проверка итогов.

Записывайте все, что ломается

Реальный результат пробного прогона — это не загруженная песочница. Это журнал проблем.

Каждая проблема получает одни и те же четыре вещи: что произошло, какие записи, что исправлено и является ли исправление частью процесса. Последнее является важным. Исправление, которое живет в вашей голове, — это исправление, которое не произойдет ночью.

Бестарные погрузчики и их настроения

Загрузчик — это то, где идет время. Они строгие, молчат о том, почему что-то забраковали, и провалят сто тысяч строк из-за одного плохого персонажа.

Три привычки делают его выживающим. Загружайте достаточно небольшими партиями, чтобы сбой вам о чем-то сказал. Сохраняйте датированный файл отклоненных строк для каждой попытки. И записывайте конкретные жалобы грузчика по мере их изучения, потому что такие же вы встретите на следующем клиенте и никто за вас это не документирует.

Плохая производительность загрузчика также является заслуживающим внимания фактом. Если загрузка, которая должна занимать час, занимает девять, это должно быть в ваших заметках с указанием времени, поскольку это является свидетельством либо изменения расписания, либо обращения в службу поддержки.

Ворота

Этап закрывается, когда полная загрузка полностью согласовывается, в журнале проблем есть исправления для каждой записи, и никакое исправление не требует вмешательства человека во время выполнения. Относитесь к пробному прогону как к настоящей миграции, а к вводу в эксплуатацию — как к повторному выполнению. Если вы не можете повторить это, вы не готовы.

Откуда это взялось

В статье Маттеса, Шульца и Халлера о тестировании и обеспечении качества в проектах миграции прямо говорится: именно деятельность по обеспечению качества, а не загрузка, определяет, будет ли миграция успешной. По той же причине их модель процесса требует полной репетиции перед переключением.

Одна привычка

Если пробный прогон потребовал исправления вручную, запустите его еще раз. Второй прогон расскажет вам правду.

Какова самая странная причина, по которой у вас когда-либо выходил из строя груз?

Ссылки

1. Маттес Ф., Шульц К. и Халлер К. (2011). Тестирование и обеспечение качества в проектах миграции данных. 27-я Международная конференция IEEE по сопровождению программного обеспечения (ICSM), 438–447.
2. Халлер К., Маттес Ф. и Шульц К. (2012). Подробная модель процесса для крупномасштабных проектов миграции данных. Системы бизнес-информации (BIS 2012), Конспекты лекций по обработке бизнес-информации, 117. Спрингер.