← Все курсы · Все руководства · Серия «Миграция данных»
Этап 3. Нанесите на карту поля
Карта полей представляет собой построчный список, в котором указано, чем каждое поле старой системы становится в новой. Это план всей работы, документ, который подписывает клиент, и ничего не загружается, пока он не будет согласован. В этой статье рассказывается о том, что происходит в каждой строке, как обрабатывать поля, которым некуда идти, а также о правиле идентификатора, которое объединяет записи и документы.
Краткая версия. Одна строка на каждое исходное поле. Каждый ряд заканчивается домом, трансформацией или письменным решением о том, что он не путешествует.
Что содержит строка сопоставления
Перед списком: как вы думаете, какую колонку забывают люди и которая потом вызывает больше всего споров?
| Столбец | Почему это там |
|---|---|
| Исходная таблица и поле | Именно откуда это взялось |
| Примеры значений | Три настоящие ценности. Это то, что делает карту доступной для просмотра человеком, не имеющим технических знаний. |
| Целевое поле | Где он приземляется или «не мигрировал» |
| Требуется в цели | Да или нет. Устраняет проблему с заготовками при профилировании |
| Трансформация | Что должно измениться в ценности, словами |
| Решение и кто его принял | Колонку люди забывают. Спустя полгода это единственное, что разрешает спор. |
Столбец образцовых значений превращает карту из технического документа в нечто, что клиент действительно может проверить. Никто не может просмотреть поле под названием cl_stat_cd. Каждый сможет просмотреть его, как только увидит, что он соответствует требованиям ACT, INACT и HOLD.
Поля, которым некуда идти
Они есть в каждой миграции. Старая система отслеживала то, чего не отслеживает новая, или отслеживала это где-то в другом месте. Есть четыре честных результата, и вы выбираете по одному на каждое поле.
Он соответствует другому полю. Отлично. Запишите преобразование.
Оно сливается с другим полем. Две адресные строки становятся одной. Запишите правило соединения, включая то, что происходит, когда одна сторона пуста.
Он попадает в заметки или настраиваемое поле. Клапан давления. Используйте его с осторожностью, поскольку о значении в поле примечаний невозможно сообщить, и клиент в конечном итоге захочет сообщить об этом.
Он не путешествует. Настоящий ответ, требующий максимально четкой письменной записи. Назовите поле, объясните, почему, и получите его подтверждение наряду с исключениями, согласованными на подать мяч.
Скажите, к какому из этих четырех вы бы подтолкнули клиента в сфере, которую никто не использовал с 2018 года. Затем прочитайте следующую строку. Это четвертый, и количество строк профилирования — ваше доказательство.
Один идентификатор связывает все воедино
Выберите один идентификатор для каждой реальной вещи, обычно клиента, и используйте его во всем. Записи ссылаются на это. Документы ссылаются на это. Ваши рабочие файлы ссылаются на него.
Вот что останавливает сирот. Документ, на котором указано имя клиента и ничего больше, — это документ, который в конечном итоге будет прикреплен не к тому человеку или никому. Документ, загруженный с идентификатором клиента, попадает туда, где ему и место.
Ключ старой системы обычно лучше носить с собой, даже если новая система генерирует свой собственный. Сохраните таблицу перехода от старого идентификатора к новому идентификатору. Он понадобится вам во время Сухой пробег, и он понадобится вам снова, если что-то придется перезагрузить.
Документы — это тоже данные
К файлам относятся второстепенно, а в регулируемой отрасли они составляют половину работы. С каждым документом нужно обращаться так же, как с записью: откуда он взят, как он называется, какого он типа, какая на нем дата, кому он принадлежит и где он находится.
Если часть исходного текста является бумажной, это отдельный рабочий поток со своей собственной временной шкалой. Сканирование и индексирование выполняются параллельно, и обычно именно они определяют дату запуска. Поставьте его на критический путь на первой, а не на шестой неделе.
Получение подписи
Не отправляйте таблицу с четырьмястами строк и не просите одобрения. Вы получите молчание, а молчание не является одобрением.
Отправьте его по частям, чтобы клиент мог его просмотреть. По одной таблице за раз, с отмеченными строками, требующими решения, и всем механическим способом, свернутым в сводную строку. Запросите решение по отмеченным строкам по дате.
Ворота закрываются, когда в каждой строке есть цель или письменное решение, и клиент подтвердил. На это электронное письмо с подтверждением вы будете указывать каждый раз, когда кто-то скажет, что данные неверны. Он преобразует вопрос «правильно ли это» в вопрос «соответствует ли это тому, что мы договорились», на который вы можете ответить за десять секунд.
Одна привычка
Ничто не движется, пока карта не будет подписана. Ни тестовой загрузки, ни быстрой выборки, ничего. Правило работает только в том случае, если у него нет исключений, потому что первое исключение — это то, которое кто-то запомнит.
Вы когда-нибудь получали в наследство систему, в которой вы не могли сказать, для чего предназначено поле? Что должна была сказать карта?
Подсчет строк, группировка для поиска дубликатов и объединение для поиска потерянных строк покрывает большую часть того, что требует от вас миграция. Курс SQL обучает этим движениям по порядку, имея данные перед вами.
Откройте набор SQL →Или сразу начните вводить: открыть SQL-практикум, тринадцать запросов, каждый из которых добавляет что-то одно к последнему.
Вы переносите записи клиента в новую систему, и вас беспокоит та неделя, когда клиент замолкает. Руководство по миграции данных это все восемь этапов по порядку, 63 страницы, от первой стартовой встречи до гиперпомощи, так что вы можете пройти один, не опоздав на три недели с важным вопросом.
Руководство по миграции данных, 29 долларов США →Ссылки
- Халлер К., Маттес Ф. и Шульц К. (2012). Подробная модель процесса для крупномасштабных проектов миграции данных. Системы бизнес-информации (BIS 2012), Конспекты лекций по обработке бизнес-информации, 117. Спрингер.
- Ван, Р.Ю., и Стронг, Д.М. (1996). За пределами точности: что качество данных означает для потребителей данных. Журнал информационных систем управления, 12(4), 5–33.