← Все курсы · Все руководства · Серия «Миграция данных»
Что на самом деле представляет собой миграция данных
Миграция данных — это перемещение записей клиента из имеющейся у него системы в купленную систему. Если вы собираетесь запустить свой первый, здесь будет указано, на что вы подписываетесь. К концу вы узнаете восемь стадий, слова, которые будете слышать на каждой встрече, и две неудачи, которые являются причиной большей части боли.
Саму работу описать просто. Клиент уходит из старой системы. Их история должна прийти в новой, полной, связной и правильной. Вы получаете данные, сопоставляете каждое поле с домом в новой системе, исправляете то, что сломано, загружаете это и доказываете совпадение чисел.
Краткая версия. Миграция — это перемещение, а не копирование. Вы несете ответственность за то, чтобы история дошла в целости и сохранности, и за то, что вы можете это доказать.
- Откуда берутся миграции
- Слова, которые вы услышите
- Восемь стадий и что такое врата
- Инструменты
- Две неудачи, которые обходятся дороже всего
- Откуда это взялось
- Как начать настоящую работу
Откуда берутся миграции
Перед списком: какой из этих четырех, по вашему мнению, производит самые беспорядочные данные? Угадайте и подождите.
Компания покупает новое программное обеспечение и уходит от старого поставщика. Это общий вариант. Агентство переносит пятнадцатилетнюю систему планирования на современную платформу.
Две компании сливаются. Теперь два списка клиентов должны стать одним, и один и тот же человек существует дважды с разным написанием.
Система перемещается с сервера в здании в облако. Модель данных обычно остается одинаковой, поэтому это самый щадящий вид.
Бизнес наконец заменяет электронные таблицы реальной системой. Это самое грязное. В электронных таблицах нет правил, поэтому все, что человек может ввести, находится где-то в файле.
Слова, которые вы услышите
| Срок | Что это значит |
|---|---|
| Источник и цель | Старая система и новая система. Вы произнесете эти слова сотни раз. |
| Извлекать | Получение данных из источника, обычно в виде набора файлов. |
| картографирование полей | Построчный список, в котором говорится, что это поле в старой системе становится тем же полем в новой. Это план всей работы. |
| Трансформация | Изменение формы значения, чтобы цель его приняла. Дата, записанная как 04.03.24, превратившаяся в 03.04.2024, представляет собой преобразование. |
| профилирование | Глядя на реальные данные, чтобы выяснить, что в них есть на самом деле, а не то, что говорит клиент. |
| Примирение | Доказательство того, что ход сработал, путем сравнения подсчетов и итогов, источника и цели. |
| Сирота | Запись, потерявшая родителя. Документ без прикрепленного клиента. В регулируемой отрасли сирота – это не неопрятность, а проблема соблюдения требований. |
| переключение | В тот момент, когда старая система перестанет использоваться и запустится новая. |
| Гиперопека | Период тесной поддержки сразу после переключения, когда команда следит за тем, что появляется. |
Прежде чем читать дальше, произнесите вслух разницу между профилированием и сверкой. Если сможете, остальная часть этой серии будет легкой.
Восемь стадий и что такое врата
Как вы думаете, что мешает команде по миграции начать работу до того, как она будет готова? Ответьте на этот вопрос до того, как будет указан этот абзац.
Каждый серьезный фреймворк описывает примерно одну и ту же форму. Начало и масштаб. Профилируйте источник. Нанесите на карту поля. Чистый и де-дуповый. Сухой прогон в песочнице. Пользовательское тестирование. Заморозка и переключение. Гиперзабота и близость.
Каждый из них заканчивается ворота. Врата — это проходная, у которой есть хозяин и ответ, и вы не начинаете следующий этап, пока они не закроются. Картирование не начинается до тех пор, пока объем не будет согласован в письменной форме. Ничего не загружается, пока карта не будет подписана. Вы не начнете работу до тех пор, пока клиент не посмотрит реальные записи и не скажет «да».
Гейтс чувствует себя как бумажная работа на небольшой работе. Они являются единственной причиной завершения большой работы. Статья об этапах ходит все восемь, с воротами, закрывающими каждую.
Инструменты
Большинство миграций выполняются с использованием четырех типов инструментов, и вы будете использовать все четыре в течение недели.
Таблицы держите карту, список исключений и рабочие файлы. Excel не является чем-то гламурным, и именно здесь происходит большая часть всего этого.
SQL осуществляет профилирование и сверку. Подсчет строк, поиск дубликатов и проверка того, что ничего не потеряло своего родителя, — это все занимает несколько строк. Если вы можете написать СЧИТАТЬ с помощью GROUP BY, вы можете выполнить большую часть работы по проверке.
Массовый погрузчик. В каждой целевой системе он есть, и это инструмент, с которым вы будете бороться. Загрузчики строго относятся к форматам, молчат о сбоях и не спешат сообщать вам, какая строка сломалась.
Язык сценариев как только объем превышает то, с чем удобно справляется электронная таблица. Python с pandas — обычный выбор, и обработка больших файлов это его собственное мастерство.
Представьте себе последнюю беспорядочную таблицу, которую вы видели. Теперь представьте, что загрузчик отклоняет его по одной строке без сообщения о том, почему. Это середина миграции.
Две неудачи, которые обходятся дороже всего
Дубликаты, которые выживают. В новой системе один клиент становится двумя. Их история разделяется. Сотрудники выбрали неправильную запись. Вот почему дедупликация происходит до перемещения, а не после него, и почему совпадение записей, описывающих одно и то же стоит научиться как следует.
Ход, который никто не может доказать. Данные передавались, и цифры никогда не проверялись. Спустя несколько недель кто-то замечает, что пропал год посещений. К тому времени старая система может исчезнуть.
Исправление для обоих одинаковое и непривлекательное. Посчитайте предметы, запишите их и сравните.
Откуда это взялось
Халлер, Маттес и Шульц построили подробную модель процесса для крупных миграционных проектов на основе существующей литературы и двадцати пяти отраслевых интервью. Их более ранняя статья с той же группой содержит более сильное утверждение, и его стоит принять: именно работа по тестированию и согласованию, а не загрузка, решает, будет ли миграция успешной.
Фреймворки поставщиков согласны по форме. Они оценивают, подтверждают подход в небольшом масштабе, мигрируют в полном масштабе, а затем после перехода запускают определенное окно гиперпрограммы.
Мой собственный опыт добавляет еще один этап, который пропускают большинство рецензий, и именно это чувствуют клиенты. Миграция занимает несколько недель, и клиент продолжает работать в течение этих недель. Что происходит с записями, которые они создают в этом промежутке, — это реальный вопрос с реальным ответом, и он становится своя статья.
Как начать настоящую работу
- Спросите, как выглядит успех, и напишите ответ так, чтобы клиент мог его увидеть.
- Получите полный экспорт, прежде чем обещать дату.
- Посчитайте все в этом экспорте. Минимум строк в таблице.
- Постройте карту, прежде чем прикасаться к данным.
- Ничего не загружайте в реальную систему, пока она не поработает в «песочнице».
Если у вас под рукой есть бумага, нарисуйте источник, цель и проверки между ними. Вся работа на одной странице.
Одна привычка
Считай до, считай после, продолжай считать. Все остальное в этой серии — это детали.
Миграция — это тоже работа людей, и самая сложная часть редко связана с данными. Какую часть системных изменений вам было труднее всего провести?
Подсчет строк, группировка для поиска дубликатов и объединение для поиска потерянных строк покрывает большую часть того, что требует от вас миграция. Курс SQL обучает этим движениям по порядку, имея данные перед вами.
Откройте набор SQL →Или сразу начните вводить: открыть SQL-практикум, тринадцать запросов, каждый из которых добавляет что-то одно к последнему.
Вы переносите записи клиента в новую систему, и вас беспокоит та неделя, когда клиент замолкает. Руководство по миграции данных это все восемь этапов по порядку, 63 страницы, от первой стартовой встречи до гиперпомощи, так что вы можете пройти один, не опоздав на три недели с важным вопросом.
Руководство по миграции данных, 29 долларов США →Ссылки
- Халлер К., Маттес Ф. и Шульц К. (2012). Подробная модель процесса для крупномасштабных проектов миграции данных. Системы бизнес-информации (BIS 2012), Конспекты лекций по обработке бизнес-информации, 117. Спрингер.
- Маттес Ф., Шульц К. и Халлер К. (2011). Тестирование и обеспечение качества в проектах миграции данных. 27-я Международная конференция IEEE по сопровождению программного обеспечения (ICSM), 438–447.
- Ван, Р.Ю., и Стронг, Д.М. (1996). За пределами точности: что качество данных означает для потребителей данных. Журнал информационных систем управления, 12(4), 5–33.