Введение 3
Глава 1 Теоретические основы выполнения процесса миграции, методы 6
1.1 Анализ процесса миграции 6
1.2 Методы миграции корпоративных систем 12
1.3 Источники и целевое хранилище данных 24
1.4 Проблемы с которыми сталкиваются при 27
Выводы по первой главе 31
Глава 2 Анализ подходов тестирования миграции данных и моделирование алгоритма 33
2.1 Анализ существующей модели миграции 33
2.2 Анализ методов тестирования 34
2.3 Выбор метода тестирования 43
2.4 Моделирование алгоритма 45
Выводы по 2 главе 47
Глава 3 Разработка алгоритма тестирования миграционных данных 48
3.1 Маппинг таблиц 48
3.2 Генерация запросов 53
3.3 Реализация проверки адресов 56
3.5 Оценка эффективности 58
3.5.1. Плотность дефектов 61
3.5.2 Коэффициент регрессии 62
3.5.3 Скорость обработки 64
Выводы по третьей главе 65
Заключение 66
Список используемой литературы 67
Предприятия используют хранилища данных для накопления данных из нескольких источников, для анализа данных и исследовательской работы и еще для бесконечного числа задач. Поскольку организационные решения часто принимаются на основе данных, хранящихся в хранилище данных, все его компоненты должны быть тщательно проверены. В этой работе подробно рассмотрен подход к тестированию хранилища данных, а также произведена разработка и оценка алгоритма автоматизированного тестирования процесса Extract-Transform-Load (ETL), который является стандартным решением для энтерпрайз продуктов.
Актуальность темы исследования обусловлена необходимостью создания решения для качественной, быстрой и эффективной проверки пост- мигрированных данных в условиях обширных баз данных с разветвленной иерархической зависимостью.
Объектом исследования является процесс миграции данных из устаревшей базы данных в целевую с использованием промежуточных хранилищ.
Предметом исследования является моделирование алгоритма тестирования миграции баз данных.
Целью данной работы является разработка и внедрение модели эффективной проверки мигрированных данных.
Цель данной работы определила необходимость решения следующих задач:
1) Изучить исследования специалистов, связанные с миграцией данных.
2) Произвести обзор и анализ существующих моделейметодик.
3) Предложить алгоритм тестирования миграции данных
4) Разработать алгоритм тестирования миграции данных, которая обеспечит высокую производительность и качеств ПО.
5) Произвести оценку эффективности разработанной модели и доказать гипотезу.
Гипотеза исследования состоит в предположении, что применение разработанного в рамках данного диссертационного исследования метода тестирования миграции данных, обеспечит высокое качество, скорость, эффективность и надежность при работе с большим объемом данных.
Основные методы исследования: теоретический анализ, систематизация, объектно-ориентированный подход к моделированию систем управления, статистический анализ.
Новизна исследования заключается в предоставлении нового метода тестирования миграции данных.
Практическая значимость данного исследования состоит в возможности практического применения предлагаемого метода для тестирования миграции данных.
Методологическую базу исследования составляют работы, опубликованные зарубежными и отечественными авторами, П. Джонсон, Фл. Маттес, К, Шульц, К. Халлер, В. Ратика, Л. Аркокиам и др.
Основные этапы исследования: исследование проводилось с 2018 по 2020 годы в несколько этапов:
На первом этапе формулировалась тема исследования и выполнялся сбор и анализ информации по теме исследования, также проводилась постановка цели, задач, предмета, объекта и гипотезы исследования.
На втором этапе осуществлялся анализ методов тестирования, создавался алгоритм получения данных для проверки и соответственно взаимодействия в рамках разрабатываемого метода, публиковались результаты исследования.
На третьем этапе был предложен метод тестирования мигрированных данных и проведен анализ эффективности данного метода, были сформулированы выводы о полученных результатах исследования.
На защиту выносятся:
1. Алгоритм
2. Анализ эффективности разработанной модели.
Диссертация состоит из введения, трех глав, заключения и списка используемой литературы.
В первой главе рассматриваются современное состояние сферы миграции баз данных, её особенности и методологии. Выяснено, что данный вопрос требует проработки в аспекте кастомизации под конкретные задачи.
Во второй главе рассмотрены существующие модели тестирования миграции, их анализ и сделан вывод об их несовершенстве в контексте решения задач проекта
В третьей главе подробно рассмотрен алгоритм валидации данных миграции и сделана оценка его эффективности. Это позволило глубже понять процесс миграции данных.
• Новый алгоритм оказался достаточно гибким, но в тоже время доработанным под конкретные требования рабочей системы.
• Задействованный подход для проверки миграции показал свою эффективность на рабочей системе.
• Анализ результатов работы с предложенным алгоритмом показал его, в некоторых случаях, многократную эффективность перед предшествующим подходом.
В заключении приводятся результаты исследования.
Работа изложена на 71 странице, включает 21 рисунок, 14 таблиц, 47 источников используемой литературы.
В процессе работы над выпускной диссертацией был проведен анализ исследований по теме миграции баз данных, рассмотрены различные подходы к выполнению задач. Так же учтены базово встречающиеся проблем и недостатки техник. По итогам было установлено, существуют самые различные техники решения задачи тестирования миграции баз данных, но каждая из них имеет как свои недостатки, так и достоинства, но в тоже время не оказалось возможным выбрать существующие решения
Для достижения поставленной цели исследования (данной работы является разработка и внедрение модели эффективной проверки мигрированных данных.) были решены все поставленные задачи, а именно:
1) Изучить исследования специалистов, связанные с миграцией данных.
2) Произвести обзор и анализ существующих моделейметодик.
3) Предложить алгоритм тестирования миграции данных
4) Разработать модель тестирования миграции данных, которая обеспечит высокую производительность и качеств ПО.
5) Произвести оценку эффективности разработанной модели и доказать гипотезу.
Из чего можно сделать вывод о том, что цель исследования была достигнута.
Таким образом, можно сделать вывод о том, что цель исследования была достигнута.
Основной научный результат магистерской диссертации заключается в том, что реализованный в ходе исследования алгоритм проверки мигрированных данных показал свою высокую эффективность, в некоторых случаях в разы превосходя предшествующий ему подход по результатам.
