ВВЕДЕНИЕ 6
1. ПОСТАНОВКА ЗАДАЧИ 8
2. АНАЛИЗ СУЩЕСТВУЮЩИХ МАТЕМАТИЧЕСКИХ АЛГОРИТМОВ,
ПРИМЕНИМЫХ К СРАВНЕНИЮ РЕЛЯЦИОННЫХ ОТНОШЕНИЙ 9
2.1. Простая случайная выборка 9
2.2. Доверительный интервал 10
2.3. Алгоритм Monte-Carlo 11
2.4. Bloom filter (BF). Countable Bloom filter (CBF) 12
3. СОПОСТАВЛЕНИЕ И АНАЛИЗ СУЩЕСТВУЮЩИХ ИНСТРУМЕНТОВ И РЕШЕНИЙ ДЛЯ СРАВНЕНИЯ ТАБЛИЦ РСУБД .. 15
3.1. Red Gate SQL Data Compare 15
3.2. dbForge Data Compare 15
3.3. EMS Data Comparer 16
3.4. SQLDelta 16
3.5. SQL Comparison toolset from Idera 17
3.6. Итоги анализа существующих инструментов и решений для
сравнения таблиц РСУБД 18
4. ОПИСАНИЕ АЛГОРИТМА, ПРИМЕНЯЕМОГО В РАЗРАБОТКЕ
КОНЕЧНОГО ПРОДУКТА 19
4.1. Конечная цель работы алгоритма 19
4.2. Ограничения 19
4.3. Формализация задачи работы алгоритма 19
5. ПОСТРОЕНИЕ ВЕРОЯТНОСТНОЙ МОДЕЛИ АЛГОРИТМА 25
5.1. Вероятностная модель метода Монте-Карло в рамках решаемой
задачи 25
5.2. Вероятностная модель структуры данных Bloom Filter и Countable
Bloom Filter в рамках решаемой задачи 27
6. НАПИСАНИЕ ПРОГРАММЫ. ТЕСТИРОВАНИЕ 30
6.1. Тестирование 34
ЗАКЛЮЧЕНИЕ 37
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 38
В современном мире наблюдается рост количества информации. Согласно статистике аналитической фирмы IDC «Эра данных 2025» [13], объем данных, которые человечество накопит уже меньше чем через 10 лет составит 163 зеттабайт. Для сравнения, весь мировой объем интернет-трафика в 2016 году едва превысил 1 зеттабайт.
Для хранения огромного количества данных требуются мощные и современные системы управления базами данных (СУБД), примерами которых являются: Oracle, PostgreSQL, MySQL, Microsoft SQL Server, MongoDB и так далее [12].
На сегодняшний день наблюдается рост популярности использования PostgreSQL [12]. В России это обосновано развитием сообщества благодаря мероприятиям PG Day и PG Conf и постоянным расширением функциональных возможностей PostgreSQL. Массовая миграция данных в рамках импортозамещения поднимает вопрос сравнения перенесенных данных.
Актуальность данной задачи также подтверждается в ходе работы над репликацией/миграцией данных в другой центр обслуживания данных для распределенных/гетерогенных реляционных систем баз данных [1].
В настоящее время требуется метод описания и инструмент, который предоставит возможность сравнивать данные между таблицами в разных агрегированных вариантах, не используя метод перебора всех строк или сравнения построчно.
Целью настоящей работы является создание инструмента эффективного сравнения таблиц следующих пар типов РСУБД:
1. PostgreSQL ^ Oracle,
2. PostgreSQL ^ PostgreSQL,
3. Oracle ^ Oracle.
При переносе большого количества данных путем замены одной СУБД на другую специалисты не могут гарантировать корректность и целостность переноса в связи с тем, что могут возникнуть внутренние, непредсказуемые ошибки из-за различий реализаций двух реляционных баз данных, также ошибки, связанные с различием типов данных, различием внутренних функций, различием синтаксиса последовательностей и так далее [14]. Процесс миграции нужно рассматривать в комплексе с обеспечением мер по отказоустойчивости, резервированию и безопасности новой системы. Существующие на данный момент инструменты предоставляют возможность сравнения только построчно [6, 7, 8, 9, 10]. Данный подход является большим неудобством в мире, когда данные превышают несколько сотен гигабайт на одну реляционную таблицу из - за ограничений временных ресурсов.
В результате выполнения данной дипломной работы было разработано программное решение для эффективного сравнения таблиц РСУБД для следующих типов РСУБД:
1. PostgreSQL ^ Oracle,
2. PostgreSQL ^ PostgreSQL,
3. Oracle ^ Oracle.
В рамках дипломной работы были выполнены следующие задачи:
1. Описан круг сравнительных характеристик над реляционными таблицами.
2. Создана физическая формализация сравнительных характеристик в форме реляционных SQL-запросов к таблице в исходной базе данных и к таблице в конечной базе данных.
3. Создан инструмент, использующий разные варианты сравнения данных на основе описанных сравнительных характеристик и возвращающий финальный отчет о сравнении.
4. Использован фильтр Блума и метод Монте-Карло для получения информации о равенстве реляционных объектов.
Данная работа также размещена в открытом доступе на сайте GitLab по ссылке http: //gititis.kpfu.ru/Klinov/comparison_of_tables.
