Введение 4
1. Качество данных 6
1.1. Жизненный цикл 6
1.2. Критерии и метрики 7
1.3. Сопоставление источников 9
2. Метод 11
2.1. Стратегия идентификации объекта 11
2.2. Определение критериев и метрик 12
2.3. Оценка качества данных 13
2.4. Демонстрация результатов 15
3. Эксперименты 17
3.1. Книжные публикации 17
3.2. Футболисты 22
Заключение 25
Список литературы 26
В наши дни объемы данных увеличиваются более чем в два раза каждые два года [9]. Количество ошибок и несоответствий с реальным миром растет вместе с объемами данных. Качество данных является обширной и все более актуальной темой в современном мире. Разные авторы определяют термин качество данных по-разному. Одни из них утверждают, что это степень пригодности данных для конкретного использования [1][11] . Другие делают упор на том, что это понятие многомерное и складывается из точности, полноты и других критериев [21][20][23]. Оценка качества данных - первый и очень важный шаг в трудоемком процессе, который называется Улучшение качества данных.
В течение нескольких последних десятилетий были разработаны различные методы оценки качества данных [22][18]. Большинство из них относятся к реляционной модели данных и основываются на анализе отдельных значений без использования других таблиц. Исключением является метод кросс-доменного анализа, который позволяет обрабатывать избыточность и несогласованность данных в нескольких таблицах [6]. В этой работе предлагается метод оценки качества, основанный на сопоставлении нескольких источников. Этот подход позволяет определить качество экземпляра данных в контексте различных критериев и с применением нескольких метрик для оценки.
Цель работы заключается в разработке нового подхода к оценке качества данных. Многообразие форматов и моделей представления данных существенно усложняет эту задачу. Изучение способов обработки неструктурированных и слабоструктурированных данных продолжается, хотя еще не так давно основное внимание исследователей привлекали данные, представленные в реляционной модели и имеющие четкую структуру. Подход, который описывается в этой работе, учитывает текущие тенденции и предоставляет возможность оценивать качество слабоструктурированных данных. Под этим термином мы понимаем возможное отсутствие схемы данных с фиксированными типами данных, иерархическую структуру атрибутов и возможный пропуск атрибутов. В экспериментах при оценке использовались наборы данных, представленные в слабоструктурированной форме. Они имеют различную структуру, модель и формат представления.
В разделе Качество данных излагаются основные теоретические сведения, необходимые для описания работы метода. Сначала мы расширим понятие жизненного цикла качества данных на случай использования нескольких источников данных. Оно показывает, какое место в процессе улучшения качества данных занимает оценка. После этого мы определим критерии и метрики, с помощью которых можно оценивать качество данных.
Далее описан процесс сопоставления источников, заимствованный из процессов интеграции данных. Сопоставление источников является ключевой особенностью предлагаемого метода оценки качества данных. Интеграция данных может быть одним из возможных способов улучшения качества данных [8]. Она представляет собой комплекс задач, возникающих и в научных исследованиях (использование данных из разных биоинформационных репозиториев), и в коммерческой сфере (при объединении баз данных схожих фирм). Суть интеграции данных в слиянии записей, соответствующих одному и тому же объекту реального мира, из различных источников.
В разделе Метод описывается подход к оценке качества данных. В разделе Эксперименты описаны результаты применения метода для оценки качества коллекции о книжных публикациях и трех коллекций с информацией о футболистах. Цель экспериментов состоит в оценке стабильности результатов применения метода. В Заключении подводится итог работы и озвучиваются задачи для будущих работ.
Отметим, что эта работа была представлена на конференции SEIM’18 [12], прошла этап пост-рецензирования и будет опубликована в RSCI.
В ходе работы были изучены различные критерии и метрики оценки качества данных. Также были рассмотрены существующие способы решения задачи оценки качества данных. В результате был разработан новый метод, основанный на сопоставлении независимых источников данных. Этот подход достаточно гибок и может использоваться в различных предметных областях и задачах.
В качестве примера применения метода было проведено два эксперимента. В первом из них использовались две коллекции с информацией о книжных публикациях, для одной из которых была проведена оценка качества. Во втором эксперименте качество данных было оценено для трех наборов данных о футболистах. Описанный метод показал стабильные результаты на этих наборах данных.
Целью будущих работ является использование разработанного метода для оценки качества других данных. Под этим понимается, как использование других атрибутов с новыми типами данных, так и оценка других коллекций.
