Тема: Система автоматизированного получения и анализа открытых данных культурного наследия

В настоящее время культурные объекты становятся все более доступными. Агрегаторы цифрового культурного наследия по всему миру предоставляют новые возможности для исследователей и обычных пользователей. Яркими представителями агрегаторов культурного наследия являются такие сайты как Europeana и Метрополитен-музей. Эти ресурсы предоставляют обычным пользователям возможности для поиска и изучения культур разных народов, а ученым и исследователям технологии API (Application Programming Interface), позволяющие работать с большими объемами культурных данных и создавать собственные наборы данных для исследований.
В нашей стране существует Государственный каталог Музейного фонда РФ, который является крупнейшим агрегатором культурного наследия России. На данный момент он включается в себя коллекцию, состоящую из 37 миллионов объектов. На сайте Госкаталога имеются возможности просмотра и поиска объектов культурного наследия по различным параметрам. Однако, существует ли доступный и автоматизированный способ получения набора данных объектов культурного наследия России для исследователей? В данной работе мы утверждаем, что использование данных из Госкаталога для проведения исследований сейчас не представляется возможным без создания программного кода, что существенно снижает процент исследований о культурном наследии России. Поэтому данная работа посвящена созданию программы для автоматизации процесса получения метаданных культурных объектов Госкаталога, а также их обработки и визуализации.
Актуальность работы обусловлена труднодоступностью и сложностью работы с метаданными культурных объектов Госкаталога для исследователей.
Объект исследования - цифровая коллекция объектов культурного наследия Государственного каталога музейного фонда Российской Федерации.
Предметом исследования являются технологии сбора, обработки и визуализации метаданных объектов культурного наследия Государственного каталога музейного фонда России
Цель настоящей работы - создать программу для автоматизированного сбора, обработки и визуализации культурных данных, а также показать примеры ее использования для исследований.
Задачи исследования:
- Изучить существующие подходы к организации данных в цифровых коллекциях;
- Провести анализ и оценку существующих методов получения данных из коллекции Государственного каталога Музейного фонда РФ;
- Разработать программное решение для автоматизированного получения, обработки и визуализации метаданных культурных объектов;
- Продемонстрировать на реальных примерах пользу созданного нами программного продукта.
Выпускная квалификационная работа состоит из введения, трёх глав, заключения, списка использованной литературы и приложения.
В первой главе, состоящей из четырех параграфов, были рассмотрены цифровые музеи и цифровые коллекции на примере двух крупных агрегаторов культурного наследия: Европеаны и Метрополитен музея. Была поднята проблема работы с большими объемами данных, а также были описаны преимущества решения этой проблемы с помощью применения технологии API. Далее были рассмотрены все возможные способы взаимодействия с культурными данными коллекции Государственного каталога Музейного фонда РФ. Изучив все недостатки этих способов взаимодействия с данными, было принято решение о создании собственного программного решения.
Во второй главе, состоящей из четырех параграфов, был определен необходимый набор функций в создаваемой программе. Далее были описаны все разработанные модули программы SGAT: модуль сбора данных, модуль предобработки данных, модуль визуализации данных. Кроме того, каждый модуль был протестирован на наборе данных Красноярского краевого краеведческого музея по запросу «Красноярск».
В третьей главе, состоящей из двух параграфов, были продемонстрированы два примера реального применения программы SGAT в разных областях. В первом примере рассматривается задача создания набора данных для обучения нейросети. Во втором примере рассматривается изучение пропусков и распределения культурных данных коллекции Госкаталога.
Заключение кратко излагает результаты исследования. В список литературы включены библиографические данные об источниках, использованных в работе.
Купить

В данной работе была создана программа для сбора, обработки и визуализации метаданных культурных объектов SGAT. Программа основана на технологиях обработки естественного языка, веб-скрэйпинга, API, библиотеке языка программирования Python Matplotlib и других инструментах. С помощью программы исследователи в области цифровых гуманитарных наук смогут без труда использовать коллекцию Государственного каталога Музейного фонда РФ, проверять гипотезы, применяя встроенные модули обработки и визуализации данных, что, несомненно, важно, ведь это 37 миллионов данных о культурном наследии России. При этом работа демонстрирует, как можно использовать SGAT для исследований в области цифровых гуманитарных наук: создание обучающей выборки для нейронной сети определения материала объекта; изучение пропусков и распределения культурных данных коллекции Госкаталога. Не менее важно и то, что сейчас нельзя работать со всеми данными коллекции Госкаталога, не создав программный код. Программа, в свою очередь, дает не только возможность изучать культурные данные Госкаталога, но и сразу сделать визуализацию своих результатов. Так, например, в программу внедрена уникальная технология визуализации дат, которые представлены промежутком, что решает проблему скоса в результатах анализа дат, где есть и промежутки, и даты обычного формата.
Далее планируется улучшать алгоритмы обработки и визуализации, добавлять новые компоненты. Также программа SGAT является хорошим инструментом-фундаментом, с помощью которого мы планируем решить проблему стандартизации данных, пропусков данных, а также получать новые знания в сфере цифровых гуманитарных наук.
Программа опубликована и находится в открытом доступе на github, поэтому каждый исследователь, желающий работать с культурными данными Госкаталога, может беспрепятственно ей воспользоваться.

Купить