Тема: Разработка масштабируемой системы управления данными, обладающей высокой доступностью

В связи со стремительным ростом объемов хранимой информации становятся все более актуальны системы, позволяющие хранить и оперировать большим количеством слабоструктурированных данных. В данной работе рассмотрен подход к хранению информации, основанный на использовании различных способов хранения и использования метаданных, а также примеры применения этой методологии.
Данная выпускная квалификационная работа заключается в разработке некоммерческого программного решения для раздельного управления данными и их метаданными. Проектируемая система будет иметь доступ к хранилищу данных , в качестве которого будет использоваться один из существующих продуктов с открытой лицензией, а также к хранилищу метаданных, способ хранения которых предстоит определить в процессе исследования. Предлагаемое решение будет использовать систему управления метаданными, которая обеспечит быстрый доступ к ним (в том числе с использованием распределенного кэша). Среди основных свойств разрабатываемой платформы важную роль играет масштабируемость (сохранение производительности при увеличениях количества хранимых данных и количества подключенных хранилищ) и высокая доступность — способность восстанавливаться после сбоев. Система должна также поддерживать работу многих пользователей, их аутентификацию и разделение прав доступа, а также обеспечивать консистентность данных при помощи одного из существующих механизмов. Среди перспективных направлений в разработке платформы следует выделить создание модуля политиками, который позволит пользователям с помощью специального интерфейса самим определять правила, по которым будут хранится данные и метаданные, а также реализацию балансировщика нагрузки на систему.
Постановка задачи заключается в разработке системы для хранения данных на основе программных компонент с открытым исходным кодом, использующей метаданные для поиска информации, обладающей свойствами масштабируемости и высокой доступности
В работе производится анализ существующих современных компонентов для программного хранения данных, выбор походящих для обеспечения вышеперечисленных требований к системе, а также совмещение их с теми частями системы, которые будут реализованы “с нуля”.
Купить

Построение конкретной системы управления данными во многом определяется предъявляемыми к ней требованиями. Например, количество ролей пользователей может быть расширено, или могут быть реализованы дополнительные компоненты (графический интерфейс пользователя и т.д.).
В ходе данной работы был реализован прототип системы с тремя основными модулями, использована методология раздельного хранения данных и метаданных. Разработанная система условно называется Data managment platform (Data-as-Service), с ее исходным кодом можно ознакомится на https://github.com/timbog/Data-as-Service (Исходный код модуля преобразования данных находится отдельно, в публичном доступе его нет). Сама платформа для работы с базой данных для метаданных использует библиотеку Hibernate (http://hibernate.org/), позволяющую оперировать сущностями из бд независимо от ее типа, в тестовом окружении используется база данных HSQLDB (http://hsqldb.org/). Для хранения данных была развернута система хранения данных Ceph (http://ceph.com/). В процессе разработки системы была использована система непрерывной интеграции Drone (https://drone.io/). В дальнейшем исследование может быть продолжено в сторону увеличения количества компонентов посредством использования готовых (балансировщик нагрузки, бэкапирование и т.д.) средств, а также разработки новых (модуль управления политиками и правилами).
Разработанная мною система может служить как единое ядро для разработчиков, которым нужна система хранения данных, она может быть доработана или изменена в зависимости от конкретных требований к платформе.
Купить