Проектирование и разработка горизонтально масштабируемой распределенной файловой системы
|
Введение 15
1 Обзор и сравнение распределенных файловых систем 16
1.1 Файловые системы 16
1.2 Обзор решений, применяемых для хранения больших данных 17
1.2.1 Hadoop (HDFS) 17
1.2.2 Amazon S3 19
1.2.3 Google File System 19
1.3 Заключение 21
2 Оценка влияния на эффективность структурирования данных и распараллеливания
вычислений 23
2.1 Структура метаописания 23
2.2 Многопоточность в работе хранилища 26
3 Разработка обобщенной функциональной структуры распределенного хранилища данных29
3.1 Анализ требований. Выбор средств разработки 29
3.2 Выбор архитектуры 29
3.3 Приложение «Командный центр» 30
3.4 Приложение «Агент» 32
3.5 Приложение «Файловый менеджер» 33
3.6 Прием сообщений системой 34
4 Программная реализация и технологическая схема развертывания компонентов
распределенного хранилища данных 37
4.1 Развертывание системы 37
4.2 Занесение файлов в систему с помощью приложения «Файловый менеджер» 40
Рисунок 18 — Информация о новом файле в главном окне4.3 Применение системы 42
4.4 Описание классов основных компонентов 43
4.5 Описание классов приложения «Файловый менеджер» 47
4.6 Мониторинг агентов 51
4.7 Получение сообщений 52
4.8 Защита данных 59
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 61
5.1 Организация и планирование работ 61
5.1.1 Продолжительность этапов работ 61
5.1.2 Расчет накопления готовности проекта 65
5.2 Расчет сметы затрат на выполнение проекта 66
5.2.1 Расчет затрат на материалы 66
5.2.2 Расчет заработной платы 66
5.2.3 Расчет затрат на социальный налог 67
5.2.4 Расчет затрат на электроэнергию 67
5.2.5 Расчет амортизационных расходов 68
5.2.6 Прочие расходы 68
5.2.7 Расчет общей себестоимости разработки 68
5.2.8 Расчет прибыли 69
5.2.9 Расчет НДС 69
5.2.10 Цена разработки НИР 69
5.3 Оценка экономической эффективности проекта 69
1.4 Оценка научно — технического уровня НИР 70
6 Социальная ответственность 72
6.1 Введение 72
6.2 Производственная безопасность 72
6.2.1 Вредные производственные факторы 73
6.2.1.1 Отклонение показателей микроклимата 73
6.2.1.2 Повышенный уровень электромагнитных излучений 74
6.2.1.3 Недостаточная освещенность рабочей зоны 75
6.2.1.4 Монотонный режим работы 76
6.2.2 Опасные производственные факторы 76
6.2.2.1 Опасность поражения электрическим током 76
6.2.2.2 Опасность возникновения пожара 78
6.2.3 Мероприятия и рекомендации по устранению и минимизации 78
6.3 Экологическая безопасность 80
6.4 Безопасность в чрезвычайных ситуациях 81
6.5 Правовые и организационные вопросы обеспечения безопасности 83
6.5.1 Правовые нормы трудового законодательства для рабочей зоны оператора ПЭВМ 83
6.5.2 Организационные мероприятия при компоновке рабочей зоны 84
Заключение 86
Список публикаций 88
Список использованных источников 89
Приложение А. Раздел ВКР на иностранном языке 92
1 Обзор и сравнение распределенных файловых систем 16
1.1 Файловые системы 16
1.2 Обзор решений, применяемых для хранения больших данных 17
1.2.1 Hadoop (HDFS) 17
1.2.2 Amazon S3 19
1.2.3 Google File System 19
1.3 Заключение 21
2 Оценка влияния на эффективность структурирования данных и распараллеливания
вычислений 23
2.1 Структура метаописания 23
2.2 Многопоточность в работе хранилища 26
3 Разработка обобщенной функциональной структуры распределенного хранилища данных29
3.1 Анализ требований. Выбор средств разработки 29
3.2 Выбор архитектуры 29
3.3 Приложение «Командный центр» 30
3.4 Приложение «Агент» 32
3.5 Приложение «Файловый менеджер» 33
3.6 Прием сообщений системой 34
4 Программная реализация и технологическая схема развертывания компонентов
распределенного хранилища данных 37
4.1 Развертывание системы 37
4.2 Занесение файлов в систему с помощью приложения «Файловый менеджер» 40
Рисунок 18 — Информация о новом файле в главном окне4.3 Применение системы 42
4.4 Описание классов основных компонентов 43
4.5 Описание классов приложения «Файловый менеджер» 47
4.6 Мониторинг агентов 51
4.7 Получение сообщений 52
4.8 Защита данных 59
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 61
5.1 Организация и планирование работ 61
5.1.1 Продолжительность этапов работ 61
5.1.2 Расчет накопления готовности проекта 65
5.2 Расчет сметы затрат на выполнение проекта 66
5.2.1 Расчет затрат на материалы 66
5.2.2 Расчет заработной платы 66
5.2.3 Расчет затрат на социальный налог 67
5.2.4 Расчет затрат на электроэнергию 67
5.2.5 Расчет амортизационных расходов 68
5.2.6 Прочие расходы 68
5.2.7 Расчет общей себестоимости разработки 68
5.2.8 Расчет прибыли 69
5.2.9 Расчет НДС 69
5.2.10 Цена разработки НИР 69
5.3 Оценка экономической эффективности проекта 69
1.4 Оценка научно — технического уровня НИР 70
6 Социальная ответственность 72
6.1 Введение 72
6.2 Производственная безопасность 72
6.2.1 Вредные производственные факторы 73
6.2.1.1 Отклонение показателей микроклимата 73
6.2.1.2 Повышенный уровень электромагнитных излучений 74
6.2.1.3 Недостаточная освещенность рабочей зоны 75
6.2.1.4 Монотонный режим работы 76
6.2.2 Опасные производственные факторы 76
6.2.2.1 Опасность поражения электрическим током 76
6.2.2.2 Опасность возникновения пожара 78
6.2.3 Мероприятия и рекомендации по устранению и минимизации 78
6.3 Экологическая безопасность 80
6.4 Безопасность в чрезвычайных ситуациях 81
6.5 Правовые и организационные вопросы обеспечения безопасности 83
6.5.1 Правовые нормы трудового законодательства для рабочей зоны оператора ПЭВМ 83
6.5.2 Организационные мероприятия при компоновке рабочей зоны 84
Заключение 86
Список публикаций 88
Список использованных источников 89
Приложение А. Раздел ВКР на иностранном языке 92
В настоящее время человеку в своей производственной и научной деятельности приходится иметь дело с огромным объемов различной информации. Например, система МФЦ (многофункциональные центры предоставления госуслуг) потенциально должна обрабатывать до 50000 документов в день или 12 миллионов в год, что составляет примерно 100 Гб в день и около 25 Тб в год. [1] Также данная проблема достаточно остро стоит для различных научно-исследовательских институтов, собирающих терабайты данных, связанных с проводимыми в них исследованиями. Естественным образом, вместе с получением и обработкой больших объемов данных встает проблема их хранения и структурирования.
На данный момент, рынок программного обеспечения предлагает множество решений для хранения больших данных. Однако, большинство из них для своего нормального функционирования требуют закупки дорогостоящей аппаратной части. Решения же, функционирующие в облаке, на базе уже существующих инфраструктур, тоже подходят не всем организациям, как ввиду затрат на аренду мощностей, так и из-за желания обеспечить дополнительную конфиденциальность данных и хранить их локально, в рамках данной организации.
Таким образом, разработка хранилища, работающего на доступных вычислительных мощностях академических институтов, с минимальными затратами на обслуживание, позволяющее создать единое корпоративное информационное пространство, и возможностью хранить большие и разнородные объемы данных является весьма актуальной задачей.
Разрабатываемая система хранения данных прежде всего ориентируется на применение в различных научно — исследовательских институтах, в которых множество персональных компьютеров (в том числе рабочих мест сотрудников) могут быть использованы для развертывания узлов хранения с последующим их объединением в распределенную систему хранения данных.
На данный момент, рынок программного обеспечения предлагает множество решений для хранения больших данных. Однако, большинство из них для своего нормального функционирования требуют закупки дорогостоящей аппаратной части. Решения же, функционирующие в облаке, на базе уже существующих инфраструктур, тоже подходят не всем организациям, как ввиду затрат на аренду мощностей, так и из-за желания обеспечить дополнительную конфиденциальность данных и хранить их локально, в рамках данной организации.
Таким образом, разработка хранилища, работающего на доступных вычислительных мощностях академических институтов, с минимальными затратами на обслуживание, позволяющее создать единое корпоративное информационное пространство, и возможностью хранить большие и разнородные объемы данных является весьма актуальной задачей.
Разрабатываемая система хранения данных прежде всего ориентируется на применение в различных научно — исследовательских институтах, в которых множество персональных компьютеров (в том числе рабочих мест сотрудников) могут быть использованы для развертывания узлов хранения с последующим их объединением в распределенную систему хранения данных.
С каждым годом проблема хранения больших объемов данных становится все более актуальной. В связи с этим, на рынке растет и количество систем хранения, но по ряду различных причин (в особенности, из-за высокой стоимости), они могут не подойти организациям, желающим минимизировать свои расходы.
При проектировании распределенного файлового хранилища встает ряд важных проблем, таких как структурирование и быстрый поиск нужной информации, а также обеспечение отказоустойчивости и сокращения времени обслуживания запросов. Также, крайне важен выбор архитектуры разрабатываемого решения, поскольку от нее зависит, будет ли система удовлетворять заявленным требованиям.
В данной работе был проведен обзор и сравнение некоторых популярных решений на рынке хранения больших данных. Была рассмотрена их внутренняя структура и принципы работы.
Также была проведена оценка влияния многопоточности и структурирования информации на эффективность работы системы. В результате проведенных исследований было выяснено, что при распараллеливании работы командного центра уменьшается время обслуживания отдельного запроса. Для структурирования данных использовались метаописания файлов и разделение на тематические разделы, что позволило осуществлять эффективный поиск информации.
При создании обобщенной функциональной схемы хранилища была выбрана мультиагентная архитектура, которая дает возможность практически неограниченного горизонтального масштабирования системы и позволяет равномерно распределять нагрузку на отдельные узлы.
С точки зрения финансового менеджмента и ресурсоэффективности, данное решение позволит сократить расходы на покупку дорогостоящего оборудования, а также позволит обойтись без аренды дискового пространства у различных вендоров.
При рассмотрении вопроса безопасности жизнедеятельности и экологической безопасности было выяснено, что разработка не наносит ущерб окружающей среде, а ее эксплуатация не требует соблюдения особых норм БЖД. Таким образом, при работе с файловым хранилищем, достаточно соблюдать основные санитарные нормы работы с ПК, а также требования к эргономике рабочего места.
При проектировании распределенного файлового хранилища встает ряд важных проблем, таких как структурирование и быстрый поиск нужной информации, а также обеспечение отказоустойчивости и сокращения времени обслуживания запросов. Также, крайне важен выбор архитектуры разрабатываемого решения, поскольку от нее зависит, будет ли система удовлетворять заявленным требованиям.
В данной работе был проведен обзор и сравнение некоторых популярных решений на рынке хранения больших данных. Была рассмотрена их внутренняя структура и принципы работы.
Также была проведена оценка влияния многопоточности и структурирования информации на эффективность работы системы. В результате проведенных исследований было выяснено, что при распараллеливании работы командного центра уменьшается время обслуживания отдельного запроса. Для структурирования данных использовались метаописания файлов и разделение на тематические разделы, что позволило осуществлять эффективный поиск информации.
При создании обобщенной функциональной схемы хранилища была выбрана мультиагентная архитектура, которая дает возможность практически неограниченного горизонтального масштабирования системы и позволяет равномерно распределять нагрузку на отдельные узлы.
С точки зрения финансового менеджмента и ресурсоэффективности, данное решение позволит сократить расходы на покупку дорогостоящего оборудования, а также позволит обойтись без аренды дискового пространства у различных вендоров.
При рассмотрении вопроса безопасности жизнедеятельности и экологической безопасности было выяснено, что разработка не наносит ущерб окружающей среде, а ее эксплуатация не требует соблюдения особых норм БЖД. Таким образом, при работе с файловым хранилищем, достаточно соблюдать основные санитарные нормы работы с ПК, а также требования к эргономике рабочего места.
Подобные работы
- УТИЛИТА УПРАВЛЕНИЯ КЛАСТЕРНОЙ
ФАЙЛОВОЙ СИСТЕМОЙ
Бакалаврская работа, информатика. Язык работы: Русский. Цена: 4650 р. Год сдачи: 2023