📄Работа №10218
Тема: Проектирование и разработка горизонтально масштабируемой распределенной файловой системы
Тип работы
Магистерская диссертация
Предмет
информатика
Объем:
99 листов
Год:
2016
Просмотров:
556
5900
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 15
1 Обзор и сравнение распределенных файловых систем 16
1.1 Файловые системы 16
1.2 Обзор решений, применяемых для хранения больших данных 17
1.2.1 Hadoop (HDFS) 17
1.2.2 Amazon S3 19
1.2.3 Google File System 19
1.3 Заключение 21
2 Оценка влияния на эффективность структурирования данных и распараллеливания
вычислений 23
2.1 Структура метаописания 23
2.2 Многопоточность в работе хранилища 26
3 Разработка обобщенной функциональной структуры распределенного хранилища данных29
3.1 Анализ требований. Выбор средств разработки 29
3.2 Выбор архитектуры 29
3.3 Приложение «Командный центр» 30
3.4 Приложение «Агент» 32
3.5 Приложение «Файловый менеджер» 33
3.6 Прием сообщений системой 34
4 Программная реализация и технологическая схема развертывания компонентов
распределенного хранилища данных 37
4.1 Развертывание системы 37
4.2 Занесение файлов в систему с помощью приложения «Файловый менеджер» 40
Рисунок 18 — Информация о новом файле в главном окне4.3 Применение системы 42
4.4 Описание классов основных компонентов 43
4.5 Описание классов приложения «Файловый менеджер» 47
4.6 Мониторинг агентов 51
4.7 Получение сообщений 52
4.8 Защита данных 59
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 61
5.1 Организация и планирование работ 61
5.1.1 Продолжительность этапов работ 61
5.1.2 Расчет накопления готовности проекта 65
5.2 Расчет сметы затрат на выполнение проекта 66
5.2.1 Расчет затрат на материалы 66
5.2.2 Расчет заработной платы 66
5.2.3 Расчет затрат на социальный налог 67
5.2.4 Расчет затрат на электроэнергию 67
5.2.5 Расчет амортизационных расходов 68
5.2.6 Прочие расходы 68
5.2.7 Расчет общей себестоимости разработки 68
5.2.8 Расчет прибыли 69
5.2.9 Расчет НДС 69
5.2.10 Цена разработки НИР 69
5.3 Оценка экономической эффективности проекта 69
1.4 Оценка научно — технического уровня НИР 70
6 Социальная ответственность 72
6.1 Введение 72
6.2 Производственная безопасность 72
6.2.1 Вредные производственные факторы 73
6.2.1.1 Отклонение показателей микроклимата 73
6.2.1.2 Повышенный уровень электромагнитных излучений 74
6.2.1.3 Недостаточная освещенность рабочей зоны 75
6.2.1.4 Монотонный режим работы 76
6.2.2 Опасные производственные факторы 76
6.2.2.1 Опасность поражения электрическим током 76
6.2.2.2 Опасность возникновения пожара 78
6.2.3 Мероприятия и рекомендации по устранению и минимизации 78
6.3 Экологическая безопасность 80
6.4 Безопасность в чрезвычайных ситуациях 81
6.5 Правовые и организационные вопросы обеспечения безопасности 83
6.5.1 Правовые нормы трудового законодательства для рабочей зоны оператора ПЭВМ 83
6.5.2 Организационные мероприятия при компоновке рабочей зоны 84
Заключение 86
Список публикаций 88
Список использованных источников 89
Приложение А. Раздел ВКР на иностранном языке 92
1 Обзор и сравнение распределенных файловых систем 16
1.1 Файловые системы 16
1.2 Обзор решений, применяемых для хранения больших данных 17
1.2.1 Hadoop (HDFS) 17
1.2.2 Amazon S3 19
1.2.3 Google File System 19
1.3 Заключение 21
2 Оценка влияния на эффективность структурирования данных и распараллеливания
вычислений 23
2.1 Структура метаописания 23
2.2 Многопоточность в работе хранилища 26
3 Разработка обобщенной функциональной структуры распределенного хранилища данных29
3.1 Анализ требований. Выбор средств разработки 29
3.2 Выбор архитектуры 29
3.3 Приложение «Командный центр» 30
3.4 Приложение «Агент» 32
3.5 Приложение «Файловый менеджер» 33
3.6 Прием сообщений системой 34
4 Программная реализация и технологическая схема развертывания компонентов
распределенного хранилища данных 37
4.1 Развертывание системы 37
4.2 Занесение файлов в систему с помощью приложения «Файловый менеджер» 40
Рисунок 18 — Информация о новом файле в главном окне4.3 Применение системы 42
4.4 Описание классов основных компонентов 43
4.5 Описание классов приложения «Файловый менеджер» 47
4.6 Мониторинг агентов 51
4.7 Получение сообщений 52
4.8 Защита данных 59
5 Финансовый менеджмент, ресурсоэффективность и ресурсосбережение 61
5.1 Организация и планирование работ 61
5.1.1 Продолжительность этапов работ 61
5.1.2 Расчет накопления готовности проекта 65
5.2 Расчет сметы затрат на выполнение проекта 66
5.2.1 Расчет затрат на материалы 66
5.2.2 Расчет заработной платы 66
5.2.3 Расчет затрат на социальный налог 67
5.2.4 Расчет затрат на электроэнергию 67
5.2.5 Расчет амортизационных расходов 68
5.2.6 Прочие расходы 68
5.2.7 Расчет общей себестоимости разработки 68
5.2.8 Расчет прибыли 69
5.2.9 Расчет НДС 69
5.2.10 Цена разработки НИР 69
5.3 Оценка экономической эффективности проекта 69
1.4 Оценка научно — технического уровня НИР 70
6 Социальная ответственность 72
6.1 Введение 72
6.2 Производственная безопасность 72
6.2.1 Вредные производственные факторы 73
6.2.1.1 Отклонение показателей микроклимата 73
6.2.1.2 Повышенный уровень электромагнитных излучений 74
6.2.1.3 Недостаточная освещенность рабочей зоны 75
6.2.1.4 Монотонный режим работы 76
6.2.2 Опасные производственные факторы 76
6.2.2.1 Опасность поражения электрическим током 76
6.2.2.2 Опасность возникновения пожара 78
6.2.3 Мероприятия и рекомендации по устранению и минимизации 78
6.3 Экологическая безопасность 80
6.4 Безопасность в чрезвычайных ситуациях 81
6.5 Правовые и организационные вопросы обеспечения безопасности 83
6.5.1 Правовые нормы трудового законодательства для рабочей зоны оператора ПЭВМ 83
6.5.2 Организационные мероприятия при компоновке рабочей зоны 84
Заключение 86
Список публикаций 88
Список использованных источников 89
Приложение А. Раздел ВКР на иностранном языке 92
📖 Введение
В настоящее время человеку в своей производственной и научной деятельности приходится иметь дело с огромным объемов различной информации. Например, система МФЦ (многофункциональные центры предоставления госуслуг) потенциально должна обрабатывать до 50000 документов в день или 12 миллионов в год, что составляет примерно 100 Гб в день и около 25 Тб в год. [1] Также данная проблема достаточно остро стоит для различных научно-исследовательских институтов, собирающих терабайты данных, связанных с проводимыми в них исследованиями. Естественным образом, вместе с получением и обработкой больших объемов данных встает проблема их хранения и структурирования.
На данный момент, рынок программного обеспечения предлагает множество решений для хранения больших данных. Однако, большинство из них для своего нормального функционирования требуют закупки дорогостоящей аппаратной части. Решения же, функционирующие в облаке, на базе уже существующих инфраструктур, тоже подходят не всем организациям, как ввиду затрат на аренду мощностей, так и из-за желания обеспечить дополнительную конфиденциальность данных и хранить их локально, в рамках данной организации.
Таким образом, разработка хранилища, работающего на доступных вычислительных мощностях академических институтов, с минимальными затратами на обслуживание, позволяющее создать единое корпоративное информационное пространство, и возможностью хранить большие и разнородные объемы данных является весьма актуальной задачей.
Разрабатываемая система хранения данных прежде всего ориентируется на применение в различных научно — исследовательских институтах, в которых множество персональных компьютеров (в том числе рабочих мест сотрудников) могут быть использованы для развертывания узлов хранения с последующим их объединением в распределенную систему хранения данных.
На данный момент, рынок программного обеспечения предлагает множество решений для хранения больших данных. Однако, большинство из них для своего нормального функционирования требуют закупки дорогостоящей аппаратной части. Решения же, функционирующие в облаке, на базе уже существующих инфраструктур, тоже подходят не всем организациям, как ввиду затрат на аренду мощностей, так и из-за желания обеспечить дополнительную конфиденциальность данных и хранить их локально, в рамках данной организации.
Таким образом, разработка хранилища, работающего на доступных вычислительных мощностях академических институтов, с минимальными затратами на обслуживание, позволяющее создать единое корпоративное информационное пространство, и возможностью хранить большие и разнородные объемы данных является весьма актуальной задачей.
Разрабатываемая система хранения данных прежде всего ориентируется на применение в различных научно — исследовательских институтах, в которых множество персональных компьютеров (в том числе рабочих мест сотрудников) могут быть использованы для развертывания узлов хранения с последующим их объединением в распределенную систему хранения данных.
✅ Заключение
С каждым годом проблема хранения больших объемов данных становится все более актуальной. В связи с этим, на рынке растет и количество систем хранения, но по ряду различных причин (в особенности, из-за высокой стоимости), они могут не подойти организациям, желающим минимизировать свои расходы.
При проектировании распределенного файлового хранилища встает ряд важных проблем, таких как структурирование и быстрый поиск нужной информации, а также обеспечение отказоустойчивости и сокращения времени обслуживания запросов. Также, крайне важен выбор архитектуры разрабатываемого решения, поскольку от нее зависит, будет ли система удовлетворять заявленным требованиям.
В данной работе был проведен обзор и сравнение некоторых популярных решений на рынке хранения больших данных. Была рассмотрена их внутренняя структура и принципы работы.
Также была проведена оценка влияния многопоточности и структурирования информации на эффективность работы системы. В результате проведенных исследований было выяснено, что при распараллеливании работы командного центра уменьшается время обслуживания отдельного запроса. Для структурирования данных использовались метаописания файлов и разделение на тематические разделы, что позволило осуществлять эффективный поиск информации.
При создании обобщенной функциональной схемы хранилища была выбрана мультиагентная архитектура, которая дает возможность практически неограниченного горизонтального масштабирования системы и позволяет равномерно распределять нагрузку на отдельные узлы.
С точки зрения финансового менеджмента и ресурсоэффективности, данное решение позволит сократить расходы на покупку дорогостоящего оборудования, а также позволит обойтись без аренды дискового пространства у различных вендоров.
При рассмотрении вопроса безопасности жизнедеятельности и экологической безопасности было выяснено, что разработка не наносит ущерб окружающей среде, а ее эксплуатация не требует соблюдения особых норм БЖД. Таким образом, при работе с файловым хранилищем, достаточно соблюдать основные санитарные нормы работы с ПК, а также требования к эргономике рабочего места.
При проектировании распределенного файлового хранилища встает ряд важных проблем, таких как структурирование и быстрый поиск нужной информации, а также обеспечение отказоустойчивости и сокращения времени обслуживания запросов. Также, крайне важен выбор архитектуры разрабатываемого решения, поскольку от нее зависит, будет ли система удовлетворять заявленным требованиям.
В данной работе был проведен обзор и сравнение некоторых популярных решений на рынке хранения больших данных. Была рассмотрена их внутренняя структура и принципы работы.
Также была проведена оценка влияния многопоточности и структурирования информации на эффективность работы системы. В результате проведенных исследований было выяснено, что при распараллеливании работы командного центра уменьшается время обслуживания отдельного запроса. Для структурирования данных использовались метаописания файлов и разделение на тематические разделы, что позволило осуществлять эффективный поиск информации.
При создании обобщенной функциональной схемы хранилища была выбрана мультиагентная архитектура, которая дает возможность практически неограниченного горизонтального масштабирования системы и позволяет равномерно распределять нагрузку на отдельные узлы.
С точки зрения финансового менеджмента и ресурсоэффективности, данное решение позволит сократить расходы на покупку дорогостоящего оборудования, а также позволит обойтись без аренды дискового пространства у различных вендоров.
При рассмотрении вопроса безопасности жизнедеятельности и экологической безопасности было выяснено, что разработка не наносит ущерб окружающей среде, а ее эксплуатация не требует соблюдения особых норм БЖД. Таким образом, при работе с файловым хранилищем, достаточно соблюдать основные санитарные нормы работы с ПК, а также требования к эргономике рабочего места.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.