📄Работа №59931

Тема: Кластерная потоковая обработка данных для Интернета Вещей

Характеристики работы

▣
Тип работы Дипломные работы, ВКР
Информатика и вычислительная техника
Предмет Информатика и вычислительная техника
📄
Объем: 44 листов
📅
Год: 2017
👁️
Просмотров: 212
4760 руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
ℹ️ Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание 📖 Введение ✅ Заключение 📕 Литература 🔍 Похожие 🛒 Купить

📋 Содержание

ВВЕДЕНИЕ
1. ПОТОКОВАЯ ОБРАБОТКА ДАННЫХ
1.1. Основные определения
1.2. Обзор инструментов (фреймворков) потоковой обработки данных
1.3. Выводы и выбор фреймворка
2. ВВЕДЕНИЕ В APACHE NIFI12
2.1. Описание Apache NiFi и его возможностей 12
2.2. Основные концепции NiFi
2.3. Преимущества NiFi
2.4. Архитектура NiFi
2.5. Кластер Apache NiFi
2.6. Безопасность в Apache NiFi
3. ЗАПУСК КЛАСТЕРА APACHE NIFI В РАЗЛИЧНЫХ ОКРУЖЕНИЯХ
3.1. Запуск в виртуальной среде
3.2. Запуск кластера на граничных устройствах
3.3. Рекомендации запуска NiFi на Raspberry Pi
4. ДИНАМИЧЕСКОЕ ФОРМИРОВАНИЕ КЛАСТЕРА APACHE NIFI
4.1. Обнаружение устройств в локальной сети
4.2. Выбор способа поиска устройств
4.3. Возможности Apache Zookeeper для создание кластера
4.3. Программа для обнаружение и подключение устройств к кластеру
4.4. Формирование списка кандидатов кластера
ЗАКЛЮЧЕНИЕ
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

📖 Введение

По прогнозам CISCO, к 2020 году общее число подключенных к интернету устройств достигнет 50 млрд [1]. Объем трафика устройств передающих информацию в центрально место или облако будет только расти. Если принять, что среднее подключенное к сети устройство к 2020г. будет выдавать в 10 раз больше данных (например, 100 МБ на устройство ежемесячно в сравнении с текущими 10 МБ ежемесячно), то для 50 млрд. устройств объем данных вырастет до 50 трлн. ГБ [2].
Быстрый рост и распространение технологий Интернета вещей и Всеобъемлющего Интернета представляются неизбежными [1]. Возникают задачи, как обрабатывать все эти данные и понимать их. В связи с этим растет потребность в анализе потока данных на границе сети [52], так как многократный рост трафика может оказать негативное влияние на архитектуры сетей, к которым подключатся огромное количество различных IoT устройств [2]. Чтобы извлечь из этого максимальную пользу, необходимо обрабатывать и анализировать данные, которые генерируют все эти объекты, в реальном времени. Для такого рода приложений, работающих в реальном времени и генерирующий больший объем трафика, необходима новая распределенная модель, в которой функционал облачных вычислений, сетевого взаимодействия и хранения спускается с облака на землю, на самую границу сети [52][53], формируя новый слой - туманных вычислений [52].
Туманные вычисления решают ряд самых распространенных сегодня проблем, среди которых [52]:
• высокая задержка в сети;
• трудности, связанные с подвижностью конечных узлов;
• потеря связи;
• высокая стоимость интернет трафика.
Туманные вычисления не требуют использование мощных серверов, которые требуются в облачных технологиях. В основном, такие вычисления выполняются на маломощных и рассредоточенных устройствах вроде тех, что в последнее время стали использоваться в автомобилях, городских системах, электроснабжении — в целом, практически всюду. Без необходимости эти устройства не обмениваются данными с облаком [52].
Интернет вещей способствует сдвигу архитектуры к границе сети, приближая аналитику, обработку и даже приложения к источникам данных и делая возможным в реальном времени реагировать на информацию поступающую в реальном времени [53][54][55].
Актуальность данной работы обусловлена необходимостью высокоуровневого подхода к управлению взаимодействия Интернета вещей и обработки данных на устройствах находящихся ближе к источнику данных [48][49], включая мобильные устройства [50], с возможностью объединения и распределения обработки данных на границе сети, обеспечивающие пользователям доступ в реальном времени к данным, прогнозам и трендам [51].
Основной целью данной работы является разработка подходов к кластерной потоковой обработки данных при взаимодействии Интернета Вещей и реализация решений на основании данных подходов.
Объектом исследования является процесс создания и разработки кластерной потоковой обработки данных для Интернета Вещей в парадигме Туманных вычислений.
Предметом исследования является платформа для кластерной обработки потоковых данных для Интернета Вещей.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Обзор и анализ существующих решений и инструментов.
2. Определить среду разработки и инструменты.
3. Настроить среду разработки для симуляций и тестирования платформы.
4. Разработка решений для кластерной потоковой обработки и их проверка на различных устройствах.

Возникли сложности?

Нужна качественная помощь преподавателя?

👨‍🎓 Помощь в написании
🎓 Дипломные 📘 Магистерские 📙 Диссертации 📗 Курсовые 📝 Статьи 📄 ВКР

✅ Заключение

В рамках данной работы были получены следующие результаты:
• Созданы автоматизированные скрипты провизии для создания кластера ApacheNiFi на основе виртуальных машин.
• Проверена работоспособность кластера ApacheNiFi на граничных устройствах сети.
• Написана программа агент, выполняющая поиск существующего кластера в сети или его создания с нуля.
• Результаты работ опубликованы на github [37][57]
• Опубликована статья на habrahabr.ru [58]
В связи с тем, что целью данной работы была проверка возможности кластерной потоковой обработки на граничных устройствах для Интернета Вещей, то были упрощены многие процедуры, такие как политика безопасности, разграничение прав доступа, которые обязательно надо учитывать в последующих этапах работы над данной темой.
Нужна своя уникальная работа?
Срочная разработка под ваши требования
Рассчитать стоимость
ИЛИ
Поиск аналога

📕 Список литературы

1. Если взглянуть на Интернет вещей шире [Электронный ресурс]. - Режим
доступа: http://www.cisco.Com/c/ru_ru/about/press/press-releases/2015/02-
021215.html, свободный.
2. Как освоить Интернет вещей [Электронный ресурс]. - Режим доступа : https://www.ibm.com/developerworks/ru/library/ot-key-concepts/index.html, свободный.
3. Большие данные — Википедия [Электронный ресурс]. - Режим доступа : https://ru.wikipedia.org/wiki/Большие_данные, свободный.
4. Встраиваемая система — Википедия [Электронный ресурс]. - Режим доступа: https://ru.wikipedia.org/wiki/Встраиваемая_система, свободный.
5. Виртуальная машина — Википедия [Электронный ресурс]. - Режим доступа: https://ru.wikipedia.org/wiki/Виртуальная_машина, свободный
6. Guest_OSes - Oracle VM VirtualBox [Электронный ресурс]. - Режим доступа : https://www.virtualbox.org/wiki/Guest_OSes, свободный.
7. Vagrant by HashiCorp [Электронный ресурс]. - Режим доступа : https: //www.vagrantup.com/, свободный.
8. Елизаров, М. А. Перспективы и проблемы развития рынка Интернета Вещей / М. А. Елизаров. // NAUKA-RASTUDENT.RU. - 2015. - 12. - С.
35.
9. Quorum (distributed computing) - Wikipedia [Электронный ресурс]. -
Режим доступа :
https://en.wikipedia.org/wiki/Quorum_(distributed_computing), свободный.
10. Кластер (группа компьютеров) — Википедия [Электронный ресурс]. -
Режим доступа :
https://ru.wikipedia.org/wiki/Кластер_(группа_компьютеров), свободный.
11. NiFi System Administrator’s Guide [Электронный ресурс]. - Режим доступа
: https: //nifi. apache. org/docs/nifi-docs/html/administration-guide.html,
свободный.
12.Облачные вычисления — Википедия [Электронный ресурс]. - Режим доступа : https://ru.wikipedia.org/wiki/Облачные_вычисления, свободный.
13. Поток данных — Википедия [Электронный ресурс]. - Режим доступа : https://ru.wikipedia.org/wiki/11оток данных, свободный.
14. vagrant provision - Command-Line Interface - Vagrant by HashiCorp
[Электронныйресурс]. - Режимдоступа :
https://www.vagrantup.com/docs/cli/provision.html, свободный.
15. Flow based programming [Электронный ресурс]. - Режим доступа : https: //en.wikipedia. org/wiki/Flow-based_programming, свободный.
16. Распределённая хеш-таблица - Википедия [Электронный ресурс]. - Режим доступа : https://ru.wikipedia.org/wiki/DHT, свободный.
17. Саламатов, И. А. Локализация данных за счет использования облачно-туманных технологий / И. А. Саламатов. // Вестник Волжского университета им. В.Н. Татищева. - 2015. - 1 (23). - С. 78-82.
18. Самараев, Р. С. Обзор состояния области потоковой обработки данных / Р. С. Самараев. // Труды института системного программирования РАН. - 2017. - 1. - С. 231-260.
19. Apache Storm [Электронный ресурс]. - Режим доступа :
http://storm.apache.org/, свободный.
20. Apache Spark™ - Lightning-Fast Cluster Computing. [Электронный ресурс]. - Режим доступа : http://spark.apache.org/, свободный.
21. Apache Flink: Scalable Stream and Batch Data Processing
[Электронныйресурс]. - Режимдоступа : http://flink.apache.org/,
свободный
22. Apache Kafka Streams [Электронный ресурс]. - Режим доступа : https://kafka.apache.org/documentation/streams, свободный.
23. Samza [Электронный ресурс]. - Режим доступа : https://samza.apache.org/, свободный.
24. Apache Apex Documentation [Электронный ресурс]. - Режим доступа : https://apex.apache.org/docs/apex/, свободный.
25. Apache Gearpump (Incubating): Overview [Электронный ресурс]. - Режим доступа : https://gearpump.apache.org/overview.html, свободный.
26. Apache NiFi Overview [Электронный ресурс]. - Режим доступа : https://nifi.apache.org/docs/nifi-docs/html/overview.html, свободный.
27. Apache NiFi - Hortonworks [Электронный ресурс]. - Режим доступа : https://hortonworks.com/apache/nifi/, свободный.
28. Apache NiFi, Storm and Kafka: Better together [Электронный ресурс]. - Режим доступа : https://hortonworks.com/webinar/apache-kafka-apache-nifi- better-together/, свободный
29. Stream Processing: NiFi and Spark [Электронный ресурс]. - Режим доступа
: https://blogs.apache.org/nifi/entry/stream_processing_nifi_and_spark,
свободный.
30. Apache Flink 1.2.0 Documentation: Apache NiFi Connector [Электронный ресурс]. - Режим доступа : https://ci.apache.org/projects/flink/flink-docs- release- 1.2/dev/connectors/nifi.html, свободный.
31. NiFi System Administrator’s Guide [Электронный ресурс]. - Режим доступа
: https://nifi.apache.org/docs/nifi-docs/html/administration-guide.html,
свободный.
32. Горшков, Н. А. Анализ сообщений социальной сети twitter с использованием систем обработки потоковых данных Apache Spark и Apache Storm / Н. А. Горшков, В. С. Денисов. // INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES. - 2016. - 11. - С. 1-11.
33. Елизаров, М. А. Перспективы и проблемы развития рынка интернета вещей / М. А. Елизаров. // NAUKA- RASTUDENT.RU. - 2015. - № 12. - С. 35.
34. Configuring Apache NiFi SSL Authentication - BatchlQ [Электронный ресурс]. - Режим доступа : https://www.batchiq.com/nifi-configuring-ssl- auth.html, свободный.
35. dotless-de/vagrant-vbguest: A Vagrant plugin to keep your VirtualBox Guest
Additions [Электронныйресурс]. - Режимдоступа :
https://github.com/dotless-de/vagrant-vbguest, свободный.
36. Vagrant Host Manager - github [Электронный ресурс]. - Режим доступа : https://github.com/devopsgroup-io/vagrant-hostmanager, свободный.
37. nabidefacto/vagrant-nifi-cluster: Local NiFi cluster with vagrant provisioning
[Электронныйресурс]. - Режимдоступа :
https://github.com/nabidefacto/vagrant-nifi-cluster, свободный.
38. meefik/linuxdeploy: Install and run GNU/Linux on Android |
Установкаизапуск GNU/Linux под Android [Электронныйресурс]. - Режимдоступа : https://github.com/meefik/linuxdeploy, свободный.
39. Linux Deploy - 4PDA [Электронный ресурс]. - Режим доступа : http: //4pda.ru/forum/index.php?showtopic=378043, свободный.
40. Dautov R. I. Pushing Intelligence to the Edge with a Stream Processing Architecture / Dautov. R. I. идр. // The 10th IEEE International Conference on Internet of Things. - 2017.
41.orkes/ekstream [Электронный ресурс]. - Режим доступа : https://github.com/orkes/ekstream, свободный.
42. Running NiFi on Raspberry Pi. Best Practices. - Hortonworks [Электронный
ресурс]. - Режим доступа :
https://community.hortonworks.com/articles/32605/running-nifi-on-raspberry- pi-best-practices.html, свободный.
43. ZooKeeper Dynamic Reconfiguration [Электронный ресурс]. - Режим
доступа : https://zookeeper.apache.org/doc/trunk/zookeeperReconfig.html,
свободный.
44. Exhibitor • soabase/exhibitor Wiki [Электронный ресурс]. - Режим доступа : https://github.com/soabase/exhibitor/wiki, свободный.
45. Семенов, Е. С. Оптимизация IP сети с использованием программно- конфигурируемых сетей / Е. С. Семенов. и др. // ИНФОКОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ. - 2015. - № 4. - С. 414-419.
46. Штомпель, И. Новые возможности nmap 5.00 - программы для
исследования безопасности сетей / И. Штомпель. // СИСТЕМНЫЙ АДМИНИСТРАТОР. - 2009. - № 9 (82). - С. 60-63.
47. DatagramSocket (Java Platform SE 8 ) [Электронный ресурс]. - Режим
доступа :
https: //docs.oracle.com/j avase/8/docs/api/j ava/net/DatagramSocket.html, свободный.
48. Distefano, S. Device-Centric Sensing: An Alternative to Data-Centric
Approaches / S. Distefano. и др. // IEEE Systems Journal. - 2016. - 11. - С. 231-241.
49. Bonomi, F. Fog computing and its role in the internet of things / F. Bonomi. и др. // Proceedings of the First Edition of the MCC Workshop on Mobile Cloud Computing.. - 2012. - 11. - С. 11-16.
50. Merlino, G. Mobile crowdsensing as a service: A platform for applications on top of sensing Clouds / G. Merlino. и др. // Future Generation Computer Systems. - 2015. - 56. - С. 623-639.
51. Bruneo, D. Stack4Things as a fog computing platform for Smart City applications / D. Bruneo. и др. // IEEE Conference on Computer Communications Workshops (INFOCOM Workshops). - 2016. - 1. - С. 848¬853.
52. Туманные вычисления спускают облачный функционал на землю - Cisco
[Электронный ресурс]. - Режим доступа :
http://www.cisco.com/c/ru_ru/about/press/press-releases/2015/08- 13d.html, свободный.
53. Туманное будущее Интернета вещей - Cisco [Электронный ресурс]. -
Режим доступа : http://www.cisco.com/c/ru_ru/about/press/press-
releases/2015/04-10a.html, свободный.
54. Туманные вычисления повысят ценность миллиардов подключенных устройств [Электронный ресурс]. - Режим доступа : http://www.cisco.com/c/ru_ru/about/press/press-releases/2014/02- 020314a.html, свободный.
55. Распыленные вычисления и будущее Интернета вещей [Электронный ресурс]. - Режим доступа : http://www.cisco.com/c/ru_ru/about/press/press- releases/2015/08-21 f.html, свободный.
56. Рабинович, Е. В. Способ управления трафиком в bittorrent-сетях с помощью протокола DHT / Е. В. Рабинович, А. А. Шестаков. // ВЕСТНИК СИБГУТИ. - 2012. - 3. - С. 3-10.
57. nabidefacto/nifi-dynamic-cluster: Apache NiFi Dynamic Cluster
[Электронный ресурс]. - Режим доступа :
https://github.com/nabidefacto/nifi-dynamic-cluster, свободный.
58. Динамическое создание кластера Apache NiFi / Хабрахабр [Электронный ресурс]. - Режим доступа : https://habrahabr.ru/post/331444/, свободный.

🛒 Оформить заказ

⚡ Работу высылаем в течении 5 минут после оплаты.
Предоставляемые услуги, в том числе данные, файлы и прочие материалы, подготовленные в результате оказания услуги, помогают разобраться в теме и собрать нужную информацию, но не заменяют готовое решение.
Укажите ник или номер. После оформления заказа откройте бота @workspayservice_bot для подтверждения. Это нужно для отправки вам уведомлений.

🔍 ПОХОЖИЕ РАБОТЫ ПО ТЕМЕ

Разработка программного модуля по реализации функции интеллектуальной обработки данных для системы 1С-Битрикс ◩Бакалаврская работа ∑Программирование 2016 г. 4940 руб. Разработка подсистемы аналитической обработки данных корпоративной. информационной системы предприятия ◩Бакалаврская работа ∑Информатика и вычислительная техника 2020 г. 4200 руб. Регистрация и обработка данных вертикального сейсмического профилирования в программном обеспечении управления и контроля вибросейсмического комплекса ▣Магистерская диссертация ∑Информационные системы 2019 г. 5700 руб. Информационно-аналитический подход к обработке экономической информации на основе численного вероятностного анализа ▣Магистерская диссертация ∑Информационные системы 2017 г. 4900 руб. Построение хранилища данных для OLAP-системы в целях поддержки принятия решений в организации ▣Магистерская диссертация ◈Управление инновациями 2022 г. 4955 руб. ПОДСИСТЕМА СБОРА И ОБРАБОТКИ ДАННЫХ ДЛЯ МОБИЛЬНОЙ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ КОНТРОЛЯ ГИДРОДИНАМИЧЕСКИХ ИССЛЕДОВАНИЙ ◩Бакалаврская работа ∑Физика 2017 г. 4275 руб. ПРОЕКТИРОВАНИЕ ЦЕНТРОВ СБОРА И ОБРАБОТКИ ДАННЫХ ДЛЯ ПРЕДПРИЯТИЙ ЭЛЕКТРОЭНЕРГЕТИКИ НА ОСНОВЕ ТЕХНОЛОГИИ ВИРТУАЛИЗАЦИИ ▣Магистерская диссертация ∑Информационные системы 2017 г. 4900 руб. Анализ и разработка методов обработки информации для формирования себестоимости продукции химического предприятия ▣Магистерская диссертация ∑Информатика и вычислительная техника 2021 г. 4800 руб. База данных для расчета заказов поставщикам товаров ◩Бакалаврская работа ∑Информационные системы 2022 г. 4700 руб. База данных для расчета заказов поставщикам товаров ◩Бакалаврская работа ∑Информационные системы 2022 г. 4355 руб.

📎 ДИПЛОМНЫЕ РАБОТЫ, ВКР ПО ПРЕДМЕТУ «ИНФОРМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА»

Найдено работ: 2814

Разработка веб-представительства фирмы (на примере ООО «БрайтМобайл») ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2020 г. 4560 руб. Разработка и администрирование веб-приложения внутренней логистики предприятия ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2025 г. 4500 руб. Разработка проекта автоматизации интеграционного тестирования информационных систем в компании ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2023 г. 4460 руб. Цифровой преобразователь углового перемещения с арктангенсным постоянным запоминающим устройством ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4930 руб. Проектирование системы электроснабжения промышленного предприятия ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4910 руб. Разработка измерительной информационной системы нефтяной промышленности на основе агрегатного комплекса средств электроизмерительной техники ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4580 руб. Поверка и калибровка микропроцессорного блока вычисления расхода ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4710 руб. Беспроводной цифровой датчик температуры ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4900 руб. Проектирование системы освещения промышленного предприятия ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4860 руб. Компьютерные информационные технологии в управлении документооборотом ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2024 г. 2000 руб. Онлайн-курс для учащихся старших классов по применению технологии исследования функций одной переменной и построению их графиков: на примере конструктора Stepik ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2021 г. 2500 руб. Применение геоинформационной системы (ГИС) в системах бизнес - анализа ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4780 руб. Исследование рынка электронной коммерции в России ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4870 руб. Формирование, развитие и трансформация команды проекта ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4700 руб. Автоматизация процесса выгрузки документов средствами «Java» ▣Дипломные работы, ВКР ∑Информатика и вычислительная техника 2017 г. 4530 руб.
📋 Содержание 📖 Введение ✅ Заключение 📕 Литература 🔍 Похожие 🛒 Купить ⬆️

Оценка стоимости

Пожалуйста, выберите предмет работы.
Пожалуйста, выберите тип работы.
Пожалуйста, укажите объем работы.
Пожалуйста, укажите срок выполнения.

Это краткая форма заказа. После ее заполнения вы перейдете на полную форму заказа работы

Каталог работ (211155)

Поиск работ


©2026 Cервис помощи студентам в выполнении работ
.