ВВЕДЕНИЕ 3
1. ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ В ОБЛАСТИ ОБРАБОТКИ
И ВИЗУАЛИЗАЦИИ ДАННЫХ 5
1.1 Существующие подходы к обработке данных 5
1.2 Существующие подходы к реализации сред для обработки данных 9
1.3 Существующие подходы к визуализации данных 11
2. ИНСТРУМЕНТЫ 16
3. РЕАЛИЗАЦИЯ ОРГАНИЗАЦИИ ВЫЧИСЛЕНИЙ 22
3.1 Представление структуры вычислений 22
3.2 Представление структуры вычислений на файловой системе 23
3.3 Сценарии обработки данных 27
3.4 Редактор проектов 28
3.5 Пример работы с платформой 30
4. РЕАЛИЗАЦИЯ ВИЗУАЛИЗАЦИИ ДАННЫХ 38
4.1 Визуализация в виде плоских графиков 38
4.2 Визуализация объемных данных 40
5. ЗАКЛЮЧЕНИЕ 43
ГЛОССАРИЙ 45
СПИСОК ЛИТЕРАТУРЫ 46
ПРИЛОЖЕНИЕ 50
Подсчеты компании Cisco говорят о том, что к 2021 г. мировой объем интернет трафика достигнет 278 миллионов терабайт в месяц. Большую часть этих данных важно подвергать обработке, благодаря чему возникает необходимость в реализации систем обработки данных. Современная реализация вычислений разного рода, в том числе и высоконагруженных, в последнее время приводит к активному использованию технологий облачных вычислений. [2] В настоящее время существует ряд решений [3], предназначенных для организации процесса обработки больших данных, но они, в большинстве своем, сконцентрированы на управлении потоками данных, при этом забывая о визуализации полученных результатов обработки.
Учитывая современные объемы данных, большинство пользователей просто не в состоянии зрительно обработать массивы чисел, даже если они представлены в виде сводок. Текущие реализации систем облачной обработки данных представляются сложными и неинформативными, из-за чего используются менее производительные, но более приветливые к пользователю инструменты обработки данных.
Актуальность данной работы заключается в решении проблемы организации обработки и визуализации больших данных. Во-первых, платформа позволит выделять взаимосвязи между полученными результатами используя ациклический граф обработки. Во-вторых, инструмент позволит визуализировать полученные результаты без вывода данных во внешние системы. В-третьих, пользователям будет доступна визуализация полученных данных в различных форматах: двумерном (графики) и трехмерном (3D модели объектов).
Объектом данного исследования является разработка аналитической платформы, предназначенной для обработки и визуализации различных данных.
Предметом данного исследования является аналитическая платформа, предназначенная для обработки и визуализации различных данных.
Целью данной работы является разработка аналитической платформы, предназначенной для организации обработки и визуализации сложной разнородной информации, без привязки к конкретным форматам.
Для достижения поставленной цели необходимо решить следующие задачи:
1. Обзор и анализ существующих решений и инструментов.
2. Определить среду разработки и инструменты.
3. Разработка решения для анализа, управления и обработки информации.
4. Разработка дополнительных модулей визуализации данных.
В работе описан процесс разработки аналитической платформы, предназначенной для обработки и визуализации данных. Результатом данной работы стала разработанная аналитическая платформа, предназначенная для обработки и визуализации данных. Аналитическая платформа позволяет выполнять различные задачи, связанные с обработкой данных. Также в аналитической платформе реализована поддержка визуализации плоских графиков и объемных моделей.
Проблема, поставленная перед автором работы решена реализацией платформы, позволяющей выделять взаимосвязи между полученными результатами используя ациклический граф обработки. Кроме того, инструмент позволяет визуализировать полученные результаты без вывода данных во внешние системы в плоском и объемном виде.
В процессе выполнения данной работы были решены следующие задачи:
1. Произведен обзор и анализ существующих решений и инструментов.
2. Определена среда разработки и инструменты необходимые для разработки и работы аналитической платформы.
3. Было разработано решение для анализа, управления и обработки информации.
4. Была произведена разработка дополнительных модулей визуализации плоских и объемных данных.
Таким образом, цель магистерской работы была достигнута.
Дальнейшее развитие платформы предполагает:
• Создание новых типов узлов
• Создание веб версии платформы
• Использование интернета вещей для увеличения мощности платформы
