Введение 4
1.1 Apache Spark 4
1.2 Разные виды памяти 5
1.3 Использование Big Data фреймворков на HPC системах ... 5
1.3.1 Оптимизация Big Data фреймворков под HPC системы 6
1.3.2 Утилиты для запуска Big Data приложений на HPC
системах 8
1.3.3 Системы HPC + Big Data от вендоров 9
1.3.4 Примеры решения задач в связке Big Data + HPC . . 9
1.4 Способы работы с NUMA 9
1.4.1 Привязка потоков к процессорам 10
1.4.2 Размещение данных в памяти 11
2 Обзор литературы 12
3 Постановка задачи 15
4 Архитектура памяти Apache Spark 17
5 Исследование производительности на Intel Xeon Phi KNL 21
5.1 Выбор методов и тестирование 21
5.2 Анализ результатов 25
6 Исследование производительности на узле wombat-3 26
6.1 Выбор методов и тестирование 26
6.2 Анализ результатов 28
7 Выводы 30
8 Заключение 32
9 Глоссарий 33
Список иллюстраций 35
Список таблиц 36
Список литературы 37
Apache Spark — фреймворк для обработки больших объемов данных в оперативной памяти. Позволяет писать эффективный код, выполняющий параллелизм по данным. Для Spark написаны различные библиотеки, позволяющие ему быть востребованным во многих областях: машинное обучение
(библиотека Mlib), потоковая обработка данных (Apache Spark Streaming),
выборка данных из таблиц (SparkSQL), обработка графов (GraphX). Apache
Spark входит в Hadoop-экосистему — набор инструментов для выполнения
полного цикла работы с большими данным: извлечение данных из исходного источника, очистка и преобразование данных, обработка, представление результата (визуализация, передача в другую систему, запись в базу
данных и т.д.) При разработке начального продукта экосистемы — Apache
Hadoop разработчики делали упор на возможность обработки большого
количества данных на недорогих доступных средней фирме кластерах типа Beowulf. Особенности: стандартная архитектура, обычная не высокоскоростная сеть Ethernet, API для языков программирования, активно используемых в разработке коммерческих приложений: Java, Python. В процессе
развития была создана целая экосистема, позволяющая удобно выполнять
весь цикл обработки данных от получения до представления результатов.
В ходе работы было проведено тестирование фреймворка Apache Spark по
эффективности работы с неоднородной памятью. Проведен анализ исходного кода, отвечающего за работу с памятью. Добавлена возможность конфигурировать параметры запуска фреймворка на архитектуре с неоднородной памятью через настройки SparkConf. Реализован класс выделяющий
память на заданном узле. Получившиеся результаты проанализированы,
на основе их даны рекомендации по использованию тех или иных технологий
