Введение 3
1 Технологии Big Data и сферы применения 5
2 Алгоритмы прогнозирования временных рядов финансовых данных 17
2.2 Логистическая регрессия 17
2.3 Линейный дискриминантный анализ 21
2.4 Квадратичный дискриминантный анализ 27
3 Прогнозирование курса акций с использованием библиотеки Scikit-Learn языка программирования Python 29
Заключение 36
Список использованных источников 37
Приложение А Код реализации статистических методов в Python 39
В XXI веке самым ценным ресурсом стала информация, использование которой позволяет достичь новых в1ысот во всех областях человеческой деятельности. Информации стало настолько много, что хранить и обрабатывать ее традиционными способами стало очень сложно, к тому же данные, обработанные традиционно, появляются, как правило, с опозданием, следовательно будут уже не актуальны. Кроме того, что различные организации создают огромые объемы данных, большая часть которых представлена в различных форматах (текстовые документы, видеофайлы, машинные коды и т.д.), локализованных в разнообразных хранилищах, эти данные весьма часто обновляются.
Термин «большие данные» (Big Data) существует уже почти двадцать лет, став за это время всемирно обсуждаемым. За историю своего недолгого существования он успел получить широкую популярность – с одной стороны эти технологии вызывают некоторый скепсис, с другой стороны большое число компаний уже внедрили Big Data в свою деятельность, что позволило оптимизировать работу с данными.
Цель данной работы изучение технологий Big Data и статистических методик для анализа одномерных временных рядов курсов ценных бумаг.
Для достижения поставленной цели необходимо решить следующие задачи:
– сделать обзор сфер применимости технологий «больших данных»;
– рассмотреть инструменты Data Science;
– изучить некоторые алгоритмы машинного обучения, используемые для моделирования временных рядов;
– протестировать изученные алгоритмы на реальных данных и построить прогнозы.
В качестве одномерных рядов финансовых данных использовались курсы акций ПАО «Сбербанк» и ПАО «Норникель», которые были взяты с интернет-ресурса Финам [1].
Наиболее распространенными инструментами для работы с «большими данными», а именно, их обработкой и анализом (Data Science) на сегодняшний день являются язык программирования для обработки статистических данных R и высокоуровневый язык Phyton. Поскольку существует библиотека Scikit-Learn, в которой реализовано достаточное количество алгоритмов машинного обучения, то в качестве среды реализации был выбран Phyton.
Курсовая работа состоит из введения, трех глав, заключения и списка использованных источников.
В первой главе курсовой работы описывается определения Big Data и обзор технологии обработки больших данных.
Вторая глава содержит описание статистических методов прогнозирования Big Data логистической регрессии и дискриминантного анализа.
Результаты логистического и дискриминантных анализов на примере ПАО «Сбербанк» и ПАО «Норникель» представлены в третьей главе.
В ходе выполнения курсовой работы были разработана статистические модели прогнозирования тенденции временного ряда на основе логистической регрессии, линейного и квадратичного дискриминантного анализа с помощью библиотеки Scikit-Learn языка программирования Python.
В результате анализа результатов изученных и построенных методов статистических анализа временного ряда были выявлены следующие задачи, требующие дальнейшего изучения:
более точных методов статистического анализа временных рядов;
построение нейронных сетей для анализа и прогнозирования временных рядов.
