Помощь студентам в учебе
ПРИМЕНЕНИЕ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ ДЛЯ АНАЛИЗА И ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ В АВТОМАТИЗИРОВАННЫХ ТОРГОВЫХ СИСТЕМАХ НА СПОТОВОМ И СРОЧНОМ РЫНКАХ
|
ВВЕДЕНИЕ 4
1 Теоретические основы функционирования фондового рынка и его сегментов 6
1.1 Фондовый рынок в структуре финансовых рынков 6
1.2 Типы рынков внутри фондового рынка 7
1.3 Спотовый рынок: определение, особенности и ключевые инструменты 8
1.4 Срочный рынок: определение, особенности и ключевые инструменты 11
2 Автоматизированные торговые системы (АТС) 17
2.1 Определение и роль автоматизированных торговых систем в современной биржевой
торговле 17
2.2 Классификация автоматизированных торговых систем 18
2.3 Этапы проектирования и реализации автоматизированной торговой системы 20
2.4 Специфика АТС на основе машинного обучения для краткосрочного
прогнозирования 22
3 Применение методов машинного обучения в задачах анализа и прогнозирования на
финансовых рынках 25
3.1 Машинное обучение в контексте финансовых рынков и автоматизированных
торговых систем 25
3.2 Основные классы задач машинного обучения в трейдинге 26
3.3 Прогнозирование финансовых временных рядов методами машинного обучения ....27
3.4 Роль машинного обучения в повышении эффективности и автономности АТС 32
4 Временные ряды и методы их прогнозирования на финансовых рынках 33
4.1 Понятие и характеристики временных рядов 33
4.2 Специфика финансовых временных рядов 34
4.3 Методологические подходы к прогнозированию временных рядов 36
4.4 Проблемы и вызовы прогнозирования финансовых временных рядов 39
5 Методологические основы моделей прогнозирования финансовых временных рядов,
применяемых в исследовании 41
5.1 Аддитивные (статистические) модели прогнозирования 41
5.1.1 Модель ARIMA (Autoregressive Integrated Moving Average) 41
5.1.2 Модели GARCH (Generalized Autoregressive Conditional Heteroskedasticity) 43
5.1.3 Модель Prophet 44
5.2 Модели классического машинного обучения 46
5.2.1 Линейная регрессия (Linear Regression) 46
5.2.2 Дерево решений (Decision Tree) 47
5.2.3 Бэггинг и Случайный лес (Bagging and Random Forest) 48
5.2.4 Бустинговые алгоритмы (Boosting) 48
5.2.5 Стекинг (Stacking / Stacked Generalization) 50
5.3 Оценка и валидация моделей прогнозирования временных рядов 51
5.3.1 Функции потерь и метрики оценки качества для задач регрессии 51
5.3.2. Кросс-валидация на временных рядах 53
5.4. Проблемы и методы повышения робастности моделей 54
5.4.1. Переобучение (Overfitting) и недообучение (Underfitting) 54
5.4.2 Методы борьбы с переобучением для методов классического МО 55
6 Получение и предобработка данных для построения прогнозных моделей 56
6.1 Цель и спецификация сбора данных 56
6.2 Источники и программные средства для сбора данных 57
6.3 Оптимизация процесса загрузки данных 58
6.4. Генерация признаков (Feature Engineering) 58
6.5 Отбор признаков (Feature Selection) 61
7 Обучение моделей прогнозирования и оценка результатов 64
7.1 Аддитивные модели прогнозирования 64
7.1.1 Модель ARIMA (Autoregressive Integrated Moving Average) 64
7.1.2 Модель GARCH (Generalized Autoregressive Conditional Heteroskedasticity) 65
7.1.3 Модель Prophet 66
7.2 Модели классического машинного обучения 66
7.2.1 Линейная регрессия (Linear Regression) 66
7.2.2 Дерево решений (Decision Tree) 67
7.2.3 Случайный лес (Random Forest) 67
7.2.4 Бустинговые алгоритмы (Boosting Algorithms) 68
7.2.5 Стекинг (Stacking) 68
7.3 Сравнительная оценка моделей и анализ результатов 69
ЗАКЛЮЧЕНИЕ 73
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 75
1 Теоретические основы функционирования фондового рынка и его сегментов 6
1.1 Фондовый рынок в структуре финансовых рынков 6
1.2 Типы рынков внутри фондового рынка 7
1.3 Спотовый рынок: определение, особенности и ключевые инструменты 8
1.4 Срочный рынок: определение, особенности и ключевые инструменты 11
2 Автоматизированные торговые системы (АТС) 17
2.1 Определение и роль автоматизированных торговых систем в современной биржевой
торговле 17
2.2 Классификация автоматизированных торговых систем 18
2.3 Этапы проектирования и реализации автоматизированной торговой системы 20
2.4 Специфика АТС на основе машинного обучения для краткосрочного
прогнозирования 22
3 Применение методов машинного обучения в задачах анализа и прогнозирования на
финансовых рынках 25
3.1 Машинное обучение в контексте финансовых рынков и автоматизированных
торговых систем 25
3.2 Основные классы задач машинного обучения в трейдинге 26
3.3 Прогнозирование финансовых временных рядов методами машинного обучения ....27
3.4 Роль машинного обучения в повышении эффективности и автономности АТС 32
4 Временные ряды и методы их прогнозирования на финансовых рынках 33
4.1 Понятие и характеристики временных рядов 33
4.2 Специфика финансовых временных рядов 34
4.3 Методологические подходы к прогнозированию временных рядов 36
4.4 Проблемы и вызовы прогнозирования финансовых временных рядов 39
5 Методологические основы моделей прогнозирования финансовых временных рядов,
применяемых в исследовании 41
5.1 Аддитивные (статистические) модели прогнозирования 41
5.1.1 Модель ARIMA (Autoregressive Integrated Moving Average) 41
5.1.2 Модели GARCH (Generalized Autoregressive Conditional Heteroskedasticity) 43
5.1.3 Модель Prophet 44
5.2 Модели классического машинного обучения 46
5.2.1 Линейная регрессия (Linear Regression) 46
5.2.2 Дерево решений (Decision Tree) 47
5.2.3 Бэггинг и Случайный лес (Bagging and Random Forest) 48
5.2.4 Бустинговые алгоритмы (Boosting) 48
5.2.5 Стекинг (Stacking / Stacked Generalization) 50
5.3 Оценка и валидация моделей прогнозирования временных рядов 51
5.3.1 Функции потерь и метрики оценки качества для задач регрессии 51
5.3.2. Кросс-валидация на временных рядах 53
5.4. Проблемы и методы повышения робастности моделей 54
5.4.1. Переобучение (Overfitting) и недообучение (Underfitting) 54
5.4.2 Методы борьбы с переобучением для методов классического МО 55
6 Получение и предобработка данных для построения прогнозных моделей 56
6.1 Цель и спецификация сбора данных 56
6.2 Источники и программные средства для сбора данных 57
6.3 Оптимизация процесса загрузки данных 58
6.4. Генерация признаков (Feature Engineering) 58
6.5 Отбор признаков (Feature Selection) 61
7 Обучение моделей прогнозирования и оценка результатов 64
7.1 Аддитивные модели прогнозирования 64
7.1.1 Модель ARIMA (Autoregressive Integrated Moving Average) 64
7.1.2 Модель GARCH (Generalized Autoregressive Conditional Heteroskedasticity) 65
7.1.3 Модель Prophet 66
7.2 Модели классического машинного обучения 66
7.2.1 Линейная регрессия (Linear Regression) 66
7.2.2 Дерево решений (Decision Tree) 67
7.2.3 Случайный лес (Random Forest) 67
7.2.4 Бустинговые алгоритмы (Boosting Algorithms) 68
7.2.5 Стекинг (Stacking) 68
7.3 Сравнительная оценка моделей и анализ результатов 69
ЗАКЛЮЧЕНИЕ 73
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 75
Современные финансовые рынки характеризуются беспрецедентной динамикой, высокой степенью конкуренции и постоянно растущими объемами данных. В этих условиях традиционные подходы к принятию торговых решений, основанные на интуиции или ручном анализе, становятся все менее эффективными. Возрастает потребность в автоматизированных системах, способных оперативно обрабатывать большие потоки информации, выявлять сложные закономерности и генерировать торговые сигналы с минимальным участием человека. Автоматизированные торговые системы (АТС) стали неотъемлемой частью инфраструктуры как спотового, так и срочного рынков, позволяя участникам реализовывать сложные стратегии и повышать эффективность торговых операций.
Ключевую роль в развитии интеллектуальных АТС играют методы машинного обучения (ML). Способность алгоритмов машинного обучения обучаться на исторических данных, адаптироваться к изменяющимся рыночным условиям и моделировать нелинейные зависимости открывает новые возможности для анализа и прогнозирования финансовых временных рядов. Применение машинного обучения позволяет перейти от систем, основанных на жестко заданных правилах, к более гибким и адаптивным решениям, способным выявлять скрытые паттерны в ценовой динамике акций, фьючерсов и других финансовых инструментов. Данная работа посвящена исследованию и разработке подходов к построению моделей прогнозирования на основе машинного обучения и их интеграции в АТС для краткосрочной торговли.
Ниже перечислены объект, предмет, цель и задачи исследования, которые были поставлены перед началом работы.
Объект исследования - Временные ряды рыночных котировок акций и фьючерсов.
Предмет исследования - Методы и алгоритмы машинного обучения, применяемые для прогнозирования временных рядов рыночных цен.
Цель исследования - Разработка и адаптация методов машинного обучения для прогнозирования рыночных цен на спотовом и срочном рынках.
Задачи исследования:
1. Проанализировать теоретические основы функционирования финансовых
рынков, концепции автоматических торговых систем (АТС) и роль машинного обучения в трейдинге.
2. Исследовать характеристики финансовых временных рядов и методологические подходы к их прогнозированию, включая классические статистические модели и современные алгоритмы машинного обучения.
3. Разработать конвейер для сбора, предобработки данных и генерации многофакторного набора признаков (статистических, технических, вейвлет-признаков, календарных) из 10-минутных котировок.
4. Обучить и сравнить различные модели прогнозирования (ARIMA, GARCH, Prophet, линейную регрессию, дерево решений, случайный лес, градиентный бустинг — XGBoost, CatBoost, LightGBM) для предсказания цены на горизонте одного часа вперёд.
5. Реализовать и протестировать стекинг-ансамбль, объединяющий прогнозы моделей Prophet, CatBoost и линейной регрессии с использованием LightGBM в качестве мета-алгоритма.
6. Оценить качество моделей на основе метрик MAE, MAPE, RMSE с использованием процедуры скользящей кросс-валидации и провести анализ их устойчивости и вычислительной эффективности.
Научная новизна и практическая значимость работы заключаются в комплексном подходе к построению системы прогнозирования, включающем формирование расширенного признакового пространства, применение байесовской оптимизации для настройки гиперпараметров ML-моделей и использование стекинг- ансамбля для повышения точности и робастности прогнозов на краткосрочных временных горизонтах. Разработанные методики и полученные результаты могут быть использованы для создания и совершенствования алгоритмических торговых стратегий.
Автор выражает глубокую благодарность научному руководителю, доктору технических наук Замятину А.В., за ценное руководство и всестороннюю поддержку на всех этапах подготовки выпускной квалификационной работы. Особая признательность адресуется научному консультанту, ассистенту кафедры теоретических основ информатики Кареву С.В., за плодотворные консультации и оказанную помощь. Автор также выражает искреннюю благодарность Исакову А.С., руководителю группы ML-разработки Яндекс Лавки, за предоставленные практические рекомендации и обучающие материалы, обогатившие исследование производственным опытом.
Ключевую роль в развитии интеллектуальных АТС играют методы машинного обучения (ML). Способность алгоритмов машинного обучения обучаться на исторических данных, адаптироваться к изменяющимся рыночным условиям и моделировать нелинейные зависимости открывает новые возможности для анализа и прогнозирования финансовых временных рядов. Применение машинного обучения позволяет перейти от систем, основанных на жестко заданных правилах, к более гибким и адаптивным решениям, способным выявлять скрытые паттерны в ценовой динамике акций, фьючерсов и других финансовых инструментов. Данная работа посвящена исследованию и разработке подходов к построению моделей прогнозирования на основе машинного обучения и их интеграции в АТС для краткосрочной торговли.
Ниже перечислены объект, предмет, цель и задачи исследования, которые были поставлены перед началом работы.
Объект исследования - Временные ряды рыночных котировок акций и фьючерсов.
Предмет исследования - Методы и алгоритмы машинного обучения, применяемые для прогнозирования временных рядов рыночных цен.
Цель исследования - Разработка и адаптация методов машинного обучения для прогнозирования рыночных цен на спотовом и срочном рынках.
Задачи исследования:
1. Проанализировать теоретические основы функционирования финансовых
рынков, концепции автоматических торговых систем (АТС) и роль машинного обучения в трейдинге.
2. Исследовать характеристики финансовых временных рядов и методологические подходы к их прогнозированию, включая классические статистические модели и современные алгоритмы машинного обучения.
3. Разработать конвейер для сбора, предобработки данных и генерации многофакторного набора признаков (статистических, технических, вейвлет-признаков, календарных) из 10-минутных котировок.
4. Обучить и сравнить различные модели прогнозирования (ARIMA, GARCH, Prophet, линейную регрессию, дерево решений, случайный лес, градиентный бустинг — XGBoost, CatBoost, LightGBM) для предсказания цены на горизонте одного часа вперёд.
5. Реализовать и протестировать стекинг-ансамбль, объединяющий прогнозы моделей Prophet, CatBoost и линейной регрессии с использованием LightGBM в качестве мета-алгоритма.
6. Оценить качество моделей на основе метрик MAE, MAPE, RMSE с использованием процедуры скользящей кросс-валидации и провести анализ их устойчивости и вычислительной эффективности.
Научная новизна и практическая значимость работы заключаются в комплексном подходе к построению системы прогнозирования, включающем формирование расширенного признакового пространства, применение байесовской оптимизации для настройки гиперпараметров ML-моделей и использование стекинг- ансамбля для повышения точности и робастности прогнозов на краткосрочных временных горизонтах. Разработанные методики и полученные результаты могут быть использованы для создания и совершенствования алгоритмических торговых стратегий.
Автор выражает глубокую благодарность научному руководителю, доктору технических наук Замятину А.В., за ценное руководство и всестороннюю поддержку на всех этапах подготовки выпускной квалификационной работы. Особая признательность адресуется научному консультанту, ассистенту кафедры теоретических основ информатики Кареву С.В., за плодотворные консультации и оказанную помощь. Автор также выражает искреннюю благодарность Исакову А.С., руководителю группы ML-разработки Яндекс Лавки, за предоставленные практические рекомендации и обучающие материалы, обогатившие исследование производственным опытом.
Результаты настоящей магистерской диссертации демонстрируют эффективность применения методов машинного обучения для краткосрочного прогнозирования временных рядов финансовых инструментов и их потенциальную применимость в автоматизированных торговых системах.
Основные научные и практические результаты исследования заключаются в следующем:
1. Установлено превосходство ансамблевых методов машинного обучения: Экспериментально доказано, что ансамблевые модели, в частности градиентный бустинг и разработанный в ходе исследования стекинг-ансамбль (Prophet, CatBoost, линейная регрессия с мета-алгоритмом LightGBM), обеспечивают статистически более высокую точность прогнозирования ценовой динамики акций и фьючерсов на часовом горизонте по сравнению с традиционными аддитивными моделями. Данный вывод подтверждается уменьшением значений метрик ошибок прогнозов.
2. Выявлено, что модели типа ARIMA склонны приближать свой прогноз к предыдущим усреднённым значениям, а модели типа GARCH плохо подходят для прогнозов самих временных рядов активов.
3. Разработан и апробирован эффективный конвейер подготовки данных для ML- моделей: Сформирован комплексный подход к инжинирингу признаков, включающий генерацию статистических, технических, вейвлет- и календарных предикторов. Применение байесовской оптимизации для настройки гиперпараметров моделей позволило повысить их прогностическую способность. Эффективность данного конвейера подтверждена на исторических данных различных финансовых инструментов.
4. Выявлены ограничения ML-прогнозирования на финансовых рынках: несмотря на достигнутые улучшения в точности, исследование выявило сохраняющуюся сложность прогнозирования финансовых временных рядов, обусловленную их стохастической природой, особенно для активов с высокой волатильностью (например, криптовалют). Количественно охарактеризованы проблемы переобучения моделей, нестабильности их предсказательной силы в условиях изменяющейся рыночной конъюнктуры, а также продемонстрировано значимое влияние транзакционных издержек на реализуемость прибыльных торговых стратегий.
Практическая значимость полученных результатов заключается в предложении методологических подходов и конкретных модельных решений, которые могут быть использованы при разработке адаптивных автоматизированных торговых систем.
Продемонстрирована важность тщательного отбора и валидации моделей, оптимизации признакового пространства и критической оценки потенциальной прибыльности с учетом реальных рыночных ограничений.
В качестве перспективных направлений дальнейших исследований можно выделить разработку более сложных гибридных архитектур, методов динамической адаптации моделей к изменениям рыночных режимов (включая онлайн-обучение), интеграцию альтернативных источников данных и углубленное изучение влияния микроструктуры рынка на эффективность краткосрочных прогнозов.
Таким образом, выполненное исследование вносит вклад в теорию и практику применения машинного обучения для анализа финансовых временных рядов, предоставляя эмпирически обоснованные выводы о преимуществах и ограничениях современных ML- подходов в задачах краткосрочного прогнозирования.
Основные научные и практические результаты исследования заключаются в следующем:
1. Установлено превосходство ансамблевых методов машинного обучения: Экспериментально доказано, что ансамблевые модели, в частности градиентный бустинг и разработанный в ходе исследования стекинг-ансамбль (Prophet, CatBoost, линейная регрессия с мета-алгоритмом LightGBM), обеспечивают статистически более высокую точность прогнозирования ценовой динамики акций и фьючерсов на часовом горизонте по сравнению с традиционными аддитивными моделями. Данный вывод подтверждается уменьшением значений метрик ошибок прогнозов.
2. Выявлено, что модели типа ARIMA склонны приближать свой прогноз к предыдущим усреднённым значениям, а модели типа GARCH плохо подходят для прогнозов самих временных рядов активов.
3. Разработан и апробирован эффективный конвейер подготовки данных для ML- моделей: Сформирован комплексный подход к инжинирингу признаков, включающий генерацию статистических, технических, вейвлет- и календарных предикторов. Применение байесовской оптимизации для настройки гиперпараметров моделей позволило повысить их прогностическую способность. Эффективность данного конвейера подтверждена на исторических данных различных финансовых инструментов.
4. Выявлены ограничения ML-прогнозирования на финансовых рынках: несмотря на достигнутые улучшения в точности, исследование выявило сохраняющуюся сложность прогнозирования финансовых временных рядов, обусловленную их стохастической природой, особенно для активов с высокой волатильностью (например, криптовалют). Количественно охарактеризованы проблемы переобучения моделей, нестабильности их предсказательной силы в условиях изменяющейся рыночной конъюнктуры, а также продемонстрировано значимое влияние транзакционных издержек на реализуемость прибыльных торговых стратегий.
Практическая значимость полученных результатов заключается в предложении методологических подходов и конкретных модельных решений, которые могут быть использованы при разработке адаптивных автоматизированных торговых систем.
Продемонстрирована важность тщательного отбора и валидации моделей, оптимизации признакового пространства и критической оценки потенциальной прибыльности с учетом реальных рыночных ограничений.
В качестве перспективных направлений дальнейших исследований можно выделить разработку более сложных гибридных архитектур, методов динамической адаптации моделей к изменениям рыночных режимов (включая онлайн-обучение), интеграцию альтернативных источников данных и углубленное изучение влияния микроструктуры рынка на эффективность краткосрочных прогнозов.
Таким образом, выполненное исследование вносит вклад в теорию и практику применения машинного обучения для анализа финансовых временных рядов, предоставляя эмпирически обоснованные выводы о преимуществах и ограничениях современных ML- подходов в задачах краткосрочного прогнозирования.