Тема: Глубокое обучение с подкреплением в высокочастотном трейдинге

Высокочастотная торговля (High-Frequency Trading, HFT) стала неотъемлемой частью современных финансовых рынков, где десятки тысяч транзакций могут быть выполнены за доли секунды. Эта форма торговли характеризуется высокой скоростью выполнения сделок, часто измеряемой в микросекундах, и зависит от мощных вычислительных систем, передовых алгоритмов и современных технологий передачи данных. В своей стремительной природе высокочастотная торговля открывает новые возможности для получения прибыли, однако требует участия активных и адаптивных торговых алгоритмов.
В контексте высокочастотной торговли, компания «Спектральные технологии», будучи одним из ключевых участников данного сектора, стремится максимизировать свою прибыль и снизить риски, связанные с торговыми операциями. В настоящее время их торговый алгоритм работает на основе заранее фиксированных параметров, которые определяются перед началом торговли и остаются неизменными в течение сессии. Однако, если бы эти параметры могли быть динамически оптимизированы в процессе торговли, компания «Спектральные технологии» могла бы достичь ещё более высоких результатов.
Именно здесь вступает в игру глубокое обучение с подкреплением, один из ключевых подходов в области машинного обучения. Глубокое обучение с подкреплением предоставляет возможность разработки алгоритмов, которые способны обучаться на основе опыта и взаимодействия с окружающей средой. Этот подход позволяет автоматически оптимизировать параметры торгового алгоритма на основе полученных наград и обратной связи от рынка в режиме реального времени. Внедрение глубокого обучения с подкреплением в сферу высокочастотной торговли может принести значительные преимущества, такие как повышение эффективности торговых стратегий, адаптация к изменяющимся рыночным условиям и снижение воздействия человеческого фактора на процесс принятия решений.
Целью данной дипломной работы является создание практического применения глубокого обучения с подкреплением для оптимизации параметров торгового алгоритма компании «Спектральные технологии» в контексте высокочастотной торговли. Мы стремимся разработать инновационный подход, который позволит автоматически оптимизировать параметры торгового алгоритма на основе полученного опыта и обратной связи от рынка в режиме реального времени...
Купить

В данной дипломной работе мы исследовали применение глубокого обучения с подкреплением в контексте высокочастотного трейдинга. Наша цель состояла в разработке практического применения DRL для оптимизации параметров торгового алгоритма.
В ходе работы мы:
• Сравнили различные алгоритмы DRL. Лучше всего для нашей задачи подошел алгоритм SAC. Его мы реализовали и использовали для обучения агента при проведении экспериментов.
• Разработали эффективный пайплайн обучения агента на основе Ape-X. В нем данные собираются асинхронно несколькими агентами-исследователями, а полученный опыт эффективно переиспользуется с помощью буфера опыта с приоритезацией.
• Определили среду в формальной постановке RL задачи и смогли с помощью нормализации наград, буферизации наблюдений и вручную сконструированных признаков заставить ее работать с нейронными сетями.
• Сравнили различные варианты архитектуры нейронных сетей в обучении агента. Выяснили, что сверточные сети не подходят для решения поставленной задачи, в то время как полносвязные и LSTM сети достигают желаемого качества.
• Выяснили, что использование общего кодировщика для актора и критиков алгоритма SAC не улучшает результатов, а наоборот делает процесс обучения менее стабильным.
Мы успешно достигли поставленных в рамках нашего исследования задач. Обученный агент показывает качество работы сравнимое с качеством работы торгового алгоритма, настроенного экспертами. Однако, несмотря на эти достижения, нельзя сказать, что показатели значительно улучшились по 22
сравнению с использованием константных параметров. Есть несколько гипотез о том, как можно улучшить результаты:
1. Подбор более информативных и релевантных для торгового алгоритма признаков.
2. Улучшение качества работы торгового алгоритма упростит задачу для агента. Эксперименты с более современными версиями торгового алгоритма могут показать улучшение результатов по сравнению с константными параметрами.
3. Обучение агента на большем объеме тренировочных данных.
Улучшение качества работы агента может стать темой для последующих исследований в этой области, а данная работа служит хорошей отправной точкой для них.

Купить