Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Общие сведения 7
1.1. Фундаментальный и технический анализ 7
1.2. Искусственный нейрон 8
Глава 2. Архитектуры нейронных сетей 11
2.1. Многослойные сети прямого распространения 11
2.2. Рекуррентные нейронные сети 12
2.3. Сети с долгой краткосрочной памятью 14
2.4. Функции активации 17
2.5. Функции ошибки 18
Глава 3. Экспериментальная часть 20
3.1. Рабочая среда 20
3.2. Обработка данных 21
3.3. Использованные архитектуры 22
3.4. Результаты экспериментов 23
Выводы 25
Заключение 26
Список литературы 27
Приложение 28
Приложение 1 28
Приложение 2 29
Приложение 3 30
Приложение 4 32
В современном мире глобализация влияет на все сферы нашей жизни. События, произошедшие в одной точке мира, могут вызвать изменения на другом континенте, причем в некоторых случаях это может занять минуты или даже секунды.
Одной из областей, подверженных сильному влиянию глобализации, является фондовый рынок. Незначительные, на первый взгляд, происшествия могут решительным образом и в короткие сроки изменить цены на бирже, из- за чего перед трейдерами (торговцами на бирже) встаёт задача постоянно следить за состоянием рынка — малейшая оплошность может стоить целого состояния.
Однако человек не может бодрствовать круглосуточно, а усталость и недосып могут ухудшить мыслительные способности и навыки анализирования ситуации. Здесь на помощь человеку может прийти вычислительная техника — компьютеры прочно закрепились во всех областях нашей жизни, не нуждаются в сне и не страдают от усталости. Кроме того, по сравнению с человеком компьютер способен обрабатывать информацию гораздо быстрее, что в некоторых ситуациях может сыграть большое значение. В последнее время большую популярность получили искусственные нейронные сети, перенявшие у человека одну из важнейших способностей — способность к самообучению.
Первые искусственные нейронные сети были созданы ещё более пятидесяти лет назад, однако поначалу не нашли широкого применения. Но к концу двадцатого века началось возрождение интереса к искусственным нейронным сетям — вычислительная техника совершенствовалась, а сами сети имели важное преимущество по сравнению с классическими алгоритмами: они не требовали тщательного описания каждой ситуации и соответствующего ей действия, а могли обучаться на наборе данных, подобно человеку. В результате появилось множество новых работ, описывающих применение нейронных сетей для решения самых разнообразных задач. Однако не все архитектуры одинаково полезны при решении различных задач — одна архитектура может успешно обучаться и применяться там, где другая будет совершенно бесполезна. При этом одна нейронная сеть, по-разному обученная, может порой справляться с задачами совершенно несхожими.
Интерес представляет возможность использования искусственных нейронных сетей в задачах прогнозирования изменения цен на фондовой бирже — по сравнению с человеком, нейронная сеть может быстрей реагировать на изменение ситуации, а также, при должном обучении, замечать зависимости, которые могут быть упущены человеком.
Целью данной работы является сравнение эффективности нейронных сетей с долгой краткосрочной памятью (LSTM) в задачах прогнозирования финансовых временных рядов по отношению к обычным рекуррентным нейронным сетям и сетям прямого распространения сигнала.
В данной работе были рассмотрены особенности искусственных нейронных сетей с долгой краткосрочной памятью и проведено сравнение сетей этой архитектуры с нейронными сетями прямого распространения сигнала и рекуррентными нейронными сетями.
Результаты сравнения показали, что при использовании метода Dropout нейронные сети с долгой краткосрочной памятью имеют более высокую устойчивость к переобучению и показывают хорошие результаты на выборках большого размера, однако не смогли показать значительного улучшения общей точности прогнозирования по сравнению с простыми рекуррентными сетями. Кроме того, в силу более сложной архитектуры данные сети требуют значительно большего времени на их обучение.
Данная архитектура и её способность учитывать факторы из далёкого прошлого может оказаться полезной при использовании фундаментального анализа. В качестве же инструмента технического анализа, анализирующего сравнительно близкие по времени параметры, более предпочтительным вариантом является использование простых рекуррентных сетей, предоставляющих схожую точность при меньших требованиях к ресурсам.
1. About Keras models. https://keras.io/models/about-keras-models/
2. Elman J. L. - Finding Structure in Time // Cognitive Science, 1990. 14, 179 - 211
3. Hinton G. E., Srivastava N., Krizhevsky A., Sutskever I.,
Salakhutdinov R. R. - Improving neural networks by preventing coadaptation of feature detectors // arXiv: 1207.0580v1, 2012
4. Horichreiter S., Schmidhuber J. - Long short-term memory // Neural Computation, 1997. 9(8): 1735 - 1780
5. Understanding LSTM Networks. http://colah.github.io/posts/2015-08- Understanding-LSTMs/
6. Хайкин С. Нейронные сети: полный курс, 2-е издание. М.: «Вильямс», 2006, 1104 с.