В настоящее время нейронные сети используются в широком спектре задач от распознавания текста на изображениях до детектирования частиц в коллайдерах[1]. Такая универсальность возможна благодаря свойству нейронной сети инкапсулировать нелинейные зависимости и наличию эффективных алгоритмов тренировки нейронной сети.
Одно из ключевых свойств нейронной сети это тип связи между её нейронами; различают:
• Сети прямого распространения (простой перцептрон, свёрточные нейронные сети) [2],
• Рекуррентные нейронные сети[3],
• Самоорганизующиеся карты[4] и другие.
В данной работе рассматриваются только рекуррентные нейронные сети с двумя вариантами рекуррентных слоёв: простой рекуррентный слой и слой LSTM(long short-term memory). Рекуррентные нейронные сети за счёт наличия связей между нейронами скрытого слоя могут превосходить сети прямого распространения в качестве работы, что и наблюдается на некоторых классах задач[5, 6]. Как правило, рекуррентные нейронные сети выигрывают у сетей прямого распространения в случае, когда данные получены из какого-либо последовательного процесса, что имеет место в задачах распознавания речи, автоматического перевода и генерации текста.
Тем не менее рекуррентные сети сложнее в применении, так как обычно требуют большего количества тренировочных данных и имеют более сложную структуру, что в том числе влечёт серьёзное увеличение времени, необходимого для обучения по сравнению с сетями прямого распространения. Кроме того, структура рекуррентных сетей задаёт некоторые ограничения на распараллеливание в связи наличием рекуррентных связей в слоях[7], но не исключает его.
Так как в процессе тренировки и использования натренированной нейронной сети интенсивно используются операции над матрицами и векторами, эти процессы могут быть существенно ускорены с использованием графического процессора (GPU) для вычислений, в частности с использованием платформы Nvidia CUDA[8], для которой такие операции имеют эффективные массово-параллельные реализации, что и продемонстрировано в работах[9, 10].
На сегодняшний день количество публично доступных параллельных реализаций рекуррентных нейронных сетей невелико[11, 7, 12, 13, 14], при этом исходный код некоторых из них закрыт.
Таким образом в ходе работы были рассмотрены различные подходы к построению и тренировке рекуррентных нейронных сетей, проведён анализ существующих параллельных реализаций рекуррентных нейронных сетей. В одну из таких параллельных реализаций добавлена новая функциональность, а именно простой рекуррентный слой и алгоритм тренировки 1-BFGS.
В ходе экспериментов выяснилось, что на выбранном наборе данных эффективнее проводить тренировку нейронной сети с помощью стохастического градиентного спуска, нежели с помощью алгоритма sl-BFGS, так как время одной итерации sl-BFGS существенно превосходит время итерации стохастического градиентного спуска, нивелируя выигрыш в увеличении точности после каждой итерации.
Также данная работа ещё раз иллюстрирует превосходство нейронных сетей с LSTM-слоями над сетями на основе простого рекуррентного слоя, обусловленное способностью LSTM-слоя моделировать отдалённые зависимости в данных. Тем не менее, простой рекуррентный слой используется в современных исследованиях[18] ввиду низкого времени тренировки, так что выполненная реализация может оказаться полезной.
Хотя работа над поставленными задачами закончена, исследование можно продолжить, например, реализовав дополнительные алгоритмы тренировки, например AdaGrad, который, согласно работе[22], показывает более высокую скорость тренировки, чем стохастический градиентный спуск на рекурретных нейронных сетях.
