Введение 4
1. Постановка задачи 5
2. Обзор 6
2.1. Классификация дифференциальных уравнений 6
2.2. Жесткие уравнения 8
2.3. Обучение нейросетевых моделей 8
2.4. Смежные работы 11
3. Реализация 12
3.1. Алгоритм обучения 12
3.2. Проблема форм 14
3.3. Выбор тестовых уравнений 14
3.4. Базовая архитектура нейросети 20
4. Исследование модификаций сети и процесса обучения 25
4.1. Использование LBFGS оптимизатора 25
4.2. Задание начальных условий 27
4.3. Модификация архитектуры 34
5. Выводы 42
6. Заключение 44
Список литературы 45
В последнее время, с ростом доступных вычислительных мощностей и наборов данных, наблюдается популярность применения методов машинного обучения в различных прикладных дисциплинах [10] [11].
Однако при изучении сложных физических, биологических или инженерных систем, стоимость получения данных все еще высока, в связи с чем их анализ проводится с помощью небольших наборов данных. В таких случаях современным алгоритмам машинного обучения, на-пример, глубоким, сверточным или рекуррентным нейронным сетям, недостает обучающих примеров, чтобы найти приемлемое решение.
Другой подход к изучению многих динамических систем состоит в следующем. Для системы составляется дифференциальное уравнение, описывающее динамику этой системы, задаются начальные условия, то есть значения показателей системы на границе области в начальный момент времени. Затем это уравнение решается каким-либо численным методом. Численные методы используются чаще всего потому, что за-частую получить точно решение сложно или невозможно, а также, имея вычислительные мощности, становится возможным проводить большие расчеты.
В данной работе рассматривается возможность использования нейронных сетей для решения дифференциальных уравнений. С использованием нейронных сетей мы получаем сразу несколько возможностей для улучшения: автоматическое дифференцирование, регуляризация с помощью априорных знаний предметной области, например, законов сохранения в физике, модификация архитектуры сети для добавления в нее знаний того, как выглядят решения диффуров. Все это можно использовать для улучшения получаемого решения. Также, ввиду отсутствия привычного набора данных “набор признаков — ответ”, рассматриваемая задача относится к задачам обучения без учителя.
В данной работе ставится задача исследовать особенности нейросетевого подхода к решению дифференциальных уравнений и некоторых модификаций, применимых для этого метода.
В рамках данной работы были достигнуты следующие результаты:
• Изучены существующие работы, связанные с применением методов машинного обучения к решению дифференциальных уравнений.
• Выбраны уравнения для сравнения нейросетевых моделей.
• Выбрана базовая модель для сравнения с ее модификациями.
• Приведены методы для модификации базовой модели и проведены эксперименты с исследованием их эффективности.
• Проведен анализ полученных результатов. Показаны способы модификации сети, дающие улучшение качества получаемого решения. Исследованы как представление влияет на итоговое качество и установлено, что лучше брать уравнения, лишенные делений, и предпочитать уравнения высшего порядка эквивалентным системам первого порядка.
