Введение 4
Постановка задачи 4
Обзор литературы 5
Глава 1. Прямая задача 7
1.1. Прямая задача с параметрами 7
1.2. Решение прямой задачи с константным параметром 8
1.3. Алгоритм решения прямой задачи с постоянными параметрами 8
Глава 2. Особенности численной реализации 10
2.1. Кронекеровская степень для векторов 10
2.2. Кронекеровская степень для матриц 11
2.3. Нахождение матриц Rв численном виде 14
Глава 3. Нейронные сети 17
3.1. Построение сетки 17
3.2. Интерполяция с использованием барицентрических координат 23
3.3. Архитектура нейронного слоя 25
3.3.1 Полиномиальный слой 27
3.3.2 Кронекеровский слой 28
3.4. Модели нейронной сети 29
3.4.1 Кронекеровская модель 29
3.4.2 Ансамблевая модель 30
3.5. Особенности обучения 31
3.5.1 Регуляризация весов, маскирование градиентов 33
3.5.2 Нормализация данных и весовые матрицы 34
Глава 4. Результаты экспериментов 34
4.1. Эксперименты с кронекеровской моделью 35
4.2. Эксперимент с ансамблевой моделью 38
Выводы 40
Заключение 41 
Список литературы

Купить

В области моделирования сложных систем наблюдается растущий спрос на методики, позволяющие эффективно решать задачи, связанные с нелинейными системами, высокой размерности. Эти системы должны поддерживать высокую точность и возможности обобщения, что побудило исследователей экспериментировать с различными передовыми методами моделирования. Одной из таких технологий, которая привлекла значительное внимание, являются нейронные сети. Нейронные сети продемонстрировали большие перспективы в моделировании сложных систем благодаря их способности учиться на больших наборах данных и находить нелинейные отношения между входными и выходными переменными.
Однако, несмотря на их успех, многие современные архитектуры нейронных сетей страдают отсутствием четкого объяснения результатов и ограниченными экстраполяционными свойствами. Однако многие современные архитектуры страдают от отсутствия четкого объяснения полученных результатов и ограниченных свойств экстраполяции. Хотя существующие архитектуры нейронных сетей имеют ограничения, исследователи работают над улучшением их производительности и устранением этих ограничений с целью создания более точных и надежных моделей для реальных приложений.
Постановка задачи
Цель работы - представить алгоритм решения системы дифференциальных уравнений (СОДУ) с использованием полиномиальных нейронных сетей (PNN) для прогнозирования процесса, реализация подхода позволяющего получить решение, мультипликативно включающее начальные условия, разработка архитектуры нейронных сетей, имеющих тесную связь с динамическими системами с параметрами, которые могут быть описаны СОДУ с параметрами, определяющими характер решения уравнения. К их числу, например, относятся параметры управления, которые могут меняться со временем по заранее неизвестному закону, но при этом принимать значения из ограниченного диапазона.
Обзор литературы
Полиномы являются универсальными аппроксиматорами, которые могут использоваться для моделирования всех возможных взаимодействий объектов и обеспечивают интерпретируемость полученных данных [1]. PNN показали многообещающие результаты для прогнозирования временных рядов [2], особенно для данных с нелинейными взаимосвязями и сложными временными зависимостями. Более того, полиномиальные функции широко изучались математиками, и было показано, что они обладают некоторыми полезными теоретическими свойствами. Полиномиальные нейронные сети также связывают исследование общих нейронных структур с исследованием характеристик полиномиальных функций [3].
Метод группового учёта аргументов (МГУА) является одним из самых ранних методов систематического построения нелинейных соединений с помощью PNN. МГУА был разработан в конце 1960-х годов Ивахненко А. Г. для выявления нелинейных зависимостей между входными и выходными данными. Алгоритм МГУА генерирует оптимальную структуру для модели с помощью рекурсивного селективного отбора, на основе которых далее создаются более сложные модели. По сравнению с хорошо известными нейронными сетями, топология которых обычно фиксируется заранее, архитектура МГУА не фиксируется заранее, а становится полностью оптимизированной (как структурно, так и параметрически). Однако у него есть недостатки, такие как сложные многочлены для простых систем и чрезмерно сложные сети для нелинейных систем.
Еще одно усовершенствование PNN можно почерпнуть из [4], где представлена сеть pi-sigma, имеет регулярную структуру, ей требует меньшее количество весов и меньше времени обучения. Однако данная модель плохо масштабируется, и его экспериментальная оценка проводится только на данных с известными распределениями.
Также известен подход использующий возможности ансамблевых нейронных сетей. Например в [5] описывается процесс распознавания визуальных образов при помощи ансамблевых нейронных сетей. При таком подходе нейронная сеть разделена на несколько подсетей, так что одна подсеть представляет один из классов.
В данной статье рассматривается построение архитектуры и схемы обучения рекуррентной полиномиальной нейронной сети для моделирования динамических процессов. Этот выбор объясняется способностью метода выражать решение обыкновенного дифференциального уравнения (СОДУ) в виде полиномиальной нейронной сети [6]. Согласно детерминированному алгоритму, описанному в [7], такой PNN может быть однозначно инициализирован, если известен СОДУ, соответствующий моделируемому процессу, что позволяет использовать знания о зависимостях и значения коэффициентов из решения СОДУ в PNN. Однако даже при хорошей инициализации весовые матрицы, возможно, потребуется точно настроить из-за следующих факторов:
1. СОДУ может быть восстановлен из данных, но не точно из-за специфики методов восстановления;
2. СОДУ может приблизительно описать моделируемый процесс;
3. В реальных условиях на процесс могут влиять различные внешние силы, которые по тем или иным причинам не учитываются в математической модели.

Купить