Введение 4
Постановка задачи 4
Обзор литературы 5
Глава 1. Прямая задача 7
1.1. Прямая задача с параметрами 7
1.2. Решение прямой задачи с константным параметром 8
1.3. Алгоритм решения прямой задачи с постоянными парамет
рами 8
Глава 2. Особенности численной реализации 10
2.1. Кронекеровская степень для векторов 10
2.2. Кронекеровская степень для матриц 11
2.3. Нахождение матриц R в численном виде 14
Глава 3. Нейронные сети 17
3.1. Построение сетки 17
3.2. Интерполяция с использованием барицентрических координат 23
3.3. Архитектура нейронного слоя 25
3.3.1 Полиномиальный слой 27
3.3.2 Кронекеровский слой 28
3.4. Модели нейронной сети 29
3.4.1 Кронекеровская модель 29
3.4.2 Ансамблевая модель 30
3.5. Особенности обучения 31
3.5.1 Регуляризация весов, маскирование градиентов 33
3.5.2 Нормализация данных и весовые матрицы 34
Глава 4. Результаты экспериментов 34
4.1. Эксперименты с кронекеровской моделью 35
4.2. Эксперимент с ансамблевой моделью 38
Выводы 40
Заключение 41
Список литературы 41
В области моделирования сложных систем наблюдается растущий спрос на методики, позволяющие эффективно решать задачи, связанные с нелинейными системами, высокой размерности. Эти системы должны поддерживать высокую точность и возможности обобщения, что побудило исследователей экспериментировать с различными передовыми методами моделирования. Одной из таких технологий, которая привлекла значительное внимание, являются нейронные сети. Нейронные сети продемонстрировали большие перспективы в моделировании сложных систем благодаря их способности учиться на больших наборах данных и находить нелинейные отношения между входными и выходными переменными.
Однако, несмотря на их успех, многие современные архитектуры нейронных сетей страдают отсутствием четкого объяснения результатов и ограниченными экстраполяционными свойствами. Однако многие современные архитектуры страдают от отсутствия четкого объяснения полученных результатов и ограниченных свойств экстраполяции. Хотя существующие архитектуры нейронных сетей имеют ограничения, исследователи работают над улучшением их производительности и устранением этих ограничений с целью создания более точных и надежных моделей для реальных приложений.
Достигнутые результаты:
• Разработан алгоритм решения СОДУ с параметрами.
• Разработаны 2 модели нейронных сетей кронекеровская и ансамблевая.
• Доказана теорема о экспоненциальном виде коэффициентов матриц Ri.
• Описаны особенности обучения разработанных моделей нейронных сетей.
• Проведен вычислительный эксперимент и показана эффективность предложенных подходов.
[1] Dubey Abhimanyu, Radenovic Filip, Mahajan Dhruv. Scalable Interpretability via Polynomials. — 2022. — June.
[2] Al-Jumeily Dhiya, Ghazali Rozaida, Hussain Abir. Predicting Physical Time Series Using Dynamic Ridge Polynomial Neural Networks // PLoS ONE. — 2014. —Aug. —Vol. 9, no. 8. —P. e105766.
[3] Oh Sung-Kwun, Pedrycz Witold, Park Byoung-Jun. Polynomial neural networks architecture: analysis and design // Computers and Electrical Engineering. — 2003. — Vol. 29, no. 6. — P. 703-725.
[4] Shin Y., Ghosh J. The pi-sigma network: an efficient higher-order neural network for pattern classification and function approximation // IJCNN- 91-Seattle International Joint Conference on Neural Networks. — 1991. — Vol. 1. —P. 13-18.
[5] Goltsev Alexander. NEURAL NETWORKS WITH THE ASSEMBLY ORGANIZATION. — 2005.
[6] Golovkina Anna, Kozynchenko Vladimir. Neural Network Representation for Ordinary Differential Equations // Artificial Intelligence in Models, Methods and Applications / ed. by Dolinina Olga, Bessmertny Igor, Brovko Alexander et al. — Cham : Springer International Publishing. — 2023. — P. 39-55.
[7] С. Клименко И. Реализация метода матричный отображений для решения системы дифференциальных уравнений // Процессы управления и устойчивость. — Санкт-Петербург, Россия. — 2022. — Т. 9. — С. 53-57.
[8] Slyusar V. I. A family of face products of matrices and its properties // Cybernetics and Systems Analysis. — 1999. — May. — Vol. 35, no. 3. — P. 379384. — Access mode: https://doi.org/10.1007/BF02733426.
[9] SymPy: symbolic computing in Python / Meurer Aaron, Smith Christopher P, Paprocki Mateusz, Certik Ondrej, Kirpichev Sergey B, Rocklin Matthew, Kumar AMiT, Ivanov Sergiu, Moore Jason K, Singh Sartaj, et al. // PeerJ Computer Science. — 2017. — Vol. 3. — P. e103.
[10] Open source computer algebra systems: SymPy / Joyner David, Certik Ondrej, Meurer Aaron, and Granger Brian E // ACM Communications in Computer Algebra. — 2012. — Vol. 45, no. 3/4. — P. 173-188.
[11] В. Скворцов А. Триангуляция Делоне и её применение // Томск: Изд-во Томского университета,. — 2002. — С. 128.
[12] Умнов А. Е. и Умнов Е. А. Основы теории обыкновенных дифференциальных уравнений. — 2022. — С. 73-122.
[13] Балк Марк Беневич и Болтянский Владимир Григорьевич. Геометрия масс // М.: Физматлит. — 1987. — С. 76-116.
[14] TensorFlow: Large-scale machine learning on heterogeneous systems. — 2015. — Access mode: https://www.tensorflow.org/.
[15] Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers / Liu Junjie, Xu Zhe, Shi Runbin, Cheung Ray C. C., and So Hayden K. H. — 2020. — Apr.
[16] Louizos Christos, Welling Max, Kingma Diederik P. Learning Sparse Neural Networks through $ Regularization. — 2018. — June.
[17] Huang Chang-Ti, Chen Jun-Cheng, Wu Ja-Ling. Learning Sparse Neural Networks Through Mixture-Distributed Regularization // 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). — Seattle, WA, USA : IEEE. — 2020. — June. — P. 2968-2977.