На сегодняшний день машинное обучение и нейронные сети стали неотъемлемой частью современной науки. Они позволяют анализировать огромные объемы данных, выявлять скрытые закономерности в них и строить достаточно точные прогнозы. Это важно, поскольку данные, часто слишком сложные для восприятия человеком, могут быть эффективно обработаны и проанализированы компьютерами с использованием искусственного интеллекта.
Применение методов машинного обучения и нейронных сетей позволяет решать разнообразные сложные задачи, включая задачи гидроаэромеханики. В контексте этой дисциплины, машинное обучение позволяет автоматизировать процессы анализа данных, прогнозирование результатов и создание высокоэффективных моделей, что в свою очередь улучшает понимание процессов и явлений, которые ранее могли быть сложными для восприятия или анализа. К подобным задачам можно отнести моделирование высокоскоростных течений, например, при обтекании сферы пятикомпонентной воздушной смесью [36], или подбор оптимальной аэромеханической формы тела [16]. Также одной из перспективных задач является расчет поуровневых коэффициентов скорости колебательных энергообменов. В работе [35] было предложено решение расчета с помощью регрессионных аппроксимаций, однако, моделирование можно провести с использованием нейросетевых технологий.
Важным аспектом машинного обучения является применение оптимизационных алгоритмов. Это необходимо при решении различных типов задач с использованием нейронных сетей, поскольку оптимизаторы позволяют настраивать параметры модели таким образом, чтобы минимизировать функцию потерь. Это позволяет улучшить производительность моделей и повысить точность их прогнозирования. Существуют различные подходы для решения задач оптимизации. В нейронных сетях, как правило, используют алгоритмы, основанные на вычислении градиента или гессиана оптимизируемой функции. К алгоритмам первого порядка, которые используют градиент для вычисления локального минимума, можно отнести стохастический градиентный спуск (SGD) [19], Adam [14] и т.д. Методы второго порядка для оптимизации используют матрицу Гессе, также к ним относятся квазиньютоновские алгоритмы, основанные на приближенных выражениях для матрицы Гессе, например, BFGS [9].
Одним из распространенных подходов для разработки интерактивных веб-приложений, предназначенных для анализа данных и применения методов машинного обучения, является использование фреймворка Streamlit [29]. С помощью данного инструмента на кафедре гидроаэромеханики было разработано приложение machine-learning-ui в рамках исследовательского проекта, финансируемого Санкт-Петербургским государственным университетом, для решения задач неравновесной газодинамики с использованием методов машинного обучения. Целью настоящей работы является реализация и интеграция в приложение machine-learning-ui оптимизационных алгоритмов AdaMod [4], MADGRAD [6], RAdam [24], Apollo [18], AdaHessian [1], LARS [32], LAMB [15], их сравнение и решение задачи расчета поуровневых коэффициентов скорости колебательных энергообменов с помощью нейросетевой модели с различными оптимизаторами.
В ходе работы были получены следующие результаты:
1. На языке Python с использованием библиотеки TensorFlow были реализованы и интегрированы в приложение machine-learning- ui оптимизационные алгоритмы: AdaMod, RAdam, MADGRAD, Apollo, AdaHessian, LARS, LAMB.
2. Была проведена апробация алгоритмов. Модель нейросети со всеми оптимизаторами сошлась в течение 30 эпох.
3. Была решена задача расчета поуровневых коэффициентов скорости колебательных энергообменов для пар частиц (O2-O, O2-Ar, O2-O2) с применением нейросетевого подхода. Была подобрана подходящая топология модели для текущей задачи. Обучение модели с различными оптимизационными алгоритмами заняло менее 6 секунд для каждого набора данных с учетом масштабирования. Значение ошибки при валидации реализованных оптимизаторов составило от 0,3 до 0,004, а средняя ошибка после обратного масштабирования оказалась равной — 1,19 х 10-17. Предсказанные значения оказались близки к истинным.
С кодом реализованных оптимизационных алгоритмов можно ознакомиться по ссылке в репозитории проекта: https: //github.com/daffeu/machine-learning-ui/tree/optimizers/src/ mlui/CustomOptimizers.
