Исследование и применение алгоритмов на базе консенсуса для распределенного обучения нейронных сетей

Введение 3
Постановка задачи 5
Глава 1. Теория 6
1.1. Задача машинного обучения 6
1.2. Алгоритм среднего консенсуса 6
1.3. Быстрая сходимость 9
1.4. Консенсус и задача МО 9
1.5. Алгоритм сплетен 10
Глава 2. Обзор 12
Глава 3. Алгоритм 14
3.1. Средний консенсус 14
3.2. Несбалансированные данные 15
3.3. Сплетни 16
Глава 4. Эксперименты 18
4.1. Выбор модели и датасета 18
4.2. Преобразование данных 19
4.3. Разминка модели 19
4.4. Увеличение скорости обучения 20
4.5. Топология сети 22
4.6. Основные эксперименты 26
Выводы 35
Заключение 36
Список литературы

Купить

С каждым годом количество накопленных человечеством данных растет. Современное аппаратное обеспечение часто не позволяет проводить вычисления с большим количеством данных на одной машине. Это часто связано, во-первых, с ограниченным объемом оперативной памяти компьютера, а во-вторых, с ограниченным временем на решение конкретной задачи. Для области машинного обучения актуальны обе перечисленные проблемы. Часто для достижения требуемого результата необходимо обучение нейронной сети с множеством параметров на огромном объеме данных. Это препятствует прогрессу в исследованиях и разработках. В связи с этим существует потребность в методах распределенного обучения. Они позволяют не ограничиваться мощностями одной машины при конструировании новых методов в машинном обучении и ускоряют уже существующие решения.
Помимо этого на практике часто возникает потребность обрабатывать информацию разной степени приватности. В некоторых случаях при обучении нейронной сети используются данные, распространение которых запрещено или нежелательно. Отличным примером этого является какой-либо совместный проект двух банков, в ходе которого они хотят решить общую задачу, но не могут передать, пусть даже и обезличенные, данные своих клиентов друг другу. В этом случае возникает необходимость использовать методы распределенного обучения, которые обеспечивали бы изоляцию данных.
Топология сети и методы взаимодействия узлов являются важными свойствами распределенных систем. Не всегда вычислительные кластеры имеют регулярную структуру, часто доступные вычислительные ресурсы представляют собой гетерогенную компьютерную сеть, где пропускная способность каналов связи и мощности каждого узла могут сильно отличаться. В этом случае применяемые методы распределенного обучения должны быть устойчивы к неоднородности сети.
В данной работе проводится краткий обзор основных методов распределенного обучения нейронных сетей и исследование возможности применения алгоритма на базе консенсуса и алгоритма сплетен для распределенного обучения с изоляцией данных. Также рассматривается способность алгоритма на базе консенсуса корректно решать задачу в сети с неоднородной вычислительной мощностью узлов.

Купить