Введение 4
1. Постановка задачи 5
2. Описание предметной области 6
2.1. Сверточные нейронные сети 6
2.1.1. Сверточный слой 6
2.1.2. Pooling 8
2.1.3. Нормализация 8
2.2. Генеративные состязательные сети 9
3. Связанные исследования 10
4. Используемые технологии 12
5. Подготовка данных для обучения 13
5.1. Arrows 13
5.2. Kingstreet 14
6. Классификация парных изображений 15
6.1. Построение сети 15
6.2. Обучение сети 16
6.3. Анализ внутренних слоев сети 18
6.4. Максимизация целевой функции по входному изображению 22
7. Построение и обучение генеративной сети 24
7.1. Схема генеративной сети 24
7.2. Обучение сети и результаты 26
Заключение 29
Список литературы 30
В настоящее время очень активно развиваются и имеют большое применение в анализе видео и изображений алгоритмы, построенные на сверточные искусственных нейронных сетях[7]. Чаще всего они применяются при классификации изображений и распознавании образов. Большинство подобных сетей используют обучение с учителем. В то же время обучение без учителя получает значительно меньше внимания ввиду определенных сложностей реализации и недостаточной изученности данной области. Тем не менее, за последние несколько лет стали активно появляться новые методы, так или иначе задействующие обучение без учителя. В данной работе проводится исследование на тему обучения нейронной сети, выполняющей задачу определения динамики на входном изображении, а также задачу предсказания (генерации) следующего состояния запечатленного участка с учетом изменяющихся динамических объектов на изображении.
Генерация изображений может быть применена к моделированию и анализу всевозможных естественных структур, таких как медицинские данные, данные спутниковой съемки, картографические данные. Возможно применение подобных идей в сфере безопасности, подобная модель могла бы помочь в обнаружении движения по одному снимку с камеры еще до того, как оно само было совершено. Также, задачу генерации следующего изображения можно рассматривать с творческой стороны; при последовательном применении операции генерирования следующего кадра можно придать динамичность статичной фотографии, превратив ее в анимацию.
В работе было проведено несколько исследований.
Была успешна обучена сеть-классификатор, определяющая направление течения времени между изображениями в паре; точность классификации достигает 95%. На основе обученной сети был использован анализ ее внутренних слоев с использованием визуализации изображений, максимизирующих вывод внутренних нейронов сети. При визуализации были отмечены различные свойства сети: наличие подсчета дельт изображений на первом слое, недообученность первой версии сети, а также было обращено внимание на однообразность изображений последних слоев.
В работе был построен генератор изображения. Для этого были использованы следующие методы: аналог сети-автоэнкодера, состоящей из последовательных сверточных и разверточных слоев, и генеративная состязательная сеть, характеризующаяся наличием дискриминационной сети. Сравнение методов показало, что более простой метод с автоэнкодером, без дискриминационной сети, лучше подошел для поставленной задачи, не смотря на то, что состязательные сети хорошо показали себя в другой подобной задаче.
Исходный код доступен по ссылке: https://github.com/vlpolyansky/ video-cnn
