Калибровочные эквивариантные сверточные нейронные сети (Gauge equivariant convolutional neural networks)
|
ВВЕДЕНИЕ 5
ГЛАВА 1. ПРЕДПОСЫЛКИ И КОНТЕКСТ 8
1.1 История вопроса и контекст 8
1.2 Цель диссертации и основные результаты 13
ГЛАВА 2. ВВЕДЕНИЕ В ПОЛНОСВЯЗНЫЕ И СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ 15
2.1 Нейронная сеть: определение и обучение 15
2.2 Полностью связанные сети 19
2.3 Конволюционные нейронные сети 19
2.4 Почему именно конволюционные нейронные сети? 24
ГЛАВА 3. ГАУССОВЫ ЭКВИВАРИАНТНЫЕ СЕТИ 28
3.1 Геометрическое глубокое обучение 28
3.2 Вводное обсуждение калибровочной эквивариантности 31
3.3 Ассоциированный пучок 32
3.4 Инвариантный/эквивариантный слой 35
3.5 Гауссова эквивариантная свертка 37
3.6 Обсуждение калибровочной эквивариантной свертки 44
ГЛАВА 4. ПРИЛОЖЕНИЯ К ГРУППОВЫМ ЭКВИВАРИАНТНЫМ CNNS 47
4.1 Групповые эквивариантные сети на однородных пространствах . 47
4.2 Общая идея реализации 50
4.3 Инвариантная сеть D4 от Cohen et.al 51
4.4 Обсуждение в- и эквивариантности дискретной группы 62
4.5 Эквивариантная сеть Сб по Hoogeboom и др 62
ГЛАВА 5. РЕЗЮМЕ 66
ЗАКЛЮЧЕНИЕ 68
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 70
ПРИЛОЖЕНИЕ А 73
ПРИЛОЖЕНИЕ Б 83
ГЛАВА 1. ПРЕДПОСЫЛКИ И КОНТЕКСТ 8
1.1 История вопроса и контекст 8
1.2 Цель диссертации и основные результаты 13
ГЛАВА 2. ВВЕДЕНИЕ В ПОЛНОСВЯЗНЫЕ И СВЕРТОЧНЫЕ НЕЙРОННЫЕ СЕТИ 15
2.1 Нейронная сеть: определение и обучение 15
2.2 Полностью связанные сети 19
2.3 Конволюционные нейронные сети 19
2.4 Почему именно конволюционные нейронные сети? 24
ГЛАВА 3. ГАУССОВЫ ЭКВИВАРИАНТНЫЕ СЕТИ 28
3.1 Геометрическое глубокое обучение 28
3.2 Вводное обсуждение калибровочной эквивариантности 31
3.3 Ассоциированный пучок 32
3.4 Инвариантный/эквивариантный слой 35
3.5 Гауссова эквивариантная свертка 37
3.6 Обсуждение калибровочной эквивариантной свертки 44
ГЛАВА 4. ПРИЛОЖЕНИЯ К ГРУППОВЫМ ЭКВИВАРИАНТНЫМ CNNS 47
4.1 Групповые эквивариантные сети на однородных пространствах . 47
4.2 Общая идея реализации 50
4.3 Инвариантная сеть D4 от Cohen et.al 51
4.4 Обсуждение в- и эквивариантности дискретной группы 62
4.5 Эквивариантная сеть Сб по Hoogeboom и др 62
ГЛАВА 5. РЕЗЮМЕ 66
ЗАКЛЮЧЕНИЕ 68
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 70
ПРИЛОЖЕНИЕ А 73
ПРИЛОЖЕНИЕ Б 83
Конволюционные нейронные сети - это алгоритм глубокого обучения, который предназначен для работы с изображениями, принимая их в качестве входных данных, присваивая значение (веса) определенным элементам изображения, чтобы отличить один от другого. Это один из основных алгоритмов, который способствовал развитию и совершенствованию области компьютерного зрения.
Конволюционные сети содержат несколько скрытых слоев, где первые из них могут распознавать линии, кривые, и так они становятся более специализированными, пока не смогут распознавать сложные формы, такие как лицо, силуэты и т.д. Общими задачами для сетей этого типа являются: обнаружение или категоризация объектов, классификация сцен и классификация изображений в целом.
В этой главе мы представляем историческую справку, некоторый контекст текущих исследований и то, как они связаны с темами, рассматриваемыми в данной диссертации. Кроме того, мы излагаем цели и основные результаты, представленные в работе, и заканчиваем кратким описанием конспекта диссертации.
Хотя мы стараемся уйти от классической идеи сравнения нейронных сетей с человеческим познанием, неизбежно отметить, что их топология пытается имитировать структуру мозга. Синапс нейрона человека и нейрон человека.
Нейронные сети - это математические модели, которые входят в известное семейство алгоритмов таких как глубокое обучение (deep learning), где нейронная сеть - это параллельная вычислительная модель, состоящая из адаптивных блоков обработки (называемых нейронами) с высокой степенью взаимосвязи между ними. взаимосвязи между ними. Рассматриваемые как процесс распознавания образов, нейронные сети являются расширением статистических методов.
Актуальность темы заключается в вариативности алгоритмов, созданных для получения функциональности, необходимой для реализации, сегодня функции выполняются с помощью ИНК, что не могло быть сделано в прошлом с той краткостью, которая делается сейчас.
Объектом исследования конволюционные нейронные сети являются вариантами в каждом из слоев и пулов, которые на нем размещены. Это делает нейронную сеть более точной.
Целью исследования выполнение высокоточный алгоритм, чтобы ваше предсказание было наиболее оптимальным.
В зависимости от темы и цели исследования необходимо решить следующие задачи:
1. рассмотреть сущность понятия «конволюционные нейронные сети», «вариант базы данных»
2. классификация конволюционных моделей;
3. рассматривать и анализировать различные базы данных и улучшенные функции;
4. сделать выводы и подвести итоги работы.
Методологической основой исследования являются труды наш алгоритм разработан с использованием МКТЗТ и СГЕАК-10, база данных которых широко используется для тестового обучения в области машинного обучения.
Теоретическая значимость данное научное исследование обусловлено его вкладом в изучение конволюционных нейронных сетей кроме того, трансцендентность работы предопределена ее значением в теории алгоритмической и математической вариации, существующей в каждой из них, поэтому они становятся опорой современной классификации, и текущего прогноза.
Практическая значимость работы - это возможность использования алгоритма, способного получить максимально точные результаты, буду использовать два алгоритма для каждой базы данных (МКТЗТ и СТРАК-10).
Я буду использовать модель последовательного предсказания для MNIST и CIFAR-10 и две из Maxpooling.
Материалом для исследования разрабатывал алгоритм, основанный на библиотеках GrouPy и HexaConv из Python, был реализован эквивариантной группой сверточных нейронных сетей [Cohen &Welling 2016] с поддержкой TensorFlow.
Конволюционные сети содержат несколько скрытых слоев, где первые из них могут распознавать линии, кривые, и так они становятся более специализированными, пока не смогут распознавать сложные формы, такие как лицо, силуэты и т.д. Общими задачами для сетей этого типа являются: обнаружение или категоризация объектов, классификация сцен и классификация изображений в целом.
В этой главе мы представляем историческую справку, некоторый контекст текущих исследований и то, как они связаны с темами, рассматриваемыми в данной диссертации. Кроме того, мы излагаем цели и основные результаты, представленные в работе, и заканчиваем кратким описанием конспекта диссертации.
Хотя мы стараемся уйти от классической идеи сравнения нейронных сетей с человеческим познанием, неизбежно отметить, что их топология пытается имитировать структуру мозга. Синапс нейрона человека и нейрон человека.
Нейронные сети - это математические модели, которые входят в известное семейство алгоритмов таких как глубокое обучение (deep learning), где нейронная сеть - это параллельная вычислительная модель, состоящая из адаптивных блоков обработки (называемых нейронами) с высокой степенью взаимосвязи между ними. взаимосвязи между ними. Рассматриваемые как процесс распознавания образов, нейронные сети являются расширением статистических методов.
Актуальность темы заключается в вариативности алгоритмов, созданных для получения функциональности, необходимой для реализации, сегодня функции выполняются с помощью ИНК, что не могло быть сделано в прошлом с той краткостью, которая делается сейчас.
Объектом исследования конволюционные нейронные сети являются вариантами в каждом из слоев и пулов, которые на нем размещены. Это делает нейронную сеть более точной.
Целью исследования выполнение высокоточный алгоритм, чтобы ваше предсказание было наиболее оптимальным.
В зависимости от темы и цели исследования необходимо решить следующие задачи:
1. рассмотреть сущность понятия «конволюционные нейронные сети», «вариант базы данных»
2. классификация конволюционных моделей;
3. рассматривать и анализировать различные базы данных и улучшенные функции;
4. сделать выводы и подвести итоги работы.
Методологической основой исследования являются труды наш алгоритм разработан с использованием МКТЗТ и СГЕАК-10, база данных которых широко используется для тестового обучения в области машинного обучения.
Теоретическая значимость данное научное исследование обусловлено его вкладом в изучение конволюционных нейронных сетей кроме того, трансцендентность работы предопределена ее значением в теории алгоритмической и математической вариации, существующей в каждой из них, поэтому они становятся опорой современной классификации, и текущего прогноза.
Практическая значимость работы - это возможность использования алгоритма, способного получить максимально точные результаты, буду использовать два алгоритма для каждой базы данных (МКТЗТ и СТРАК-10).
Я буду использовать модель последовательного предсказания для MNIST и CIFAR-10 и две из Maxpooling.
Материалом для исследования разрабатывал алгоритм, основанный на библиотеках GrouPy и HexaConv из Python, был реализован эквивариантной группой сверточных нейронных сетей [Cohen &Welling 2016] с поддержкой TensorFlow.
Теория искусственных нейронных сетей имеет большие преимущества по сравнению с другими типичными моделями решения инженерных задач, одним из которых является ее вдохновение биологическими моделями функционирования мозга, что облегчает ее изучение благодаря аналогиям, которые могут быть введены для ее анализа.
Математические модели, в которых были разработаны алгоритмы для всех типов сетей, являются простыми моделями, которые, хотя и требуют определенной степени знания дифференциального исчисления, могут быть усвоены и разработаны на любом языке программирования.
Нейронные сети - это относительно новая теория, которая вместе с другими методами искусственного интеллекта породила очень надежные решения инженерных задач, которые, несмотря на возможность решения традиционными методами, находят в нейронных сетях легко реализуемую и высоконадежную альтернативу.
В ходе разработки данного проекта удалось убедиться в огромной силе нейронных сетей и, в частности, конволюционных нейронных сетей. Стало ясно, как эти системы, которые относительно не требовательны в реализации, способны достигать очень точных результатов в том, что касается проблем классификации и идентификации изображений. Как было показано, с помощью 1 часа примерного обучения на компьютере среднего класса, сеть достигла 96% успеха с 10 000 обучающих изображений, 5 000 из которых были искажены.
Цель, которую необходимо достичь в данной работе, заключается в том, чтобы стать введением в область нейронных сетей и сверточных нейронных сетей. В частности, эти сети были конволюционные применяются для распознавания изображений, обучая сеть различать рукописные цифры на полутоновых изображениях 28 х 28. Также была сделана попытка показать большую универсальность и производительность, которыми обладают эти конволюционные сети, способные «обучаться» для решения проблем из множества различных областей. Во время чтения этих страниц можно было узнать, как работают и как обучаются самые простые нейронные сети, как схема конволюционной сети является абсолютно полной и практичной и как происходит процедура их обучения.
Машинное обучение - это не волшебное устройство, которое может превратить данные в идеальные и мгновенные решения, скорее его следует рассматривать как расширение статистических процедур, которые мы используем уже несколько десятилетий. Учитывая огромное количество информации, к которой врач имеет доступ и которую ему, скорее всего, придется анализировать, принятие клинического решения может стать сложной задачей.
Качество результатов, которые может дать алгоритм, зависит от количества и качества данных, которыми мы снабжаем нашу систему, поэтому система генерации и сбора данных имеет стратегическое значение для получения надежных и достоверных результатов. Это особенно актуально в здравоохранении, поскольку эти алгоритмы способны повлиять на жизнь миллионов пациентов. Безусловно, глубокое обучение не заменит врачей в ближайшем будущем. Но, устранив большую часть утомительной работы и заучивания, они облегчат врачам сосредоточиться на уходе за пациентами и принимать решения в контексте тысяч клинических результатов, которые являются частью всех наших научных данных, накопленных за сотни лет исследований.
Математические модели, в которых были разработаны алгоритмы для всех типов сетей, являются простыми моделями, которые, хотя и требуют определенной степени знания дифференциального исчисления, могут быть усвоены и разработаны на любом языке программирования.
Нейронные сети - это относительно новая теория, которая вместе с другими методами искусственного интеллекта породила очень надежные решения инженерных задач, которые, несмотря на возможность решения традиционными методами, находят в нейронных сетях легко реализуемую и высоконадежную альтернативу.
В ходе разработки данного проекта удалось убедиться в огромной силе нейронных сетей и, в частности, конволюционных нейронных сетей. Стало ясно, как эти системы, которые относительно не требовательны в реализации, способны достигать очень точных результатов в том, что касается проблем классификации и идентификации изображений. Как было показано, с помощью 1 часа примерного обучения на компьютере среднего класса, сеть достигла 96% успеха с 10 000 обучающих изображений, 5 000 из которых были искажены.
Цель, которую необходимо достичь в данной работе, заключается в том, чтобы стать введением в область нейронных сетей и сверточных нейронных сетей. В частности, эти сети были конволюционные применяются для распознавания изображений, обучая сеть различать рукописные цифры на полутоновых изображениях 28 х 28. Также была сделана попытка показать большую универсальность и производительность, которыми обладают эти конволюционные сети, способные «обучаться» для решения проблем из множества различных областей. Во время чтения этих страниц можно было узнать, как работают и как обучаются самые простые нейронные сети, как схема конволюционной сети является абсолютно полной и практичной и как происходит процедура их обучения.
Машинное обучение - это не волшебное устройство, которое может превратить данные в идеальные и мгновенные решения, скорее его следует рассматривать как расширение статистических процедур, которые мы используем уже несколько десятилетий. Учитывая огромное количество информации, к которой врач имеет доступ и которую ему, скорее всего, придется анализировать, принятие клинического решения может стать сложной задачей.
Качество результатов, которые может дать алгоритм, зависит от количества и качества данных, которыми мы снабжаем нашу систему, поэтому система генерации и сбора данных имеет стратегическое значение для получения надежных и достоверных результатов. Это особенно актуально в здравоохранении, поскольку эти алгоритмы способны повлиять на жизнь миллионов пациентов. Безусловно, глубокое обучение не заменит врачей в ближайшем будущем. Но, устранив большую часть утомительной работы и заучивания, они облегчат врачам сосредоточиться на уходе за пациентами и принимать решения в контексте тысяч клинических результатов, которые являются частью всех наших научных данных, накопленных за сотни лет исследований.