Тема: Алгоритм обучения с подкреплением для решения задачи движения робота

Окружающий нас мир очень сложная открытая система, развивающа¬яся и меняющаяся во времени и пространстве. Автоматизация и роботизация встречается на каждом шагу. Автоматические устройства выполняют рутинные, сложные, рискованные и другие задачи, подстраиваясь и адаптируясь к существующему миру для достижения наилучших резуль¬татов. Адаптивность информационной системы - это ее способность изме¬няться для сохранения своих эксплуатационных показателей в заданных пре¬делах при изменениях внешней среды, также - это одно из качеств, которые уменьшают разрыв между понятием информационной системой и понятием живого организма. Адаптивность информационной системы сегодня - это залог успеха системы, завтра это - необходимое условие выживаемости. В информационной среде уже проходит отбор систем по критерию адап¬тивности, какая система быстрее сможет приспособиться к новым условиям существования. Современные способы построения адаптивных информаци¬онных систем в совокупности с системным подходом позволяют создать ин¬формационную систему, удовлетворяющую критерию адаптивности.
Робототехника - прикладная наука, занимающаяся разработкой автома-тизированных технических систем. Робот действует по заранее заложенной программе, получая информацию о внешнем мире от датчиков, он самостоятельно осуществляет производственные и иные операции, обычно выполняемые человеком (либо животными). При этом робот может, как иметь связь с оператором (получать от него команды), так и действовать автономно. Робототехника опирается на такие дисциплины, как электроника, механика, информатика, радиотехника, электротехника и другие. Выделяют основные виды робототехники: строительная, промышленная, бытовая, авиационная, военная, космическая и подводная. Практически в каждом виде роботов выделяют задачу движения, которая является одной из главных подзадач, требуемых для реализации проекта.
Для решения задач на стыке машинного обучения и оптимального управления была создана область обучения с подкреплением. В системах обучения с подкреплением выделяют важную проблему выбора между эксплуатацией текущих знаний для получения наибольшей награды и исследованием окружения с целью получения знаний о структуре окружения. В данной работе ставилась задача получения стратегия исследования окружений с непрерывными пространствами состояний. В качестве основы системы обучения с подкреплением была выбрана модель глубокого - обучения. Была предложена модификации существующей стратегии исследования в рамках задачи движения робота.
Существует множество готовых конфигураций роботов, механизмов и исполнителей, в основе которых лежат различные датчики, позволяющие осуществлять навигацию и передвижение в пространстве. А также существуют конструкторы, которые позволяют создавать макеты и прототипы роботов, используя практически любые конфигурации и формы исполнителей.
Цель работы: разработать и реализовать на языке высокого уровня алгоритм обучения с подкреплением для решения задачи движения робота по заданной линии.
Таким образом, для достижения цели были поставлены следующие задачи.
1. Провести анализ предметной области движения робота.
2. Изучить алгоритмы обучения с подкреплением.
3. Выполнить программную реализацию алгоритма обучения с подкреплением для решения задачи движения робота по линии.
4. Провести тестирование работы алгоритма в виртуальной среде. 

Купить

Для решения задачи движения робота по линии с помощью алгоритма обучения с подкреплением был проведен обзор методов обучения с подкреплением, а также проанализирована предметная область движения роботов.
Была разработана модель робота и системы обучения, а также виртуальная среда выполнения и тестирования стратегий. Был реализован алгоритм обучения и предложены критерии оценки.
В ходе выполнения работы был создан фреймворк для обучения различных моделей. Выполнена настройка параметров агента - матрица Q в алгоритме обучения Q-learning, для получения наилучших результатов. Были выбраны количество эпох обучения. Разработана программа на языке высокого уровня Python. Результатами работы программы являются коэффициенты матрицы . С помощью нее были получены результаты работы на контрольных картах. Результаты работы говорят о том, что алгоритм обучения работает лучше, чем тривиальный алгоритм.
Самые лучшие результаты получены при 10000 эпох обучения агента. При меньшем количестве агент обучается недостаточно и теряет управление в некоторых ситуациях на крутых поворотах. При увеличении числа эпох агент подвергается переобучению и заучиванию тренировочных трасс, теряет обобщающую способность и показывает по некоторым тестам худшие результаты, чем тривиальный алгоритм обучения. Полученные результаты обучения можно считать приемлемыми, если сравнивать с работой тривиального алгоритма.
Важным заключением данной работы является то, что удалось получить довольно точную модель, используя минимальное количество входной информации и затратив минимальное количество средств для моделирования объекта физической природы. Имеется в виду то, что как описывалось ранее, мы используем виртуальную модель, а не натурную.

Купить