Методы обучения с подкреплением в задачах управления механическими системами

ВВЕДЕНИЕ
ГЛАВА 1. ПОСТАНОВКА ЗАДАЧИ…………………………………7
1.1. Задача управления «роботом-велосипедистом»….. ……..7
1.2. Проблемы практического применения теоретических
результатов
1.3. Математическая постановка задачи ……………………..10
ГЛАВА 2. ИССЛЕДОВАНИЕ ЗАДАЧИ………………………..…..14
2.1. Моделирование неуправляемой системы……..…………14
2.2. Графики моделирования неуправляемой системой …….16
2.3. Моделирование управляемой системы и оценка коэффициента
2.4. Графики моделирование управляемой системы и оценка
коэффициента
Заключение
Список литературы
Приложения
Купить

Одним из популярных направлений науки в настоящее время является
искусственный интеллект. Одной из важных составляющих этого
направления – это машинное обучение. Оно применяется во многих
областях, например в информационной безопасности, робототехники,
медицине. Почему его применяют? Дело в том, что системы машинного
обучения позволяют быстро применять знания, полученные при обучении на
больших наборах данных, что позволяет им преуспевать в таких задачах, как
распознавание лиц, распознавание речи, распознавание объектов,
автоматический перевод текстов, оно помогает в управлении самолетами,
ракетами, в диагностировании заболеваний и многое другое. В отличие от
программ с закодированными вручную инструкциями для выполнения
конкретных задач, машинное обучение позволяет системе научиться
самостоятельно, распознавать шаблоны и делать прогнозы. В некоторых
случаях машина по сравнению с человеком способна принимать более
правильные, быстрые, решения.[1] Но эта область имеет множество
нерешенных проблем. В машинном обучении выделяют такие направления,
как: обучение по дереву принятия решений, обучение по ассоциативным
правилам, обучение с подкреплением, искусственные нейронные сети,
глубокое обучение, обучение по характерным особенностям, обучение по
подобию, обучение по избыточному словарю и многое другое. [2] Данная
работа относится к области обучения с подкреплением, а точнее к
адаптивным алгоритмам. Обучение с подкреплением используют там, где
задачей стоит не анализ данных, а выживание в реальной среде. Откликом
среды (а не специальной системы управления подкреплением, как это
происходит в обучении с учителем) на принятые решения являются сигналы
подкрепления, поэтому такое обучение является частным случаем обучения с
учителем, но учителем является среда или её модель. С точки
зрения кибернетики, обучение с подкреплением является одним из5
видов кибернетического эксперимента. В инженерных задачах управления
механическими и техническими системами, самообучение и
самонастраивание регулятора последние 50 лет изучается под флагом адаптивного управления.
Целью данной работы является изучение методов машинного обучения
с подкреплением для задач управления механической системой на примере робота-велосипедиста.
Робот-велосипедист представляет собой велосипед с находящемся на
нем регулятором. Последний должен поддерживать равновесие движущегося
велосипеда. Возможно ли реализовать такой регулятор? Наверное, поскольку
человек может ездить на велосипеде и регулировать его таким образом, что
бы тот не упал, есть также уже и реализованные роботы данного класса.
Любая задача автоматического управления превращается в задачу об
адаптивном управлении. Содержание подобных задач весьма разнообразно,
например, управление подвижными объектами, технологическими
процессами, управление робототехническими системами. Адаптивные
регуляторы обладают большой надежностью и устойчивостью в работе,
ввиду способности компенсировать разного рода неточности (неизвестные
параметры модели, внешние возмещения). Если адаптивный регулятор
построен на основании неточно составленной математической модели
объекта, но реальный объект принадлежит классу адаптации регулятора, то он будет работоспособен.[3]
Работа основана на статье В. А Якубовича «Адаптивные системы с
многошаговыми целевыми условиями» в применении ее теории к
прикладной задаче. Статья является довольно старой по написанию и
структуре, поэтому при ее разборе возникает большое количество вопросов и
затруднений. Поэтому было решено разобрать данную статью и написать
прикладную часть таким образом, чтобы человеку, который хочет применить
данный алгоритм, не пришлось сталкиваться свыше обозначенными6
проблемами и тратить на них время. Так же в этой работе представлена
программная реализация этого алгоритма.
Моделирование выполнено на языке Python[5], так как он сегодня
является одним из самых распространенных языков и имеет большое
количество библиотек помогающих в реализации, визуализации,
вычислениях. При разработке использовались библиотеки: matplotlib –
визуализация данные двумерной графикой; numpy[7] - расширение языка
Python, добавляющее поддержку больших многомерных массивов и матриц
(которые в нашем случае нужны для визуализации получаемых нами
данных), вместе с большой библиотекой высокоуровневых математических
функций для операции с этими массивами; math[6] – это модуль
предоставляет обширный функционал для работы с числами.
Структура работы
Во введении обосновывается актуальность решаемой задачи,
анализируются труды по данной тематике, ставится цель и задачи
исследования, а также основные направления исследования.
В первой главе описывается задача, которая поставлена в статье[3].
Также обозначены проблемы, которые возникали во время ее изучения.
Описывается концепция работы и дается математическая постановка задачи.
Во второй главе представлена программная реализация моделирования
с алгоритмом и без него, графики для обоих случаев и описание программ.
В заключении делается вывод о полученных результатах исследования и приводится список литературы.
Купить