ВВЕДЕНИЕ 3
1 ПОСТАНОВКА ЗАДАЧИ 5
2 ОПИСАНИЕ СОСТОЯНИЯ ДЕЛ В ОБЛАСТИ, ОБЗОР ПОДХОДОВ К
АКТИВНОМУ ОБУЧЕНИЮ 6
2.1 Машинное обучение с учителем для задачи классификации 6
2.1.1 Задача классификации текста 7
2.1.2 Логистическая регрессия 8
2.2 Активное обучение в задачах классификации 12
2.2.1 Сценарии реализации подходов, основанных на активном обучении . 13
2.2.2 Стратегия построения запроса 15
3 ОПИСАНИЕ МЕТОДОВ 20
3.1 Сэмплирование по степени неуверенности 20
3.2 Отбор комитетом 21
4 РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ 23
ЗАКЛЮЧЕНИЕ 30
ССЫЛКИ
Мы живем в век информации. Каждый день мы сталкиваемся с огромным количеством данных в сфере бизнеса, государственных учреждений, научных исследований, от новостей до денежных транзакций. Помимо этого, у большинства людей есть почта, мессенджеры, адресные книги, цифровые фотографии, музыка, видео. Управлять большим потоком данных становится более затруднительным. Пока цифровые компьютеры существуют в нашей жизни, распространение данных будет расти, как и потребность в их эффективной организации, извлечении и интерпретации.
К счастью, технологический прогресс, повлиявший на рост объема информации, в свою очередь создал область решения проблемы, связанной с её управлением. Машинное обучение - это изучение компьютерных алгоритмов, которые автоматически обучаются исходя из полученного опыта. С каждым разом они прогрессируют, показывая хороший результат в анализе данных, в принятии решений или в прогнозировании. К примеру, обучившись на звукозаписи, которые проаннотированы по словам и предложениям, машина может воспроизводить человеческую речь [1]. После наблюдений над поведением человека за рулем в определенный период времени, она может научиться водить машину [2]. Анализируя профили здорового и больного человека, машина может диагностировать болезнь [3].
Как правило, методы обучения, используемые для задач управления информацией, делятся на две группы:
• Обучение без учителя. Дается набор не размеченных данных. Цель - сформировать аспекты для коллекции. Например, кластеризовать данные, именованные сущности, в группы на основе набора наблюдаемых признаков;
• Обучение с учителем. Дается набор размеченных сущностей, каждая в виде пары {х,у}. Цель - предсказать ответ у для любой новой сущности х, основываясь на наборе признаков описывающих её. Если у является числом, то задача называется регрессией, если это набор дискретных значений, то это задача классификации.
В данной работе были разработаны и апробированы два метода активного обучения для задачи анализа тональности текста на казахском языке. В ходе поставленных экспериментов, был проведен сравнительный анализ полученных результатов и выявлено наиболее эффективное решение. На основании проделанного нами исследования можно сделать вывод, что поставленная цель была достигнута.
Реализованные методы можно использовать для решения проблемы отсутствия аннотированного корпуса для казахского языка. Учитывая принципы активного обучения можно не только пополнять корпус, но и повышать качество классификации.
