В последние годы машинное обучение нашло свое применения во многих отраслях человеческой деятельности, в том числе и в научных исследованиях. Обучение с учителем, как частный случай машинного обучения, является одним из популярных подходов для решения множества практических и исследовательских задач. Однако успех применения алгоритмов обучения с учителем зависит от количества и качества имеющихся данных. Данные, необходимые для обучения с учителем, должны быть размечены, то есть каждый элемент данных должен быть снабжен некоторой меткой, которую впоследствии алгоритм будет предсказывать. Отсутствие размеченных данных, их малый объем или низкое качество могут стать серьезной проблемой для использования алгоритмов машинного обучения.
Сбор и накопление размеченных данных зачастую является узким местом в научных исследованиях или же в практических задачах, связанных с применением машинного обучения. Как правило, процесс разметки данных требует кропотливой ручной работы множества экспертов, при котором возникают проблема человеческого фактора - принятие человеком неверных решений - и, как следствие, проблема снижения качества получаемых в результате работы экспертов данных. Стоит добавить, что процесс ручной разметки является крайне трудоемким, а объемы данных, которые необходимо разметить могут достигать сотни тысяч элементов. По указанным выше причинам, многие исследовательские группы заинтересованы в оптимизации процесса разметки данных.
Можно выделить два основных направления оптимизации процесса ручной разметки данных - это ускорение процесса и повышение качества разметки получаемых в результате работы экспертов данных. На текущий момент существует множество программных инструментов, решающих в той или иной степени задачи ускорении разметки и повышения качества собираемых данных. О популярности и важности этих задач также говорит большое количество современных публикаций и множество разрабатываемых методов, связанных с качественным улучшением процесса разметки данных.
В рамках научных исследований, к инструментам разметки данных могут предъявляться следующие ключевые требования:
• Инструмент должен распространяться под открытой лицензией.
• Приложение может быть легко установлено на локальный компьютер пользователя, либо же развернуто в локальной компьютерной сети организации.
• Приложение предлагает большой набор инструментов для выполнения различных задач по разметке данных.
• Приложение предполагает многопользовательский режим работы.
• В приложении используются различные современные методы для ускорения процесса разметки данных.
• Архитектура приложение позволяет легко масштабировать инструмент под решение новых задач.
• Приложение может горизонтально масштабироваться при увеличении количества пользователей или объема размечаемых данных.
• Приложение осуществляет контроль целостности и качества данных.
• Отказоустойчивость приложения.
На данный момент среди инструментов разметки данных отсутствуют те, которые в полной мере удовлетворяют всем перечисленным ключевым требованиям.
Целью данной работы является проектирование архитектуры инструмента для автоматизации процесса ручной разметки данных, отвечающего указанным ключевым требованиям. Сферой применения данного инструмента предполагается сфера научных исследований, связанных с применением машинного обучения.
В рамках данной работы была разработана архитектура инструмента для автоматизации процесса разметки наборов данных, которая обеспечивает масштабируемость и отказоустойчивость системы. На основе предложенной программной архитектуры был разработан прототип инструмента автоматизированной разметки данных. Осуществлен теоретический расчет ускорения, которое может обеспечить схема полуавтоматической разметки данных в реализованном прототипе. В выводе были отмечены основные направления развития разработанного приложения.
