Введение 3
Актуальность 3
Цель работы 6
Постановка задачи 6
Глава 1. Обзор 7
1.1 Обзор научных источников 7
1.2 Исследование особенностей интерфейсов краудсорсинга 10
1.3 Обзор методов и готовых решений для создания интерфейсов 13
Глава 2. Проектирование и реализация 16
2.1 Конфигурация 16
2.2 Программный комплекс 21
Глава 3. Тестирование и апробация 30
Заключение 32
Результаты работы 32
Перспективы развития 33
Список использованной литературы 34
Актуальность
Первое популярное определение краудсорсинга дал J. Howe в 2006 году. Термин «краудсорсинг» был введен как «the act of taking a job traditionally performed by a designated agent (usually an employee) and outsourcing it to an undefined, generally large group of people in the form of an open call.» - акт переноса организацией или общественным институтом функции, ранее выполняемой специально назначенным агентом (обычно сотрудником), на заранее не определенную, как правило большую, группу исполнителей в формате открытого призыва.[1]
Краудсорсинг успешно применялся разными способами для решения множества практических задач, например:
1. Оценка релевантности поисковой выдачи [2][3][4]
2. Сбор данных о содержимом изображений [5]
3. Оценка качества перевода [6] [7]
4. Оценка пригодности изображений для просмотра детьми [8]
5. Аннотация текста для задач NLP (natural language processing - обработки естественного языка) [9]
6. Оценка качества видео [10]
7. Оценка удобства пользовательского интерфейса [11]
8. Систематизация научной литературы [12]
9. Семантическая иерархическая кластеризация [13]
Основные методы мотивации исполнителей выполнять краудсорсинг задания - социальная [5][14][18] и финансовая награды. Методы краудсорсинга, привлекающие исполнителей с финансовой наградой, а точнее - микроплатежами за каждое выполненное задание, считаются подходящими для более широкого класса задач и более простыми в реализации [2].
На май 2021 года “Microtask crowdsourcing” - способ применения краудсорсинга, основанный на выдаче небольших заданий, оплачиваемых микроплатежами, уже выделился в индустрию и широкое направление для исследований [15][16].
Как правило microtask crowdsourcing используется посредством платформ краудсорсинга таких как Amazon Mechincal Turk, Яндекс.Толока или Appen. У этих платформ есть 2 основных типа пользователей: заказчики и исполнители. Заказчики создают оплачиваемые микрозадания для исполнителей. Исполнители выполняют эти микрозадания за финансовую награду. Процесс взаимодействия платформы, заказчика и исполнителя можно описать схемой, приведенной на рисунке ниже.
Рисунок. Обобщенная схема взаимодействия краудсорсинг платформы, заказчика и исполнителя [17]
В области microtask crowdsourcing существует множество задач, требующих дополнительного исследования, например:
1. Определение оптимальной денежной компенсации за выполнение задания [19]
2. Эффективное распределение задач по исполнителям [8]
3. Удержание и повышение вовлеченности исполнителей [20]
4. Агрегация результатов разметки [21][22][23]
5. Обнаружение мошенничества среди исполнителей [24][25]
6. Упрощение для заказчика создания заданий краудсорсинга [26][27]
7. Повышение качества интерфейсов и инструкций для заданий краудсорсинга [11] [28] [29][30]
Цель работы
Цель данной работы - упростить для заказчиков создание интерфейсов заданий краудсорсинга посредством конструктора интерфейсов. На момент начала работы, заказчики, использующие Amazon Mechanical Turk и Яндекс.Толоку вынуждены вручную создавать интерфейсы разметки на веб технологиях, хотя по внутренним данным Яндекс.Толоки подавляющее большинство заказчиков не имеет навыков дизайна и веб разработки.
Это позволит заказчикам быстрее и с меньшими усилиями создавать задания, и сэкономить благодаря тому, что они решат задачу используя краудсорсинг [31][32].
Платформе результат данной работы позволит централизованно контролировать и улучшать качество интерфейсов заданий.
Постановка задачи
Для достижения поставленной цели в работе выделены следующие задачи
• Обзор предметной области интерфейсов краудсорсинга и существующих способов их создания
• Разработка программного комплекса для создания интерфейсов краудсорсинга на основе веб технологий
• Тестирование разработанного решения на реальных заказчиках.
Результаты работы
В результате работы был проведен обзор особенностей интерфейсов краудсорсинга и методов их создания. Был спроектирован и разработан программный комплекс, инструмент, позволяющий заказчикам создавать интерфейсы заданий без навыков веб разработки. Разработанный инструмент был протестирован на полноту выражения интерфейсов заданий краудсорсинга, также было проведено UX тестирование, которое показало положительный опыт использования заказчиками.
Инструмент уже внедрен в сервис Яндекс.Толока. На май 2021 года более 35%-ов активных заданий в Яндекс.Толоке используют эту платформу для создания интерфейсов заданий (по внутренним данным Яндекс.Толоки). Ряд заказчиков, которые раньше просили разработчиков интерфейсов создать интерфейсы заданий, теперь создают задания полностью самостоятельно. Часть заказчиков все еще обращается к разработчикам для создания интерфейса задания, но, когда разработчики используют конструктор, создание интерфейса занимает в несколько раз меньше времени (по внутренним данным Яндекс.Толоки). Также, инструмент внедрен в несколько внутренних сервисов Яндекса и в них тоже показывает положительный опыт использования. Разработанный инструмент решает поставленную задачу: упрощает создание интерфейсов заданий краудсорсинга полностью забирая на себя ряд технических задач, необходимых для создания интерфейса задания. Кроме этого, он значительно снижает количество ошибок реализации в интерфейсах заданий краудсорсинга, в сравнении с тем, когда интерфейс каждого задания разрабатывается индивидуально. (по внутренним данным Яндекс.Толоки)
Перспективы развития
Стоит отметить, что у данного инструмента и подхода есть перспективы дальнейшего развития. Среди них стоит выделить следующие направления:
• Несмотря на явно положительный результат в сравнении с созданием интерфейсов на веб технологиях, использование DSL доставляет неудобство некоторым заказчикам. Поэтому в будущем планируется рассмотреть переход на визуальную конфигурацию, которая компилируется в текущую.
• На момент написания работы конструктор включал в себя избыточные сущности, такие как action и plugin, которые вызывали у некоторых заказчиков затруднения при использовании. Сейчас разрабатывается прототип, позволяющий скрыть их без потери выразительности и гибкости.
• На момент написания статьи конструктор предлагает использовать избыточно низкоуровневые компоненты, вроде field.radio-group и helper.if в качестве стандартного подхода. Дальнейшие исследования могут быть направлены на проектирование более высокоуровневых компонентов, что дополнительно упростит создание интерфейсов заданий. Также это упростит внедрение лучших практик интерфейсов краудсорсинга в интерфейсы заказчиков, которые о таких практиках не осведомлены.
