ВВЕДЕНИЕ 3
ОСНОВНЫЕ ПОНЯТИЯ 4
1. РАЗРАБОТКА ИНСТРУМЕНТА ДЛЯ ИССЛЕДОВАНИЯ ПРАВИЛА
ОПРЕДЕЛЕНИЯ ОЦЕНОК 5
2. КОНЦЕПЦИЯ РЕШЕНИЯ 7
3. ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ АНАЛИЗА ЭКСПЕРТНЫХ ОЦЕНОК .. 10
3.1. Анализ согласованности экспертов 10
3.2. Выделение согласованных групп экспертов 12
3.3. Определение оптимального количества согласованных групп
экспертов 14
4. РЕАЛИЗАЦИЯ МОДУЛЯ 16
4.1. Используемые технологии 16
4.2. Оценка согласованности мнений экспертов по всем заявкам 16
4.3. Оценка согласованности мнений экспертов по одной заявке 21
4.4. Выявление отклонений экспертов от правил оценивания 22
4.5. Определение сходства оценок экспертов 23
5. РЕЗУЛЬТАТЫ АПРОБАЦИИ 27
ЗАКЛЮЧЕНИЕ 28
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 29
ПРИЛОЖЕНИЕ 31
Приложение А. Результаты исследования 31
Приложение Б. Реализация модуля 31
Необходимыми составляющими организации конкурсов являются выявление критериев, подача участниками своих заявок и оценивание этих заявок [1]. Итоговые оценки заявок, как правило, определяются агрегированными значениями по всем критериям и всей конкурсной комиссии в целом на основе соответствующей функции. Получается, что с одной стороны, конкурсы имеют определенную формализацию правил, но с другой стороны, результаты конкурса определяются на основе субъективных оценок конкурсной комиссии, в связи с чем имеют место жалобы участников по результатам оценивания своих заявок [2-3], для обработки которых необходимо проводить анализ качества работы как всей конкурсной комиссии в целом, так и каждого отдельно взятого её члена. Проблема заключается в том, что выяснение причин образования полученных агрегированных оценок является затруднительным в виду отсутствия специального инструмента автоматизации процесса аналитики результатов оценивания. Объектом исследования данной работы является проведение конкурсов, предметом исследования - экспертное оценивание конкурсных заявок.
На основании изученных источников и результатов проведенного исследования, описанного в разделе 1, была поставлена цель разработать инструмент, позволяющий автоматизировать процесс аналитики результатов экспертного оценивания для облегчения проведения анализа качества работы конкурсной комиссии.
Для выполнения поставленной цели определены следующие задачи:
1) проанализировать методы обработки экспертных оценок;
2) спроектировать функциональные подмодули, соответствующие выявленным методам;
3) разработать модуль, реализующий данные подмодули;
4) протестировать модуль на данных определенного конкурса.
В ходе выполнения работы было проведено исследование правила определения оценок конкурсной комиссией, по результатам которого был сделан вывод, что при выставлении оценок некоторыми экспертами не прослеживается зависимость между значениями параметров заявок и их оценками.
Была выдвинута концепция автоматизации процесса аналитики результатов экспертного оценивания, для реализации которой были проанализированы существующие методы обработки экспертных оценок.
Был разработан модуль, внедренный в существующую конкурсную платформу и состоящий из 5 подмодулей:
1) определение формул для расчёта значений критериев;
2) оценка согласованности мнений экспертов по всем заявкам;
3) оценка согласованности мнений экспертов по одной заявке;
4) выявление отклонений экспертов от правил оценивания;
5) определение сходства оценок экспертов.
Полученный модуль был апробирован на данных одного из конкурсов. Таким образом, поставленные задачи были выполнены.
