Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
ℹ️Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
ВВЕДЕНИЕ 3
ОСНОВНЫЕ ПОНЯТИЯ 4
1. РАЗРАБОТКА ИНСТРУМЕНТА ДЛЯ ИССЛЕДОВАНИЯ ПРАВИЛА
ОПРЕДЕЛЕНИЯ ОЦЕНОК 5
2. КОНЦЕПЦИЯ РЕШЕНИЯ 7
3. ТЕОРЕТИЧЕСКИЕ АСПЕКТЫ АНАЛИЗА ЭКСПЕРТНЫХ ОЦЕНОК .. 10
3.1. Анализ согласованности экспертов 10
3.2. Выделение согласованных групп экспертов 12
3.3. Определение оптимального количества согласованных групп
экспертов 14
4. РЕАЛИЗАЦИЯ МОДУЛЯ 16
4.1. Используемые технологии 16
4.2. Оценка согласованности мнений экспертов по всем заявкам 16
4.3. Оценка согласованности мнений экспертов по одной заявке 21
4.4. Выявление отклонений экспертов от правил оценивания 22
4.5. Определение сходства оценок экспертов 23
5. РЕЗУЛЬТАТЫ АПРОБАЦИИ 27
ЗАКЛЮЧЕНИЕ 28
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 29
ПРИЛОЖЕНИЕ 31
Приложение А. Результаты исследования 31
Приложение Б. Реализация модуля 31
📖 Введение
Необходимыми составляющими организации конкурсов являются выявление критериев, подача участниками своих заявок и оценивание этих заявок [1]. Итоговые оценки заявок, как правило, определяются агрегированными значениями по всем критериям и всей конкурсной комиссии в целом на основе соответствующей функции. Получается, что с одной стороны, конкурсы имеют определенную формализацию правил, но с другой стороны, результаты конкурса определяются на основе субъективных оценок конкурсной комиссии, в связи с чем имеют место жалобы участников по результатам оценивания своих заявок [2-3], для обработки которых необходимо проводить анализ качества работы как всей конкурсной комиссии в целом, так и каждого отдельно взятого её члена. Проблема заключается в том, что выяснение причин образования полученных агрегированных оценок является затруднительным в виду отсутствия специального инструмента автоматизации процесса аналитики результатов оценивания. Объектом исследования данной работы является проведение конкурсов, предметом исследования - экспертное оценивание конкурсных заявок.
На основании изученных источников и результатов проведенного исследования, описанного в разделе 1, была поставлена цель разработать инструмент, позволяющий автоматизировать процесс аналитики результатов экспертного оценивания для облегчения проведения анализа качества работы конкурсной комиссии.
Для выполнения поставленной цели определены следующие задачи:
1) проанализировать методы обработки экспертных оценок;
2) спроектировать функциональные подмодули, соответствующие выявленным методам;
3) разработать модуль, реализующий данные подмодули;
4) протестировать модуль на данных определенного конкурса.
✅ Заключение
В ходе выполнения работы было проведено исследование правила определения оценок конкурсной комиссией, по результатам которого был сделан вывод, что при выставлении оценок некоторыми экспертами не прослеживается зависимость между значениями параметров заявок и их оценками.
Была выдвинута концепция автоматизации процесса аналитики результатов экспертного оценивания, для реализации которой были проанализированы существующие методы обработки экспертных оценок.
Был разработан модуль, внедренный в существующую конкурсную платформу и состоящий из 5 подмодулей:
1) определение формул для расчёта значений критериев;
2) оценка согласованности мнений экспертов по всем заявкам;
3) оценка согласованности мнений экспертов по одной заявке;
4) выявление отклонений экспертов от правил оценивания;
5) определение сходства оценок экспертов.
Полученный модуль был апробирован на данных одного из конкурсов. Таким образом, поставленные задачи были выполнены.