Помощь студентам в учебе
Согласование экспертных оценок при построении интегральных индикаторов
|
Введение 4 1 Построение интегральных индикаторов 12
1.1 Модель порождения данных 13
1.2 Нахождение интегрального индикатора “без учителя” 17
1.2.1 Нахождение расстояния 18
1.2.2 Метод главных компонент 18
1.2.3 Сингулярное разложение 20
1.2.4 Расслоение Парето 23
1.3 Кластеризация объектов при построении индикаторов 25
2 Согласование экспертных оценок 30
2.1 Постановка задачи согласования экспертных оценок 30
2.2 Согласование в линейных шкалах 32
2.2.1 a-согласование 32
2.2.2 72-согласование 37
2.3 Согласование в ранговых шкалах 39
2.3.1 г-согласование 39
2.3.2 Нахождение корректирующей функции T 41
г
2.4 Регуляризация при нахождении согласованных оценок 44
3 Результаты 49
3.1 Описание библиотеки функций 49
3.2 Модель управления заповедниками 53
3.3 Описание исходных данных 60
3.4 Получение экспертных оценок 63
_ 2 —
3.5 Предварительный анализ и кластеризация 68
3.6 Нахождение интегрального индикатора “без учителя” 72
3.7 Согласование экспертных оценок 75
4 Обсуждение 87
5 Заключение 90 Список литературы 94 Список условных обозначений 102 Список таблиц 104 Список иллюстраций 105
3
1.1 Модель порождения данных 13
1.2 Нахождение интегрального индикатора “без учителя” 17
1.2.1 Нахождение расстояния 18
1.2.2 Метод главных компонент 18
1.2.3 Сингулярное разложение 20
1.2.4 Расслоение Парето 23
1.3 Кластеризация объектов при построении индикаторов 25
2 Согласование экспертных оценок 30
2.1 Постановка задачи согласования экспертных оценок 30
2.2 Согласование в линейных шкалах 32
2.2.1 a-согласование 32
2.2.2 72-согласование 37
2.3 Согласование в ранговых шкалах 39
2.3.1 г-согласование 39
2.3.2 Нахождение корректирующей функции T 41
г
2.4 Регуляризация при нахождении согласованных оценок 44
3 Результаты 49
3.1 Описание библиотеки функций 49
3.2 Модель управления заповедниками 53
3.3 Описание исходных данных 60
3.4 Получение экспертных оценок 63
_ 2 —
3.5 Предварительный анализ и кластеризация 68
3.6 Нахождение интегрального индикатора “без учителя” 72
3.7 Согласование экспертных оценок 75
4 Обсуждение 87
5 Заключение 90 Список литературы 94 Список условных обозначений 102 Список таблиц 104 Список иллюстраций 105
3
Актуальность проблемы. Важной задачей анализа данных, требующей количественных методов оценки, является задача согласования экспертных оценок при построении интегральных индикаторов. Её решение нужно для объективно¬го судейства в спорте, анализа состояния социальных, экономических, экологических систем и для многих других предметных областей. Этой задаче посвящено много работ как зарубежных, так и отечественных исследователей.
Содержательное основание диссертации составляют работы в области снижения размерности признакового пространства и экспертно-статистический метод. В этой области работали С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин и В. В. Шакин. Термин “экспертно-статистический метод” впервые был введен в 1974 году С. А. Айвазяном. В работе [3] он писал: “Пытаясь оценить (в целом) эффективность деятельности отдельного специалиста, подразделения или предприятия, проранжировать страны по некоторому интегральному качеству (например, по качеству жизни населения или по так называемому общему индексу человеческого развития), наконец, проставить балльные оценки спортсмену — участнику командных соревнований в игровых видах спорта за качество его игры в определенном цикле, мы каждый раз по существу решаем (на интуитивном уровне) одну и ту же задачу: отправляясь в своем анализе от набора частных показателей х(1 х(2 x(p, каждый из которых может быть измерен и характеризует какую-нибудь одну частную сторону понятия “эффективность”, мы их как бы взвешиваем (т. е. внутренне оцениваем удельный вес их влияния на общее, агрегированное, понятие эффективности) и выходим на некоторый скалярный агрегированный показатель эффективности у.” Таким образом, было предложено построить интегральный индикатор множества объектов в виде линейной комбинации показателей объектов.
Некоторые способы построения интегрального индикатора были предложены в справочном издании по прикладной статистике [1]. В разделе “Снижение размерности признакового пространства и отбор наиболее информативных показателей” были предложены такие методы как метод главных компонент, использовавшийся в данной работе для предварительного построения интегрального индикатора, факторный анализ, метод экстремальной группировки признаков, многомерное шкалирование, отбор наиболее информативных показателей в моделях дискриминантного анализа, отбор наиболее информативных переменных в моделях регрессии и другие.
С другой стороны, в 1972 году В. В. Шакиным в работе [50] был предложен метод объективизации работы жюри. Основная идея этого метода заключалась в двойственности экспертной оценки, когда эксперты могли оценивать как веса измеряемых показателей, так и ценность объектов. В настоящей работе на основе этого метода был развит метод согласования оценок, полученных непосредственно от экспертов и вычисленных оценок.
Ряд работ [14], [28] по упорядочиванию объектов был опубликован И. Ф. Шах- новым и его соавторами. В этих работах были поставлены задачи ранжирования объектов, описанных с помощью матриц парных предпочтений и нечетких отношений второго типа, определяемых матрицами лингвистических парных оценок. Для решения этих задач предложен ряд методов, не использующих описание объектов с помощью измеряемых показателей. Рассмотренные экспертные оценки выставлялись в ранговых шкалах или были лингвистическими.
Аналитическое основание составляют работы по сингулярному разложению и регуляризации линейных операторов. Использовались в частности работы Дж. Форсайта и К. Молера по численному решению систем линейных алгебраических уравнений [57], в которых было описано сингулярное разложение и доказаны необходимые теоремы. В работе Дж. Голуба и Ч. Ван Лоуна введено понятие оператора, псевдообратного данному линейному. Понятие регуляризации введено А. Н. Тихоновым в работах по решению некорректно поставленных задач, в частности в [45]. Показано, что задача называется корректно поставленной на паре метрических пространств (Q, W), если удовлетворяются три условия. Во-первых, для всякого элемента q £ Q существует решение w £ W, во-вторых, решение определяется однозначно, и в третьих,
Q, W
В работе А. М. Шурыгина по робастности в прикладной стохастике [55] предложены методы получения стойкой регрессии при наличии загрязняющих элементов в выборке.
Содержательное основание диссертации составляют работы в области снижения размерности признакового пространства и экспертно-статистический метод. В этой области работали С. А. Айвазян, В. М. Бухштабер, И. С. Енюков, Л. Д. Мешалкин и В. В. Шакин. Термин “экспертно-статистический метод” впервые был введен в 1974 году С. А. Айвазяном. В работе [3] он писал: “Пытаясь оценить (в целом) эффективность деятельности отдельного специалиста, подразделения или предприятия, проранжировать страны по некоторому интегральному качеству (например, по качеству жизни населения или по так называемому общему индексу человеческого развития), наконец, проставить балльные оценки спортсмену — участнику командных соревнований в игровых видах спорта за качество его игры в определенном цикле, мы каждый раз по существу решаем (на интуитивном уровне) одну и ту же задачу: отправляясь в своем анализе от набора частных показателей х(1 х(2 x(p, каждый из которых может быть измерен и характеризует какую-нибудь одну частную сторону понятия “эффективность”, мы их как бы взвешиваем (т. е. внутренне оцениваем удельный вес их влияния на общее, агрегированное, понятие эффективности) и выходим на некоторый скалярный агрегированный показатель эффективности у.” Таким образом, было предложено построить интегральный индикатор множества объектов в виде линейной комбинации показателей объектов.
Некоторые способы построения интегрального индикатора были предложены в справочном издании по прикладной статистике [1]. В разделе “Снижение размерности признакового пространства и отбор наиболее информативных показателей” были предложены такие методы как метод главных компонент, использовавшийся в данной работе для предварительного построения интегрального индикатора, факторный анализ, метод экстремальной группировки признаков, многомерное шкалирование, отбор наиболее информативных показателей в моделях дискриминантного анализа, отбор наиболее информативных переменных в моделях регрессии и другие.
С другой стороны, в 1972 году В. В. Шакиным в работе [50] был предложен метод объективизации работы жюри. Основная идея этого метода заключалась в двойственности экспертной оценки, когда эксперты могли оценивать как веса измеряемых показателей, так и ценность объектов. В настоящей работе на основе этого метода был развит метод согласования оценок, полученных непосредственно от экспертов и вычисленных оценок.
Ряд работ [14], [28] по упорядочиванию объектов был опубликован И. Ф. Шах- новым и его соавторами. В этих работах были поставлены задачи ранжирования объектов, описанных с помощью матриц парных предпочтений и нечетких отношений второго типа, определяемых матрицами лингвистических парных оценок. Для решения этих задач предложен ряд методов, не использующих описание объектов с помощью измеряемых показателей. Рассмотренные экспертные оценки выставлялись в ранговых шкалах или были лингвистическими.
Аналитическое основание составляют работы по сингулярному разложению и регуляризации линейных операторов. Использовались в частности работы Дж. Форсайта и К. Молера по численному решению систем линейных алгебраических уравнений [57], в которых было описано сингулярное разложение и доказаны необходимые теоремы. В работе Дж. Голуба и Ч. Ван Лоуна введено понятие оператора, псевдообратного данному линейному. Понятие регуляризации введено А. Н. Тихоновым в работах по решению некорректно поставленных задач, в частности в [45]. Показано, что задача называется корректно поставленной на паре метрических пространств (Q, W), если удовлетворяются три условия. Во-первых, для всякого элемента q £ Q существует решение w £ W, во-вторых, решение определяется однозначно, и в третьих,
Q, W
В работе А. М. Шурыгина по робастности в прикладной стохастике [55] предложены методы получения стойкой регрессии при наличии загрязняющих элементов в выборке.
В данной работе получены следующие основные результаты:
1. Рассмотрены процедуры получения интегрального индикатора множества объектов “без учителя”. Предложена процедура построения интегрального индикатора с помощью первого сингулярного вектора матрицы исходных данных. Предложена процедура выбора базовых показателей при расслоении Парето на основе метода главных компонент.
2. Развита процедура, разделяющая множество объектов на кластеры. Исходными данными является матрица, соответствующая данному множеству объектов. Дополнительными параметрами являются размерность пространства, в котором должны находится кластеры и распределение наложенного шума. Результатом работы процедуры является древовидный граф, в узлах которого находятся кластеры.
3. Введен оператор согласования экспертных оценок. Предложены процедуры согласования экспертных оценок для линейных и ранговых шкал.
4. Предложена процедура регуляризации оператора, отображающего пространство весов показателей в пространство интегральных индикаторов, и доказана его устойчивость.
5. Создано программное обеспечение для построения интегральных индикаторов и согласования экспертных оценок.
6. Методы проиллюстрированы задачей по оценке эффективности работы заповедников России. Использовались данные ежегодных отчетов о работе службы охраны заповедников и экспертные оценки интегральных индикаторов и весов показателей работы заповедников. Описана модель управления заповедниками с обратной связью, в рамках которой поставлена задача оценки состояния заповедника.
7. Получены согласованные оценки эффективности работы заповедников России, учитывающие как измеряемые данные о работе заповедников, так и экспертные оценки. Получены веса показателей, применяемые для последующих вычислений интегральных индикаторов без дополнительного опроса экспертов.
По теме диссертации опубликованы следующие работы:
1. Стрижов В. В. Согласование экспертных оценок для биосистем в экстремальных условиях. Сообщения по прикладной математике. Научное издание. — М.: ВЦ РАН 2002. - 41 с.
2. Стрижов В. В., Шакин В. В. Согласование экспертных оценок в ранговых шкалах. /Математика. Компьютер. Образование. IX международная конференция. Тезисы докладов. — М.: “Прогресс-Традиция”, 2002. — С. 148.
3. Стрижов В. В., Шакин В. В. Согласование экспертных оценок. /Математические методы распознавания образов (ММРО-Ю), Доклады X всероссийской конференции. Научное издание. — РАН, ВЦ, РФФИ, Москва, 2001. — с. 137-138.
4. Стрижов В. В., Шакин В. В., Благовидов В. В. Согласование экспертных оценок при анализе эффективности управления заповедниками. /Тезисы докладов “Применение многомерного статистического анализа в экономике и оценке качества.” — Москва, 2001. — С. 30.
1. Рассмотрены процедуры получения интегрального индикатора множества объектов “без учителя”. Предложена процедура построения интегрального индикатора с помощью первого сингулярного вектора матрицы исходных данных. Предложена процедура выбора базовых показателей при расслоении Парето на основе метода главных компонент.
2. Развита процедура, разделяющая множество объектов на кластеры. Исходными данными является матрица, соответствующая данному множеству объектов. Дополнительными параметрами являются размерность пространства, в котором должны находится кластеры и распределение наложенного шума. Результатом работы процедуры является древовидный граф, в узлах которого находятся кластеры.
3. Введен оператор согласования экспертных оценок. Предложены процедуры согласования экспертных оценок для линейных и ранговых шкал.
4. Предложена процедура регуляризации оператора, отображающего пространство весов показателей в пространство интегральных индикаторов, и доказана его устойчивость.
5. Создано программное обеспечение для построения интегральных индикаторов и согласования экспертных оценок.
6. Методы проиллюстрированы задачей по оценке эффективности работы заповедников России. Использовались данные ежегодных отчетов о работе службы охраны заповедников и экспертные оценки интегральных индикаторов и весов показателей работы заповедников. Описана модель управления заповедниками с обратной связью, в рамках которой поставлена задача оценки состояния заповедника.
7. Получены согласованные оценки эффективности работы заповедников России, учитывающие как измеряемые данные о работе заповедников, так и экспертные оценки. Получены веса показателей, применяемые для последующих вычислений интегральных индикаторов без дополнительного опроса экспертов.
По теме диссертации опубликованы следующие работы:
1. Стрижов В. В. Согласование экспертных оценок для биосистем в экстремальных условиях. Сообщения по прикладной математике. Научное издание. — М.: ВЦ РАН 2002. - 41 с.
2. Стрижов В. В., Шакин В. В. Согласование экспертных оценок в ранговых шкалах. /Математика. Компьютер. Образование. IX международная конференция. Тезисы докладов. — М.: “Прогресс-Традиция”, 2002. — С. 148.
3. Стрижов В. В., Шакин В. В. Согласование экспертных оценок. /Математические методы распознавания образов (ММРО-Ю), Доклады X всероссийской конференции. Научное издание. — РАН, ВЦ, РФФИ, Москва, 2001. — с. 137-138.
4. Стрижов В. В., Шакин В. В., Благовидов В. В. Согласование экспертных оценок при анализе эффективности управления заповедниками. /Тезисы докладов “Применение многомерного статистического анализа в экономике и оценке качества.” — Москва, 2001. — С. 30.