Помощь студентам в учебе
РАЗРАБОТКА ПРИЛОЖЕНИЯ КЛАСТЕРНОГО АНАЛИЗА РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ
|
АННОТАЦИЯ 2
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ 8
1. ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЙ РАЗДЕЛ 11
1.1. Основные понятия экспертного оценивания 11
1.2. Анкетирование как средство проведения экспертного оценивания 13
1.3. Кластеризация данных 16
1.4. Применение агломеративных процедур кластеризации для обработки
экспертных данных 23
2. РАЗРАБОТКА АЛГОРИТМА ПРИЛОЖЕНИЯ КЛАСТЕРНОГО АНАЛИЗА32
2.1. Постановка задачи и функция расстояния 32
2.2. Кластеризация полным перебором 34
2.3. Алгоритм иерархической агломеративной кластеризации 35
2.4. Описание разработанного алгоритма работы приложения кластерного
анализа 39
2.5. Отображение результатов кластеризации 43
3. РАЗРАБОТКА ПРИЛОЖЕНИЯ КЛАСТЕРНОГО АНАЛИЗА НА ОСНОВЕ
СОСТАВЛЕННОГО АЛГОРИТМА 46
3.1. Реализация алгоритма иерархического кластерного анализа в среде
программирования 46
3.2. Реализация графического интерфейса 56
4. ПРОВЕРКА РАБОТОСПОСОБНОСТИ ПРИЛОЖЕНИЯ И ПРОВЕДЕНИЕ
АНАЛИЗА РЕЗУЛЬТАТОВ ОБРАБОТКИ ИСХОДНЫХ ДАННЫХ 62
4.1 Тестирование приложения на примере множества точек в двумерном
пространстве 62
4.2 Тестирование приложения в многомерном пространстве 65
4.3 Проведение кластерного анализа результатов анкетирования педагогов
общеобразовательных учреждений Челябинской области посредством приложения 67
ЗАКЛЮЧЕНИЕ 79
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 81
ПРИЛОЖЕНИЯ 84
ПРИЛОЖЕНИЕ А Алгоритм работы приложения кластерного анализа 84
ПРИЛОЖЕНИЕ Б Листинг программы 85
ПРИЛОЖЕНИЕ В Содержание анкеты 95
ПРИЛОЖЕНИЕ Г Исходные данные 104
ПРИЛОЖЕНИЕ Д Исходные данные после нормализации 105
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ 8
1. ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИЙ РАЗДЕЛ 11
1.1. Основные понятия экспертного оценивания 11
1.2. Анкетирование как средство проведения экспертного оценивания 13
1.3. Кластеризация данных 16
1.4. Применение агломеративных процедур кластеризации для обработки
экспертных данных 23
2. РАЗРАБОТКА АЛГОРИТМА ПРИЛОЖЕНИЯ КЛАСТЕРНОГО АНАЛИЗА32
2.1. Постановка задачи и функция расстояния 32
2.2. Кластеризация полным перебором 34
2.3. Алгоритм иерархической агломеративной кластеризации 35
2.4. Описание разработанного алгоритма работы приложения кластерного
анализа 39
2.5. Отображение результатов кластеризации 43
3. РАЗРАБОТКА ПРИЛОЖЕНИЯ КЛАСТЕРНОГО АНАЛИЗА НА ОСНОВЕ
СОСТАВЛЕННОГО АЛГОРИТМА 46
3.1. Реализация алгоритма иерархического кластерного анализа в среде
программирования 46
3.2. Реализация графического интерфейса 56
4. ПРОВЕРКА РАБОТОСПОСОБНОСТИ ПРИЛОЖЕНИЯ И ПРОВЕДЕНИЕ
АНАЛИЗА РЕЗУЛЬТАТОВ ОБРАБОТКИ ИСХОДНЫХ ДАННЫХ 62
4.1 Тестирование приложения на примере множества точек в двумерном
пространстве 62
4.2 Тестирование приложения в многомерном пространстве 65
4.3 Проведение кластерного анализа результатов анкетирования педагогов
общеобразовательных учреждений Челябинской области посредством приложения 67
ЗАКЛЮЧЕНИЕ 79
БИБЛИОГРАФИЧЕСКИЙ СПИСОК 81
ПРИЛОЖЕНИЯ 84
ПРИЛОЖЕНИЕ А Алгоритм работы приложения кластерного анализа 84
ПРИЛОЖЕНИЕ Б Листинг программы 85
ПРИЛОЖЕНИЕ В Содержание анкеты 95
ПРИЛОЖЕНИЕ Г Исходные данные 104
ПРИЛОЖЕНИЕ Д Исходные данные после нормализации 105
Экспертное оценивание - это метод поиска и результат применения метода, полученный на основании использования персонального мнения эксперта или коллективного мнения группы экспертов. Экспертное оценивание применяется на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации каких-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка решений не могут быть выполнены на основе точных расчетов. [1]
Так же методу экспертного оценивания присущи следующие особенности. Во- первых, данный метод - наиболее доступный, универсальный, а иногда просто единственно возможный для получения и анализа информации, используемой при решении широкого спектра задач управления, прогнозирования, планирования в экономике, социологии, медицине, технике, а также измерения нефизических величин.[2]
Во-вторых, экспертное оценивание применяется для определения параметров и структуры сложных систем, в особенности систем, не имеющих достаточной предыстории функционирования и характеризующиеся высоким уровнем структурной неопределенности: сложных социально-экономических систем, систем проектного менеджмента, систем защиты информации и т.п.[3]
Общей, весьма привлекательной стороной экспертных методов является оперативность и простота получения требуемых сведений в ситуации, в которой применение каких-либо иных методов оказывается безрезультатным, своего рода информационный прорыв. Вместе с тем формальность экспертизы порождает недоверие к получаемым экспертным оценкам. Стремление к повышению их достоверности, в частности, исключению влияния субъективных факторов на результаты экспертизы, приводит к применению так называемых групповых экспертных оценок, предполагающих наличие обязательного этапа
предварительного анализа экспертных данных и их последующей обработки. В связи с этим особую важность и актуальность приобретают вопросы разработки приемов и методов обработки групповых экспертных оценок. [4]
Актуальность темы. Кластерный анализ является важным разделом интеллектуального анализа данных. В настоящее время существует несколько основных подходов к решению задачи кластеризации при заданном числе кластеров, а также при неизвестном: основанные на поиске оптимальных разбиений, иерархической группировке, идеях динамических сгущений, восстановлении плотностей компонент по заданной смеси, теории графов, эвристические алгоритмы, и другие. Основные проблемы их практического применения связаны с трудоемкостью и многоэкстремальностью оптимизационных задач, нахождением вырожденных решений, сложностью сравнения и интерпретации решений, полученных различными алгоритмами.
В свою очередь, обработка больших объемов информации является одним из стратегических направлений развития кафедры. А кластерный анализ является одним из способов обработки больших объемов информации, так как его основная цель - разбиение множества исследуемых объектов и признаков на однородные в некотором смысле группы, или кластеры. Это многомерный статистический метод, поэтому предполагается, что исходные данные могут быть значительного объема, т.е. существенно большим может быть как количество объектов исследования (наблюдений), так и признаков, характеризующих эти объекты. [5]
Научная новизна. Нефизические величины имеют количественный показатель, но характеризуют нефизические явления и процессы. Примеры нефизических величин: плотность населения, число сотрудников в организации, ежемесячный доход, количество денег в кошельке, цена товара, ставка налога - то есть различные социальные и экономические показатели. К нефизическим величинам относятся показатели надёжности и отказоустойчивости приборов, так как они не характеризуют конкретное свойство в конкретном физическомпроцессе. В данной работе будет производиться измерения такой нефизической величины как экспертная оценка профессиональных компетенций педагогов. Для получения итогового результата экспертного оценивания будет использовано приложение кластерного анализа, позволяющее получить из большого набора экспертных оценок единую общую не вручную, а с помощью средств автоматизации [6].
Методы исследования. Исследование базируется на использовании алгебраической теории классификации, подходах кластерного анализа, методах оптимизации, теории линейного программирования, статистической теории классификации.
Практическая значимость. Приложение разработано для кластерного анализа результатов экспертного оценивания, но данная программа может быть использована для кластеризации любых результатов, представленных в виде двумерного числового массива.
Целью выпускной квалификационной работы является разработка приложения кластерного анализа результатов экспертного оценивания для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области.
Задачи выпускной квалификационной работы:
1) Анализ существующих методов кластеризации.
2) Составление алгоритма обработки результатов экспертного оценивания.
3) Разработка приложения с пользовательским интерфейсом на Visual C# и отображение результатов обработки.
4) Проверка работоспособности разработанного приложения и анализ полученных результатов обработки данных.
Так же методу экспертного оценивания присущи следующие особенности. Во- первых, данный метод - наиболее доступный, универсальный, а иногда просто единственно возможный для получения и анализа информации, используемой при решении широкого спектра задач управления, прогнозирования, планирования в экономике, социологии, медицине, технике, а также измерения нефизических величин.[2]
Во-вторых, экспертное оценивание применяется для определения параметров и структуры сложных систем, в особенности систем, не имеющих достаточной предыстории функционирования и характеризующиеся высоким уровнем структурной неопределенности: сложных социально-экономических систем, систем проектного менеджмента, систем защиты информации и т.п.[3]
Общей, весьма привлекательной стороной экспертных методов является оперативность и простота получения требуемых сведений в ситуации, в которой применение каких-либо иных методов оказывается безрезультатным, своего рода информационный прорыв. Вместе с тем формальность экспертизы порождает недоверие к получаемым экспертным оценкам. Стремление к повышению их достоверности, в частности, исключению влияния субъективных факторов на результаты экспертизы, приводит к применению так называемых групповых экспертных оценок, предполагающих наличие обязательного этапа
предварительного анализа экспертных данных и их последующей обработки. В связи с этим особую важность и актуальность приобретают вопросы разработки приемов и методов обработки групповых экспертных оценок. [4]
Актуальность темы. Кластерный анализ является важным разделом интеллектуального анализа данных. В настоящее время существует несколько основных подходов к решению задачи кластеризации при заданном числе кластеров, а также при неизвестном: основанные на поиске оптимальных разбиений, иерархической группировке, идеях динамических сгущений, восстановлении плотностей компонент по заданной смеси, теории графов, эвристические алгоритмы, и другие. Основные проблемы их практического применения связаны с трудоемкостью и многоэкстремальностью оптимизационных задач, нахождением вырожденных решений, сложностью сравнения и интерпретации решений, полученных различными алгоритмами.
В свою очередь, обработка больших объемов информации является одним из стратегических направлений развития кафедры. А кластерный анализ является одним из способов обработки больших объемов информации, так как его основная цель - разбиение множества исследуемых объектов и признаков на однородные в некотором смысле группы, или кластеры. Это многомерный статистический метод, поэтому предполагается, что исходные данные могут быть значительного объема, т.е. существенно большим может быть как количество объектов исследования (наблюдений), так и признаков, характеризующих эти объекты. [5]
Научная новизна. Нефизические величины имеют количественный показатель, но характеризуют нефизические явления и процессы. Примеры нефизических величин: плотность населения, число сотрудников в организации, ежемесячный доход, количество денег в кошельке, цена товара, ставка налога - то есть различные социальные и экономические показатели. К нефизическим величинам относятся показатели надёжности и отказоустойчивости приборов, так как они не характеризуют конкретное свойство в конкретном физическомпроцессе. В данной работе будет производиться измерения такой нефизической величины как экспертная оценка профессиональных компетенций педагогов. Для получения итогового результата экспертного оценивания будет использовано приложение кластерного анализа, позволяющее получить из большого набора экспертных оценок единую общую не вручную, а с помощью средств автоматизации [6].
Методы исследования. Исследование базируется на использовании алгебраической теории классификации, подходах кластерного анализа, методах оптимизации, теории линейного программирования, статистической теории классификации.
Практическая значимость. Приложение разработано для кластерного анализа результатов экспертного оценивания, но данная программа может быть использована для кластеризации любых результатов, представленных в виде двумерного числового массива.
Целью выпускной квалификационной работы является разработка приложения кластерного анализа результатов экспертного оценивания для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области.
Задачи выпускной квалификационной работы:
1) Анализ существующих методов кластеризации.
2) Составление алгоритма обработки результатов экспертного оценивания.
3) Разработка приложения с пользовательским интерфейсом на Visual C# и отображение результатов обработки.
4) Проверка работоспособности разработанного приложения и анализ полученных результатов обработки данных.
В данной работе для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области будет произведено экспертное оценивание профессиональных компетенций педагогов. Для проведения экспертного оценивания используется анкетирование.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
В данной работе для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области будет произведено экспертное оценивание профессиональных компетенций педагогов. Для проведения экспертного оценивания используется анкетирование.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
В данной работе для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области будет произведено экспертное оценивание профессиональных компетенций педагогов. Для проведения экспертного оценивания используется анкетирование.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
ней. Однако объем таких вычислений огромен, и решение задачи остается трудоемким даже при высоком быстродействии современных вычислительных устройств.
На основе агломеративного иерархического анализа составлен алгоритм разрабатываемого приложения. Также составлена блок-схема алгоритма.
Рассмотрены способы отображения результатов кластеризации и в качестве способа отображения выбрана дендрограмма с вертикальным расположением объектов.
Проведено тестирование работы приложения кластерного анализа на различных примерах, а именно на примере массива точек в двумерном пространстве, затем на примере специально разобранных по группам объектов в многомерном пространстве.
Результат кластерного анализа данных на примере массива точек в двумерном пространстве показал правильное разбиение, так как точки в образованных кластерах были близки друг к другу на каждом шаге объединения, а сами кластеры не пересекались друг с другом.
Также был проведен кластерный анализ по образованной выборке посредством анкетирования педагогов Челябинской области по вопросам наличия у них потребности в повышении профессиональной компетентности. Его результат был проанализирован на основе дополнительных данных.
Таким образом, посредством кластерного анализа можно выделить иерархически структурированные группы. Это важно при обработке большого количества данных, когда из всего потока необходимо выделить наиболее однородные группы.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
В данной работе для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области будет произведено экспертное оценивание профессиональных компетенций педагогов. Для проведения экспертного оценивания используется анкетирование.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
В данной работе для исследования потребностей в профессиональном развитии педагогов общеобразовательных организаций Челябинской области будет произведено экспертное оценивание профессиональных компетенций педагогов. Для проведения экспертного оценивания используется анкетирование.
Для достижения цели данной работы будет использован метод анкетирования сплошного вида. По количеству участников - группового вида. По виду вопросов - закрытого вида. По типу контакта с респондентом - дистанционного вида. По способу представления вопросов анкеты - онлайн анкетирование. В качестве приложения для проведени онлайн-анкетирования будет использоваться Google Forms.
Рассмотрена постановка задачи кластеризации, а также существующие алгоритмы. Среди рассмотренных алгоритмов выбран алгоритм иерархической агломеративной кластеризации, так как именно он удовлетворяет требованиям задания данной работы: количество кластеров неизвестно, необходимость последовательного объединения отдельных объектов в кластеры. В качестве метрики для расчета расстояния между объектами выбран квадрат евклидова расстояния.
В ходе рассмотрения применения агломеративных процедур кластеризации для обработки экспертных данных, было подтверждено, что алгоритм иерархической агломеративной кластеризации для решения задачи данной работы выбран верно, так как данный алгоритм позволяет проследить динамику процесса формирования и объединения кластеров из групп оценок, принадлежащих каждому эксперту, а также интерпретацию структуры, образующейся при этом дендрограммы.
Поставлена основная задача кластеризации и определены исходные данные для её решения.
Рассмотрен кластерный анализ методом полного перебора, в которой требуется только матрица исходных данных. Все вычисления основаны только на
ней. Однако объем таких вычислений огромен, и решение задачи остается трудоемким даже при высоком быстродействии современных вычислительных устройств.
На основе агломеративного иерархического анализа составлен алгоритм разрабатываемого приложения. Также составлена блок-схема алгоритма.
Рассмотрены способы отображения результатов кластеризации и в качестве способа отображения выбрана дендрограмма с вертикальным расположением объектов.
Проведено тестирование работы приложения кластерного анализа на различных примерах, а именно на примере массива точек в двумерном пространстве, затем на примере специально разобранных по группам объектов в многомерном пространстве.
Результат кластерного анализа данных на примере массива точек в двумерном пространстве показал правильное разбиение, так как точки в образованных кластерах были близки друг к другу на каждом шаге объединения, а сами кластеры не пересекались друг с другом.
Также был проведен кластерный анализ по образованной выборке посредством анкетирования педагогов Челябинской области по вопросам наличия у них потребности в повышении профессиональной компетентности. Его результат был проанализирован на основе дополнительных данных.
Таким образом, посредством кластерного анализа можно выделить иерархически структурированные группы. Это важно при обработке большого количества данных, когда из всего потока необходимо выделить наиболее однородные группы.
