Реализация программной системы для анализа технологического процесса с помощью метода главных компонент
|
РЕФЕРАТ ..................................................................................................... 10
Введение ....................................................................................................... 14
Описание используемых методов ............................................................. 16
1.1. Метод главных компонент .............................................................. 16
1.1.1. Подготовка данных ...................................................................
16
1.1.2. Алгоритм метода главных компонент .................................... 17
1.1.3. Задача выбора количества главных компонент ..................... 19
1.1.4. Оценка результатов метода главных компонент ................... 20
1.1.5. Применение алгоритма .............................................................
21
1.2. Ядерный метод главных компонент .............................................. 22
1.3. Самоорганизующиеся карты........................................................... 24
1.3.1. Общее описание ........................................................................ 24
1.3.2. Процесс конкуренции ...............................................................
26
1.3.3. Процесс кооперации ................................................................. 26
1.3.4. Процесс адаптации ....................................................................
28
1.3.5. Краткое описание алгоритма SOM ......................................... 30
1.3.6. Алгоритм KBATCH .................................................................. 31
1.3.7. Сходимость и упорядочивание карты самоорганизации ...... 31
1.3.8. Оценка качества карты ............................................................. 321.3.9. Визуализация карты ..................................................................
34
1.4. ViSOM ............................................................................................... 37
1.4.1. Общие сведения ........................................................................ 37
1.4.2. Алгоритм ViSOM ......................................................................
38
1.4.3. Некоторые разъяснения ............................................................
39
1.4.4. Проекция точек на сетку .......................................................... 40
1.5. gViSOM ............................................................................................. 43
1.5.1. Алгоритм ViSOM ......................................................................
43
1.5.2. Рост сетки................................................................................... 45
Реализация программной системы ............................................................
45
2.1. Техническое задание ........................................................................ 45
2.1.1. Работа с данными ...................................................................... 46
2.1.2. Метод главных компонент ....................................................... 46
2.1.3. Самоорганизующиеся карты ................................................... 48
2.1.4. ViSOM ........................................................................................
49
2.1.5. gViSOM ......................................................................................
50
2.2. Программная реализация ................................................................ 51
2.2.1. Класс Vector ...............................................................................
51
2.2.2. Класс Neuron ..............................................................................
522.2.3. Класс Net ....................................................................................
53
2.2.4. Класс LineNet............................................................................. 53
2.2.5. Класс TwoDimensionalNet ........................................................ 54
2.2.6. Класс SOM .................................................................................
55
2.2.7. Класс ViSOM .............................................................................
57
2.2.8. Класс gViSOM ...........................................................................
57
2.2.9. Класс Variable ............................................................................
58
2.2.10. Класс Data ................................................................................ 58
2.2.11. Класс PCA ................................................................................
58
2.2.12. Класс PythonConnector ............................................................
59
2.2.13. Класс PlotSelection .................................................................. 59
2.2.14. Класс RowPlotSelection ...........................................................
60
2.2.15. Класс KernelPCAPlotSelection ............................................... 60
2.2.16. Класс SomPlotSelection ...........................................................
60
2.2.17. Класс FileLoader ...................................................................... 60
2.2.18. Класс ColorCreator .................................................................. 60
2.2.19. Класс ColoredPlot .................................................................... 61
2.2.20. Класс MapView ........................................................................
61
2.2.21. Класс NamesForm ....................................................................
612.2.22. Класс MainWindow ................................................................. 61
Тестирование ПО и анализ технических данных .................................... 62
3.1. Кластерная структура данных ........................................................ 62
3.2. Вложенные и сильно нелинейные данные .................................... 71
3.3. Анализ реальных данных ................................................................ 76
Заключение ..................................................................................................
82
Список сокращений ....................................................................................
83
Используемые обозначения .......................................................................
84
Список использованных источников ........................................................ 86
Приложение
Введение ....................................................................................................... 14
Описание используемых методов ............................................................. 16
1.1. Метод главных компонент .............................................................. 16
1.1.1. Подготовка данных ...................................................................
16
1.1.2. Алгоритм метода главных компонент .................................... 17
1.1.3. Задача выбора количества главных компонент ..................... 19
1.1.4. Оценка результатов метода главных компонент ................... 20
1.1.5. Применение алгоритма .............................................................
21
1.2. Ядерный метод главных компонент .............................................. 22
1.3. Самоорганизующиеся карты........................................................... 24
1.3.1. Общее описание ........................................................................ 24
1.3.2. Процесс конкуренции ...............................................................
26
1.3.3. Процесс кооперации ................................................................. 26
1.3.4. Процесс адаптации ....................................................................
28
1.3.5. Краткое описание алгоритма SOM ......................................... 30
1.3.6. Алгоритм KBATCH .................................................................. 31
1.3.7. Сходимость и упорядочивание карты самоорганизации ...... 31
1.3.8. Оценка качества карты ............................................................. 321.3.9. Визуализация карты ..................................................................
34
1.4. ViSOM ............................................................................................... 37
1.4.1. Общие сведения ........................................................................ 37
1.4.2. Алгоритм ViSOM ......................................................................
38
1.4.3. Некоторые разъяснения ............................................................
39
1.4.4. Проекция точек на сетку .......................................................... 40
1.5. gViSOM ............................................................................................. 43
1.5.1. Алгоритм ViSOM ......................................................................
43
1.5.2. Рост сетки................................................................................... 45
Реализация программной системы ............................................................
45
2.1. Техническое задание ........................................................................ 45
2.1.1. Работа с данными ...................................................................... 46
2.1.2. Метод главных компонент ....................................................... 46
2.1.3. Самоорганизующиеся карты ................................................... 48
2.1.4. ViSOM ........................................................................................
49
2.1.5. gViSOM ......................................................................................
50
2.2. Программная реализация ................................................................ 51
2.2.1. Класс Vector ...............................................................................
51
2.2.2. Класс Neuron ..............................................................................
522.2.3. Класс Net ....................................................................................
53
2.2.4. Класс LineNet............................................................................. 53
2.2.5. Класс TwoDimensionalNet ........................................................ 54
2.2.6. Класс SOM .................................................................................
55
2.2.7. Класс ViSOM .............................................................................
57
2.2.8. Класс gViSOM ...........................................................................
57
2.2.9. Класс Variable ............................................................................
58
2.2.10. Класс Data ................................................................................ 58
2.2.11. Класс PCA ................................................................................
58
2.2.12. Класс PythonConnector ............................................................
59
2.2.13. Класс PlotSelection .................................................................. 59
2.2.14. Класс RowPlotSelection ...........................................................
60
2.2.15. Класс KernelPCAPlotSelection ............................................... 60
2.2.16. Класс SomPlotSelection ...........................................................
60
2.2.17. Класс FileLoader ...................................................................... 60
2.2.18. Класс ColorCreator .................................................................. 60
2.2.19. Класс ColoredPlot .................................................................... 61
2.2.20. Класс MapView ........................................................................
61
2.2.21. Класс NamesForm ....................................................................
612.2.22. Класс MainWindow ................................................................. 61
Тестирование ПО и анализ технических данных .................................... 62
3.1. Кластерная структура данных ........................................................ 62
3.2. Вложенные и сильно нелинейные данные .................................... 71
3.3. Анализ реальных данных ................................................................ 76
Заключение ..................................................................................................
82
Список сокращений ....................................................................................
83
Используемые обозначения .......................................................................
84
Список использованных источников ........................................................ 86
Приложение
Визуализация данных — это представление данных в виде, который
обеспечивает наиболее эффективную работу человека по их изучению.
Визуализация данных находит широкое применение в научных и
статистических исследованиях, в педагогическом дизайне для обучения и
тестирования, в новостных сводках, аналитических обзорах и анализе
технологического процесса. Визуализация данных связана с визуализацией
информации, разведочным анализом данных и статистической графикой.
Часто аналитики пытаются визуализировать данные, которые они будут
пытаться визуализировать. Для этого используются различные методы
уменьшения размерности данных. Многие из них основаны на многообразиях.
Один из самых популярных методов уменьшения размерности – метод
главных компонент. Но метод главных компонент строит только линейные
многообразия, что часто не подходит для решения реальный задач. Поэтому
были созданы различные методы обхода этого ограничения.Один из них – самоорганизующиеся карты. Самоорганизующиеся карты
являются одним из видов искусственных нейронных сетей Кохонена. Можно
найти множество способов применения различных искусственных нейронных
сетей. Их используют в задаче классификации, регрессии, аппроксимации,
визуализации [1], прогнозирования [2]. Самоорганизующиеся карты
нелинейным обобщением метода главных компонент. Но
самоорганизующиеся карты имеют один большой недостаток – они не
сохраняют локальное расстояние между точек. Решением этой задачи является
алгоритм ViSOM. В этом алгоритме другое правило обучения, которое
«распрямляет» сеть, и делает ее более гладкой.
Задача анализа технологического процесса производства алюминия
очень важна, так как алюминиевая промышленность является приоритетным
направлением экономики нашего региона [3]. Так же важно отметить,
подобного программного обеспечения, которое давало бы такой же большой и
удобный функционал для визуализации многомерных данных с
используемыми здесь алгоритмами нет.
обеспечивает наиболее эффективную работу человека по их изучению.
Визуализация данных находит широкое применение в научных и
статистических исследованиях, в педагогическом дизайне для обучения и
тестирования, в новостных сводках, аналитических обзорах и анализе
технологического процесса. Визуализация данных связана с визуализацией
информации, разведочным анализом данных и статистической графикой.
Часто аналитики пытаются визуализировать данные, которые они будут
пытаться визуализировать. Для этого используются различные методы
уменьшения размерности данных. Многие из них основаны на многообразиях.
Один из самых популярных методов уменьшения размерности – метод
главных компонент. Но метод главных компонент строит только линейные
многообразия, что часто не подходит для решения реальный задач. Поэтому
были созданы различные методы обхода этого ограничения.Один из них – самоорганизующиеся карты. Самоорганизующиеся карты
являются одним из видов искусственных нейронных сетей Кохонена. Можно
найти множество способов применения различных искусственных нейронных
сетей. Их используют в задаче классификации, регрессии, аппроксимации,
визуализации [1], прогнозирования [2]. Самоорганизующиеся карты
нелинейным обобщением метода главных компонент. Но
самоорганизующиеся карты имеют один большой недостаток – они не
сохраняют локальное расстояние между точек. Решением этой задачи является
алгоритм ViSOM. В этом алгоритме другое правило обучения, которое
«распрямляет» сеть, и делает ее более гладкой.
Задача анализа технологического процесса производства алюминия
очень важна, так как алюминиевая промышленность является приоритетным
направлением экономики нашего региона [3]. Так же важно отметить,
подобного программного обеспечения, которое давало бы такой же большой и
удобный функционал для визуализации многомерных данных с
используемыми здесь алгоритмами нет.
В результате выполнения выпускной квалификационной работы была
реализована программная система для анализа технологического с помощью
метода главных компонент. В данной пояснительной записке был описан
процесс разработки программного продукта.
Задача анализа технологического процесса производства алюминия
очень важна, так как алюминиевая промышленность является приоритетным
направлением экономики нашего региона.
В ходе выполнения работы были выполнены следующие задачи:
• изучение теоретических сведений методов визуализации
многомерных данных;
• разработка программной системы, реализующие основные методы
визуализации многомерных данных;
• применение для визуализации многомерных данных, полученных
в технологическом процессе получения алюминия.
В результате была получен программный продукт, который позволяет
аналитику визуализировать многомерные данные различными методами.
реализована программная система для анализа технологического с помощью
метода главных компонент. В данной пояснительной записке был описан
процесс разработки программного продукта.
Задача анализа технологического процесса производства алюминия
очень важна, так как алюминиевая промышленность является приоритетным
направлением экономики нашего региона.
В ходе выполнения работы были выполнены следующие задачи:
• изучение теоретических сведений методов визуализации
многомерных данных;
• разработка программной системы, реализующие основные методы
визуализации многомерных данных;
• применение для визуализации многомерных данных, полученных
в технологическом процессе получения алюминия.
В результате была получен программный продукт, который позволяет
аналитику визуализировать многомерные данные различными методами.



