Тип работы:
Предмет:
Язык работы:


Анализ заполнения пропусков в данных ZET-алгоритмом при решении задачи идентификации

Работа №18671

Тип работы

Бакалаврская работа

Предмет

информационные системы

Объем работы63
Год сдачи2018
Стоимость5900 руб.
ПУБЛИКУЕТСЯ ВПЕРВЫЕ
Просмотрено
636
Не подходит работа?

Узнай цену на написание


Введение
1 Анализ данных при решении задач идентификации 5
1.1 Постановка задачи идентификации 5
1.2 Априорная и текущая информация 10
1.3 Методы параметрической идентификации 12
1.4 Методы непараметрической идентификации 15
1.5 Задача анализа данных 19
Выводы по главе 1 22
2 Задача заполнения пропусков в матрице наблюдений 23
2.1 Причины появления пропусков в данных и их классификация 23
2.2 Алгоритмы заполнения пропусков в данных 27
2.3 Алгоритм ZET 29
2.4 Модификации алгоритма ZET 33
Выводы по главе 2 37
3 Вычислительные эксперименты 38
3.1 Результаты исследования ZET - алгоритма 38
3.2 Результаты исследования непараметрической методики
восстановления пропусков в данных 43
3.3 Сравнительная характеристика исследованных алгоритмов 51
3.4 Моделирование 54
Выводы по главе 3 58
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 60


При управлении различного рода процессами (технологическими, социальными, экономическими и т.д.) важную роль играет моделирование и идентификация. Модели позволяют выявить наиболее важные свойства и закономерности исследуемого процесса, что довольно сложно сделать на реальном объекте.
При моделировании большое значение имеет как априорная информация об объекте исследования, так и текущая. Текущая информация может содержать в себе ряд недостатков, в частности, пропуски (пробелы) в данных. Пробелы в данных приводят к понижению точности моделей исследуемого объекта.
Проблема пропущенных значений достаточно актуальна. Неполнота данных приводит к ошибкам работы программ, неполноте информации об исследуемом объекте. Такая неполнота может образоваться в связи с отказом датчика, ошибке респондента, ошибке в анкете и т.д.
При небольшом количестве пропусков строку, содержащую пробелы, можно не учитывать при решении задачи моделирования. Однако, когда пропусков достаточно много, данная процедура не может быть применена, поскольку большие объемы информации будут потеряны. Именно для таких случаев и предназначены методы восстановления данных с пропусками.
На сегодняшний день существует достаточно большое количество методов заполнения пропусков в данных (заполнение по среднему, разновидности ZET алгоритмов и других алгоритмов «Ванга», и другие). Существующие алгоритмы заполнения пропусков зачастую предполагают знания основных статистических характеристик выборки и достаточно большого объема априорной информации. В связи с этим предлагается непараметрическая методика заполнения пропусков в данных. Пропуски при этом могут располагаться хаотично, вплоть до нескольких пропусков в одной строке. Учитывая выше сказанное, данная проблема является достаточно актуальной.
Целью данной дипломной работы является сравнение предлагаемого непараметрического алгоритма с ZET алгоритмом и их анализ. Для этого необходимо решить следующие задачи:
- реализовать алгоритмы обработки неполных данных на языке программирования C#;
- провести исследование каждого алгоритма;
- сравнить результаты исследования алгоритмов между собой;
- сделать выводы о проделанной работе.
В данной работе используются такие методы, как: математическое моделирование, теория идентификации, анализ данных и математическая статистика.
Объектом данной работы является решение задачи идентификации по выборкам, содержащим пропуски. Предметом работы являются алгоритмы обработки неполных данных.

Возникли сложности?

Нужна помощь преподавателя?

Помощь студентам в написании работ!


В данной выпускной квалификационной работе была поставлена цель решения задачи идентификации по выборке наблюдений с пропусками. В связи с этим рассматривается как уже существующий алгоритм заполнения пропусков, так и предлагаемый новый непараметрический алгоритм.
Для решения поставленных в работе задач был проведен обзор уже существующих алгоритмов восстановления пропусков (в данной работе ZET алгоритм). При исследовании эффективности работы алгоритма были рассчитаны среднеквадратичные погрешности при различных сочетания помех, процента пропусков, количества переменных и размера выборки. Выявлено, что ZET алгоритм сильно зависит от размера компетентной матрицы и количества пропусков в матрице наблюдений. Так же была решена задача идентификации по неполной выборке с помощью предлагаемого непараметрического алгоритма. Алгоритм позволил повысить точность ее решения.
Реализован новый алгоритм заполнения пропусков, проведено его исследование, а так же сравнительный анализ с ZET алгоритмом. Выявлено, что среднеквадратичная погрешность у ZET алгоритма выше, чем у предлагаемого алгоритма. Так же исследования показали, что задача идентификации по заполненной выборке решается точнее, чем по выборке с пропусками.
В итоге, основываясь на вышесказанном, предлагаемый алгоритм позволит повысить точность моделирования и может быть применен в таких областях как анализ и обработка данных, социология, промышленность, медицина и др.



1. Абдушукуров, А.А. Статистика неполных данных (асимптотическая теория оценивания для неклассических моделей) / А.А. Абдушукуров. - Ташкент : Университет, 2009. - 271 с.
2. Апраушева, Н.Н. Использование непараметрических оценок в регрессионном анализе / Н.Н. Апраушева, В.Д. Конаков // Заводск. лаб. - 1973. - № 5. - С. 556 - 569.
3. Афифи, А. Статистический анализ: подход с использованием ЭВМ / А. Афифи, С. Эйзен. - М.: Мир, 1982 - 488 с.
4. Бойко, Р. Непараметрические H-модели процесса нагревания / Р. Бойко, Я. Демченко // Труды международной конференции «Applied methods of statistical analysis. Simulations and statistical inference».- 2011. - P.224 - 236.
5. Боровков, А.А. Математическая статистика. Оценка параметров. Проверка гипотез / А.А. Боровков. - М.: Наука, 1984. - 472 с.
6. Васильев, В.А. Непараметрическое оценивание функционалов от распределений стационарных последовательностей / В.А. Васильев, А.В. Добровидов, ГМ. Кошкин. - М.: Наука, 2004. - 508 с.
7. Вероятность и математическая статистика: Энциклопедия / Под.ред. Ю.В. Прохорова. - М.: Большая Российская энциклопедия, 2003. - 912 с.
8. Живоглядов, В.П. Непараметрические алгоритмы адаптации / В.П. Живоглядов, А.В. Медведев. - Фрунзе: Илим, 1974. - 133 с.
9. Заварин, А.Н. Использование априорной информации в непараметрических оценках функции регрессии / А.Н. Заварин // Автоматика и телемеханика. - 1985. - №5. - С.79 - 85.
10. Загоруйко, Н.Г. Прикладные методы анализа данных и знаний / Н.Г. Загоруйко. - Новосибирск: Издательство ИМ СО РАН, 1999. - 264 с.
11. Катковник, В.Я. Непараметрическая идентификация и сглаживание данных / В.Я. Катковник. - М.: Наука, 1985. - 336 с.
12. Лбов, Г.С. Методы обработки разнотипных экспериментальных данных / Г.С. Лбов. - Новосибирск: Наука, Сиб. отд-ние, 1981. - 160 с.
13. Литтл, Р.Дж.А. Статистический анализ данных с пропусками / Р.Дж.А. Литтл, Д.Б. Рубин. - М.: Финансы и статистика, 1990. - 336 с.
14. Медведев, А.В. Адаптация в условиях непараметрической неопределенности / А.В. Медведев // Адаптивные системы и их приложения. - Новосибирск: Наука, 1978. - С. 4 - 34.
15. Медведев, А.В. Непараметрические системы адаптации / А.В. Медведев. - Новосибирск: Наука, 1983. - 173с.
16. Медведев, А.В. Теория непараметрических систем. Процессы / А.В. Медведев // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф.Решетнева. - 2010. - №3 (29). - С. 4 - 9.
17. Медведев, А.В. Элементы теории непараметрических систем управления / А.В. Медведев // Актуальные проблемы информатики, прикладной математики и механики. Часть 3, Информатика. - Новосибирск- Красноярск: СО РАН, 1996. - С. 87 - 112.
18. Медведев, А.В. Теория непараметрических систем. Моделирование / А.В. Медведев // Вестник сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - 2010. - №4 (30). - С. 4 - 9.
19. Медведев, А.В. Теория непараметрических систем. Общий подход / А.В. Медведев // Вестник сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. - 2008. - №4 (30). - С. 4 - 9.
20. Надарая, Э.А. Непараметрическое оценивание плотности вероятностей и кривой регрессии / Э.А. Надарая. - Город.: Издательство Тбилисского университета, 1983. - с.
21. Смоляк, С.А. Устойчивые методы оценивания: (Статистическая обработка неоднородных совокупностей) / С.А. Смоляк, Б.П. Титаренко. - М.: Статистика, 1980. - 208 с.
22. Тихонов, А.Н. Статистическая обработка результатов эксперимента / А.Н. Тихонов, М.В. Уфимцев. - М.: Изд-во Моек. ун-та, 1988. - 176 с.
23. Уилкс, С. математическая статистика / С. Уилкс. - М.: Наука, 1967. - 632 с.
24. Хардле, В. Прикладная непараметрическая регрессия / В. Хардле. - М.: Мир, 1993. - 349 с.
25. Цыпкин, Я.З. Адаптация и обучение в автоматических системах / Я.З. Цыпкин. - М.: Наука, 1968. - 400с.
26. Цыпкин, Я.З. Информационная теория идентификации / Я.З. Цыпкин. - М.: Наука. Физматлит, 1995. - 336 с.
27. Шуленин, В.П. Математическая статистика. 4.2. Непараметрическая статистика: учебник / В.П. Шуленин - Томск: Изд-во НТЛ, 2012. - 388 с.
28. Эйкхофф, П. Основы идентификации систем управления / П. Эйкхофф. - М.: Мир, 1975. - 681 с.
29. Eddy, W.F. Optimum kernel estimators of the mode / W.F. Eddy // Ann.
Math.Statist. - 1980. - V. 8. - P. 870 - 882.
30. Gasser, T. Kernel estimation of regression function / T. Gasser, H.G. Muller // Lect. Notes Math. - 1979. - V.757. - P. 23 - 68.
31. Marvin, L. Brown. Data mining and the impact of missing data / Marvin L. Brown, John F. Kros // Industrial Management & Data Systems. - 2003. - T.103. № 8. - P. 611 - 621.
32. Myrtyeit, I. Analyzing data sets with missing data: an empirical evaluation of imputation methods and likelihood-based methods / I. Myrtyeit, E.
Stensrud, U.H. Olsson // IEEE Transactions on Software Engineering, 2001. - T. 27. № 11. - P. 999.
33. Литтл, Р.Дж.А., Рубин, Д.Б. (1991) Статистический анализ данных с пропусками. Финансы и статистика, Москва;
34. Эфрон, Б. (1988) Нетрадиционные методы многомерного статистического анализа. Финансы и статистика, Москва;
35. Дрейпер, Н., Смит, Г. (1988) Прикладной регрессионый анализ. Т.1,2. Машиностроение, Москва.


Работу высылаем на протяжении 30 минут после оплаты.



Подобные работы


©2024 Cервис помощи студентам в выполнении работ