📄Работа №18988
Тема: ВОССТАНОВЛЕНИЕ ДАННЫХ НА ОСНОВЕ MULTIPLE IMPUTATION С ИСПОЛЬЗОВАНИЕМ JACK KNIFE
Характеристики работы
Тип работы
Бакалаврская работа
Предмет
Математика
Объем:
62 листов
Год:
2017
Просмотров:
635
5750
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 3
1 Теория некомплектных данных 5
2 Обзор наиболее популярных методов восстановления данных... 7
2.1 Подстановка среднего по выборке 7
2.2 Метод заполнение медианой 10
2.3 Метод Hot Deck 11
2.4 ЕМ-алгоритм 12
2.5 Парная регрессия и метод наименьших квадратов 15
2.6 Стохастическая регрессионная вставка 17
2.7 Метод multiple imputation 19
2.8 Метод Jeck Knife 23
3 Реализация многократного включения 24
3.1 Реализация в пакете SPSS 24
3.2 Реализация в разработанном программном обеспечении в
среде программирования Delphi 27
4 Вычислительный эксперимент 29
Заключение 33
Список использованных источников 34
Приложение А (Обязательное) Исходный код программы 36
1 Теория некомплектных данных 5
2 Обзор наиболее популярных методов восстановления данных... 7
2.1 Подстановка среднего по выборке 7
2.2 Метод заполнение медианой 10
2.3 Метод Hot Deck 11
2.4 ЕМ-алгоритм 12
2.5 Парная регрессия и метод наименьших квадратов 15
2.6 Стохастическая регрессионная вставка 17
2.7 Метод multiple imputation 19
2.8 Метод Jeck Knife 23
3 Реализация многократного включения 24
3.1 Реализация в пакете SPSS 24
3.2 Реализация в разработанном программном обеспечении в
среде программирования Delphi 27
4 Вычислительный эксперимент 29
Заключение 33
Список использованных источников 34
Приложение А (Обязательное) Исходный код программы 36
📖 Введение
При проведении научных исследований и технических разработок во многих случаях возникают ситуации, когда исходные данные являются неполными или некомплектными. Под «неполностью» или «некомплектностью» подразумевается то, что некоторые данные по тем или иным причинам пропущены или отсутствуют в исходном массиве данных.
Традиционными причинами, приводящими к появлению пропусков, являются:
- невозможность их получения или обработки;
- искажение или сокрытие информации;
- всевозможные поломки технического оборудования;
- природные явления;
- экономические причины и т.д.
в результате на вход программ анализа собранных данных поступают неполные сведения.
С проблемой обработки пропусков в массивах данных приходится сталкиваться при проведении разнообразных технических, социологических, экономических, астрономических, биологических, статистических и др. исследований. Западные исследователи такие данные с пропущенными значениями называют “missing data” или “incomplete data”.
Обычно классическая математика не предусматривает работу с пропущенными данными, следовательно, нужно заниматься методами, которые либо «восстанавливают» данные в пропусках, либо работают непосредственно с неполными данными. Во всем мире особый интерес проявляется именно к восстановлению пропущенных данных, на основании каких-либо моделей о представлении работы с данными, это связанно с тем, что в дальнейшем мы сможем использовать не только классические методы работы с такими данными, но и делать определённые выводы, считая данные “полнокомплектными”.
На практике многие исследователи при работе с некомплектными данными большей частью идут по пути усечения выборки, отбрасывая неполные данные, мало задумываясь над тем, что такой подход может приводить к сильному различию статистических выводов, сделанных при наличии в данных пропусков и при их отсутствии.
В связи с этим к настоящему времени разработано достаточно большое количество подходов к восстановлению пропущенных данных, тем не менее, исследователи продолжают поиск новых методов восстановления, которые направлены на более качественное обработку и восстановление таких данных.
Предыдущими работами исследователей показано, что применение тех или иных методов восстановления пропущенных данных тесно связано с моделью появления пропусков.
В настоящей дипломной работе представлены модели появления пропусков, проведен обзор методов восстановления пропущенных данных, а также предложен подход восстановления данных на основе многократного включения (multiple imputation) c последующей корректировкой методом jack knife. Для предложенного подхода разработано программное обеспечение и на основе медицинских данных, рассмотрен конкретный пример восстановления данных. Для осуществления однократных включений (single imputation), применяемых в multiple imputation, использованы как стандартные процедуры пакета SPSS (основной пакет программ для статистической обработки данных, предназначенной для проведения прикладных исследований в социальных науках), так и вновь разработанные процедуры.
Традиционными причинами, приводящими к появлению пропусков, являются:
- невозможность их получения или обработки;
- искажение или сокрытие информации;
- всевозможные поломки технического оборудования;
- природные явления;
- экономические причины и т.д.
в результате на вход программ анализа собранных данных поступают неполные сведения.
С проблемой обработки пропусков в массивах данных приходится сталкиваться при проведении разнообразных технических, социологических, экономических, астрономических, биологических, статистических и др. исследований. Западные исследователи такие данные с пропущенными значениями называют “missing data” или “incomplete data”.
Обычно классическая математика не предусматривает работу с пропущенными данными, следовательно, нужно заниматься методами, которые либо «восстанавливают» данные в пропусках, либо работают непосредственно с неполными данными. Во всем мире особый интерес проявляется именно к восстановлению пропущенных данных, на основании каких-либо моделей о представлении работы с данными, это связанно с тем, что в дальнейшем мы сможем использовать не только классические методы работы с такими данными, но и делать определённые выводы, считая данные “полнокомплектными”.
На практике многие исследователи при работе с некомплектными данными большей частью идут по пути усечения выборки, отбрасывая неполные данные, мало задумываясь над тем, что такой подход может приводить к сильному различию статистических выводов, сделанных при наличии в данных пропусков и при их отсутствии.
В связи с этим к настоящему времени разработано достаточно большое количество подходов к восстановлению пропущенных данных, тем не менее, исследователи продолжают поиск новых методов восстановления, которые направлены на более качественное обработку и восстановление таких данных.
Предыдущими работами исследователей показано, что применение тех или иных методов восстановления пропущенных данных тесно связано с моделью появления пропусков.
В настоящей дипломной работе представлены модели появления пропусков, проведен обзор методов восстановления пропущенных данных, а также предложен подход восстановления данных на основе многократного включения (multiple imputation) c последующей корректировкой методом jack knife. Для предложенного подхода разработано программное обеспечение и на основе медицинских данных, рассмотрен конкретный пример восстановления данных. Для осуществления однократных включений (single imputation), применяемых в multiple imputation, использованы как стандартные процедуры пакета SPSS (основной пакет программ для статистической обработки данных, предназначенной для проведения прикладных исследований в социальных науках), так и вновь разработанные процедуры.
✅ Заключение
В данной дипломной работе проведены исследования на тему восстановления пропусков в некомплектных данных. Были рассмотрены механизмы порождения пропусков и дан обзор некоторых популярных методов работы с некомплектностью данных, выполняющих задачу. На основании этого было принято решение о создании собственного программного продукта. В процессе создания программного продукта была рассмотрена реализация функционала пакета SPSS, работающую с пропусками в данных. Был реализован программный продукт, применяющий методы восстановления пропущенных данных.
а) Программный продукт использует популярные методы восстановления данных для заполнения пропусков в некомплектных данных.
б) Взаимодействие с пользователем программного продукта производится через графический интерфейс (UI).
А также, был проведен вычислительный эксперимент, в результате которого сделан сравнительный анализ эффективности применения многократной вставки по правилу Рубина и однократных методов заполнения пропусков. После оценки эффективности подходов можно сделать вывод, что Multiple imputation действительно дает хорошие результаты восстановления. По реальным численным значениям они могут отличаться, но тем не менее они будут входить в 95% доверительный интервал, а метод Jack Knife на шаге анализа в какой-то мере способен улучшить результат, но его имеет смысл использовать при некомплектности от 20% и выше, поскольку при меньших потерях его работа не видна.
а) Программный продукт использует популярные методы восстановления данных для заполнения пропусков в некомплектных данных.
б) Взаимодействие с пользователем программного продукта производится через графический интерфейс (UI).
А также, был проведен вычислительный эксперимент, в результате которого сделан сравнительный анализ эффективности применения многократной вставки по правилу Рубина и однократных методов заполнения пропусков. После оценки эффективности подходов можно сделать вывод, что Multiple imputation действительно дает хорошие результаты восстановления. По реальным численным значениям они могут отличаться, но тем не менее они будут входить в 95% доверительный интервал, а метод Jack Knife на шаге анализа в какой-то мере способен улучшить результат, но его имеет смысл использовать при некомплектности от 20% и выше, поскольку при меньших потерях его работа не видна.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.