Кластеризация временных рядов

Введение 2
1 Расстояние, основанное на характеристиках временных рядов 4
1.1 Обзор методов библиотеки «TSclust» пакета R 5
1.2 Описание метода 9
1.3 Эксперимент 14
1.4 Выводы 18
2 Задача кластеризации районов Санкт-Петербурга по показателю заболеваемости 19
2.1 Основные понятия 20
2.2 Кластеризация одномерных временных рядов 23
2.3 Кластеризация многомерных временных рядов 26
2.4 Выводы 29
3 Определение состава кластера в спорных ситуациях 31
3.1 Критерии качества кластеризации 31
3.2 Построение нескольких кластеризаций районов по показате­лю детской заболеваемости 35
3.3 Эвристический алгоритм распределения спорных объектов по кластерам 37
3.4 Выводы 42
Заключение 44
Литература 46
Приложения 50
Купить

В связи с ростом вычислительных мощностей и возможностей со­бирать и хранить данные, одна из наиболее актуальных областей совре­менного мира — это анализ данных. Активное развитие получили методы машинного обучения, так как они способны «учиться» на тестовых данных и призваны решать самые разнообразные задачи: классификация данных, прогнозирование (в частности, построение регрессионной модели), класте­ризация, поиск аномалий и др. Люди всегда стремились предсказывать будущее или поведение других людей по имеющимся данным, особенно актуальна эта задача в области страхования и финансов. Однако сегодня методы машинного обучения используются в диагностике заболеваний, при изучении био-физических особенностей организма, в распознавании изоб­ражений и речи, автоматизации труда и т.д.
Наиболее сложными являются методы, которые работают «без учи­теля». В таких задачах нет тестовой выборки, по которой можно подо­брать параметры или проверить результат. Кластеризация данных отно­сится именно к этой группе. Задача состоит в распределении объектов (дан­ных) по группам таким образом, чтобы внутри каждой группы оказались объекты, обладающие высокой степенью сходства в некотором отношении, которое является принципиально важным для рассматриваемой задачи, а между различными группами обнаруживались бы существенные разли­чия. Для выделения кластеров используются только сами данные, количе­ство кластеров является неизвестной величиной. Процедура распределения по кластерам (подход) может проходить по разному. Здесь выделяют ве­роятностные, теоретико-графовые, иерархические, нечеткие подходы, эта классификация условная, существуют и другие алгоритмы. Результат бу­дет зависеть не только от выбора подхода, но и от способа определения количества кластеров и выбора метрики.
Работа посвящена кластерному анализу временных рядов, который выделен из общей задачи кластеризации в связи с тем, что даннвхе зави­сят от времени. Это требует подбора специалвнвхх метрик, учитвхвающих временнвхе особенности. Ввхбор темвх обусловлен не толвко ее актуальноствю, но и наличием практической задачи, рассмотрение которой также приводится в работе. Постановка проблемах и данные предоставлены меди­цинским информационно-аналитическим центром.
В области кластеризации временных рядов была проделана боль­шая работа: описано применение алгоритма динамической трансформа­ции шкалы в кластерном анализе [1], [2]; этот же алгоритм, но с помо­щью теории скрытых марковских моделей предложен в [3]; использование коэффициентов автокорреляции, спектральных характеристик, вейвлет- коэффициентов отмечено в работах [4], [5], более полный обзор существу­ющих методов представлен в статье [6].
В первой главе дан обзор существующих метрик и приведено опи­сание новой метрики, разработанной для кластеризации коротких времен­ных рядов. Во второй главе показан кластерный анализ районов Санкт- Петербурга по показателю заболеваемости с 1999 по 2014 гг., получено несколько моделей, по которым построены стабильные кластеры. В том числе, рассмотрен многомерный анализ. В третьей главе рассмотрен метод работы с объектами, которые потенциально могут относиться к нескольким кластерам, работа алгоритма показана на примере детской заболеваемости.
Купить