Обработка кластерных данных в цифровой экономике

ВВЕДЕНИЕ 3
ПОСТАНОВКА ЗАДАЧИ 10
ОБЗОР ЛИТЕРАТУРЫ 11
ГЛАВА 1. КЛАСТЕРИЗАЦИЯ 16
1.1. СТРУКТУРА ПРОГРАММЫ 16
1.2. ИЕРАРХИЧЕСКИЙ МЕТОД КЛАСТЕРИЗАЦИИ 16
1.3. K-СРЕДНИХ МЕТОД КЛАСТЕРИЗАЦИИ 21
1.4. АЛГОРИТМ МИНИМАЛЬНОГО ОСТОВНОГО ДЕРЕВА 27
ГЛАВА 2. ПРОГНОЗИРОВАНИЕ 35
2.1 ПРОГНОЗИРОВАНИЕ СИТУАЦИИ 35
2.2. ГРАФИЧЕСКАЯ СОСТАВЛЯЮЩАЯ ПРИЛОЖЕНИЯ 38
2.3. АНАЛИЗ МОДУЛЯ ПРЕДСКАЗАНИЙ 42
2.4. ИНСТРУКЦИЯ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ (СКРИНШОТЫ) 43
ВЫВОД 48
СПИСОК ЛИТЕРАТУРЫ 50
ПРИЛОЖЕНИЕ 53


Купить

В связи с экспоненциальным развитием, цели и задачи развития цифровой экономики в Российской Федерации определены до 2024 года в рамках пяти базовых направлений:
-нормативное регулирование;
-кадры и образование;
-формирование исследовательских компетенций и технических заделов;
-информационная инфраструктура;
-информационная безопасность.
Основой развития цифровой экономики является работа с большими данными. К появлению концепции «больших данных» (big data) привело увеличившееся использование цифровых устройств, интернета. Потоки данных постоянно возрастают (уже терабайты и петабайты), передаются в реальном времени, обрабатываются и используются для принятий решений.
Развитие цифровой экономики позволяет объединять усилия для инвестирования, поиска сотрудников, партнеров, ресурсов и рынков сбыта способствует развитию новых моделей бизнеса, обеспечивает возможность коммуникаций, обмена идеями знаниями и опытом. Цифровые технологии могут играть ведущую роль в реализации инновационных идей, в различных сферах, в том числе в социальной сфере.
Возможности, создаваемые big dataи современными системами их поиска, для развития различных отраслей, науки и менеджмента, характеризуются как беспрецедентные, и способствуют к переходу на новый уровень анализа и управления экономическими процессами, как на уровне отдельных отраслей, предприятий. регионов, так и на макроуровне, совершенствованию моделирования и прогнозирования социально-экономического развития.
Интеллектуальный анализ данных — кластеризация в Data Mining приобретает ценность тогда, когда она выступает одним из этапов анализа данных, построения законченного аналитического решения. Аналитику часто легче выделить группы схожих объектов, изучить их особенности и построить для каждой группы отдельную модель, чем создавать одну общую модель для всех данных. Таким приемом постоянно пользуются в маркетинге, выделяя группы клиентов, покупателей, товаров и разрабатывая для каждой из них отдельную стратегию.
Обширной информационной ёмкостью отличается область исследований дорожно-транспортных происшествий (ДТП). Она требует привлечения и анализа больших массивов данных, разнообразных математических, алгоритмических и программных средств.
Высокий уровень аварийности на автомобильном транспорте, постоянно растущее число погибших и раненых в (ДТП), является одной из острейших социально-экономических проблем для всех стран мира, отражаясь на экономике государств.
В соответствии с информацией Всемирной организации здравоохранения (ВОЗ)общее количество погибших на автомобильных дорогах мира более 1 млн. 200 тысяч в год, к 2030 году составит-3,6 млн. в год
В России число погибших на 10 тысяч транспортных средств в 3–5 раз превышает аналогичные показатели Европейских зарубежных стран, число погибших на 100 тысяч населения выше в 1,5–2 раза.
Задача снижения уровня аварийности на автомобильном транспорте может более эффективно решаться с развитием цифровой экономики (внедрением систем видео фиксации, решением многочисленных частных задач исследования ДТП, кластерного подхода, обнаружением всех потребителей информации, сопровождающей эти задачи, минимизированием общих затрат при существенном повышении качества мероприятий).
Количество статистических данных о ДТП, которое необходимо учесть и обработать, достаточно велико и требует широкого применения современных средств вычислительной техники и программного обеспечения.
Эти факторы побудили меня к созданию программного продукта для решения задачи кластерного анализа ДТП.
Указанный программный продукт пользовательское приложение «Кластеризация», помимо анализа ДТП, может применяться в очень широком спектре: в маркетинге, медицине, археологии, психологии, химии, биологии, психологии государственном управлении, филологии, социологии, геологии, антропологиии других.
В информатике для «интеллектуальной» группировки результатов при запросах поиска файлов, веб-сайтов и других объектов, целесообразно использовать кластеризацию результатов поиска, дав пользователю возможность быстрой навигации, выборки заведомо более релевантного подмножества и исключения заведомо менее релевантного — что значительно повышает юзабилити интерфейса по сравнению с выводом в виде простого сортированного по релевантности списка. В настоящее время разработаны и применяются.
Clusty — кластеризующая поисковая машина компании Vivísimo.
Nigma — российская поисковая система с автоматической кластеризацией результатов.
Quintura — визуальная кластеризация в виде облака ключевых слов.
Сегментация изображений — разбиение цифрового изображения на отдельные области с целью обнаружения границ распознавания объектов.
Кластерный анализ – является многомерной процедурой, которая производит сбор входных данных, содержащих различную информацию о выборке объектов, после чего совершает упорядочивание объектов в максимально возможные однородные группы. Основной задачей кластеризации является задача статистической обработки, а также может относиться к обширному классу задач обучения без учителя.
В дальнейшем появились термины - синонимы, например, автоматическая классификация и ботриология.
Основные задачи кластерного анализа:
исследование концептуальных схем, используемых для группирования объектов;
порождение гипотез на основе исследования данных;
разработка типологии или классификации;
проверка гипотез или исследования для определения, присутствуют ли в имеющихся данных типы (группы), выделенные тем или иным способом,
Вне зависимости от предмета изучения и методов кластерного анализа, предполагаются следующие этапы:
отбор выборки для кластеризации. Кластеризуются исключительно количественные данные;
нахождение множества переменных, при помощи которых, можно оценить объекты в выборке;
вычисление значений той или иной меры сходства (или различия) между объектами;
создание групп сходных объектов, путем применения метода кластерного анализа;
проверка достоверности результатов кластерного решения.
В практике встречается описание двух фундаментальных требований, которые предъявляются к данным — однородность и полнота. Для однородности необходимо, чтобы все кластеризуемые сущности были непосредственно одной природы, и были описаны схожим набором характеристик. В том случае, если кластерному анализу предшествует факторный анализ, то сама выборка не нуждается в «ремонте», т. е все изложенные требования будут выполнены автоматически, самой процедурой факторного моделирования (это является еще одним достоинством — z-стандартизация без отрицательных последствий для выборки; если её проводить непосредственно для кластерного анализа, то она может повлечь за собой существенной уменьшение чёткости разделения групп). В противном случае выборку необходимо корректировать.
Основные цели кластеризации:
понять данные при помощи выявления кластерной структуры. Разбить выборки на группы подобных объектов, что позволит упростить дальнейшую обработку данных и принятие решений, путем применения к каждому кластеру своего метода анализа (стратегия «разделяй и властвуй»);
сжатие данных. Если исходная выборка слишком большая, можно сократить её, отделив от каждого кластера, одного, наиболее типичного представителя;
обнаружение новизны. Выделяются объекты, которые не удаётся присоединить ни к одному из кластеров; их принято называть нетипичными.
Методы кластеризации.
Общепринятой классификации методов кластеризации, как правило, не существует, но мы можем выделить ряд групп подходов
1. Вероятностный подход. Предполагается, что каждый объект будет, относится к одному из k классов. Некоторые ученые считают, что данная группа вовсе не относится к кластеризации и называют ее «дискриминация», то есть выбор отнесения объектов к одной из известных групп (обучающих выборок).
• K-средних
• К-медиан
• EM-алгоритм
• Алгоритмы семейства FOREL
• Дискриминантный анализ
2. Подходы на основе использования искусственного интеллекта: весьма условная группа, так как существует очень много методов, и они весьма различны.
• Метод нечеткой кластеризации C-средних (C-means)
• Нейронная сеть Кохонена
• Генетический алгоритм
3. Логический подход. Построение дендрограммы при помощи дерева решений.
4. Теоретико-графовый подход.
• Графовые алгоритмы кластеризации
5. Иерархический подход. Предполагает собой наличие неких вложенных групп (кластеров различного порядка). В свою очередь, алгоритмы подразделяют на агломеративные и дивизивные. По количеству признаков иногда выделяют монотетические и политетические методы классификации.
• Иерархическая дивизивная кластеризация или таксономия. Задачи кластеризации рассматриваются в количественной таксономии.
•
6. Другие методы.
• Статистические алгоритмы кластеризации
• Ансамбль кластеризаторов
• Алгоритмы семейства KRAB
• Алгоритм, основанный на методе просеивания
7. DBSCAN и др.
Мы применили данные алгоритмы кластеризации, в очень важной и значимой задаче, анализ ДТП. В настоящее время анализ и мониторинг дорожно-транспортной аварийности связан, как правило, с «узкими» местами и местами концентрации ДТП. Однако, «недостаточно установить, что происшествие произошло из-за неверного действия водителя. Мы должны также спросить, почему было выполнено неправильное действие. Можно представить, что большая часть объяснений неправильных действий в дорожном движении заключается в том, что система дорожного движения в данных ситуациях предъявляет высокие требования к работоспособности человека.
Если система будет слишком сложной, то даже наиболее хорошо оснащённые участники дорожного движения будут время от времени совершать фатальные ошибки». Поэтому необходимо анализировать и оценивать уровень обеспечения БДД не только в конкретных местах, но и в их окрестностях.
Объектом нашего исследования, является количество ДТП, в совокупности, с количеством пострадавших, за определенный промежуток времени, по нескольким регионам РФ.
Задача формирования перечня мероприятий владельцев автомобильных дорог по повышению БДД с целью выбора объектов для реализации мероприятий с наибольшей эффективностью может решаться только при проведении анализа и постоянного мониторинга.

Купить