Помощь студентам в учебе
Построение хранилища данных для OLAP-системы в целях поддержки принятия решений в организации
|
Введение 10
1 Теоретические аспекты построения хранилищ данных 13
1.1 Понятие и особенности структуры хранилищ данных 13
1.2 Анализ методологических подходов построения хранилищ данных .... 19
1.3 Управление хранилищем данных 26
1.4 OLAP технология 33
1.5 Сравнительный анализ существующих систем планирования и
аналитики 43
2 Сбор и анализ требований для проектирования хранилищ данных 48
2.1 Краткая характеристика деятельности предприятия и анализ
дебиторской задолженности 48
2.2 Анализ информационной инфраструктуры предприятия для создания
отчетов по дебиторской задолженности 57
2.3 Сбор и анализ требований пользователей 59
3 Проектирование хранилищ данных для формирования отчетов с целью
принятия управленческих решений 64
3.1 Проектирование хранилищ данных (концептуальная, логическая и
физическая модели) 64
3.2 Преобразование измерений в системе «Optimacros» 75
3.3 Построение кубов и отчетов 81
4 Социальная ответственность 98
Заключение 108
Список использованных источников 111
Приложение А Раздел ВКР, выполненный на иностранном языке 116
1 Теоретические аспекты построения хранилищ данных 13
1.1 Понятие и особенности структуры хранилищ данных 13
1.2 Анализ методологических подходов построения хранилищ данных .... 19
1.3 Управление хранилищем данных 26
1.4 OLAP технология 33
1.5 Сравнительный анализ существующих систем планирования и
аналитики 43
2 Сбор и анализ требований для проектирования хранилищ данных 48
2.1 Краткая характеристика деятельности предприятия и анализ
дебиторской задолженности 48
2.2 Анализ информационной инфраструктуры предприятия для создания
отчетов по дебиторской задолженности 57
2.3 Сбор и анализ требований пользователей 59
3 Проектирование хранилищ данных для формирования отчетов с целью
принятия управленческих решений 64
3.1 Проектирование хранилищ данных (концептуальная, логическая и
физическая модели) 64
3.2 Преобразование измерений в системе «Optimacros» 75
3.3 Построение кубов и отчетов 81
4 Социальная ответственность 98
Заключение 108
Список использованных источников 111
Приложение А Раздел ВКР, выполненный на иностранном языке 116
В настоящее время, хранилища данных являются одной из самых актуальных тем в индустрии информационных технологий. В связи с тем, что за последние годы многие системы, которые проектировались с использованием традиционных методов и приемов, недостаточно хорошо оптимизированы для выполнения запросов к данным, многие поставщики стараются не отстать от современных вызовов и предлагают различные технологические решения данной проблемы.
Именно поэтому, на сегодняшний день происходит активное развитие технологий анализа данных. Одним из этапов данного изменения является создание и эксплуатация хранилищ данных с организацией периодического выполнения пакетных работ, которые направлены на извлечение из операционных данных неких исторических выборок данных, их очистку, преобразование и последующую загрузку в хранилище. Современные средства аналитики данных позволяют выявлять скрытые модели благодаря возможностям прогнозирования, самообучения и адаптации. Эти технологии интуитивны и включают возможность визуализации данных, которая помогаем мгновенно анализировать миллионы строк и столбцов.
Аналитика данных распространяется на все аспекты нашей жизни, какими бы вопросами мы не задавались. Например, о сотрудниках, финансах или о том, что нравится или не нравится потребителям, а также, что влияет на их поведение. Аналитика дает ответы на все упомянутые вопросы и помогает принимать обоснованные решения.
На сегодняшний день, большая часть работы в организациях по- прежнему выполняется людьми, но автоматизация набирает все большее распространение. Пользователь выполняет запросы, затем анализируются результаты, взаимодействуя с визуальными представлениями данных, и создаются модели для прогнозирования будущих тенденций или выводов.
Цель магистерской диссертации - на основе анализа информационно-аналитической системы предприятия и требований пользователей разработать алгоритм построения хранилища данных для OLAP-системы с целью формирования аналитической отчетности предприятия по дебиторской задолженности.
Объект исследования - дочернее предприятие ПАО «Газпром».
Предмет исследования - процесс проектирования хранилища данных для OLAP-системы.
Для достижения поставленной цели необходимо решить следующие задачи:
1) изучение теоретических особенностей хранилищ данных и OLAP технологий;
2) анализ информационно-аналитической системы предприятия и процедуры формирования отчетов по дебиторской задолженности в этой системе;
3) выявление и анализ требований пользователей к процедуре формирования отчетов по дебиторской задолженности предприятия;
4) построение алгоритма проектирования хранилища данных и проведение анализа построения;
5) построение хранилища данных для дочернего предприятия ПАО «Газпром»;
6) построение отчёта для управления дебиторской задолженностью при помощи хранилища данных и OLAP технологий.
Теоретической и методологической основой данной работы послужили труды отечественных и зарубежных исследователей в области проектирования хранилищ данных и OLAP технологий.
Информационную базу данного исследования составили материалы научно-практических конференций и семинаров, публикации в научных и периодических изданиях по теме исследования, а также официальные сайты компаний, рассматриваемых в данной работе.
Практическая значимость состоит в том, что результаты разработок и предложенные рекомендации, полученные в итоге исследования, будут использованы для повышения эффективности управления дебиторской задолженностью дочернего предприятия ПАО «Газпром».
Научная новизна работы заключается в разработке алгоритма построения хранилища данных для OLAP-системы на базе платформы «Optimacros» для формирования аналитической отчетности предприятия по дебиторской задолженности с целью поддержки принятия обоснованных управленческих решений в организациях.
Именно поэтому, на сегодняшний день происходит активное развитие технологий анализа данных. Одним из этапов данного изменения является создание и эксплуатация хранилищ данных с организацией периодического выполнения пакетных работ, которые направлены на извлечение из операционных данных неких исторических выборок данных, их очистку, преобразование и последующую загрузку в хранилище. Современные средства аналитики данных позволяют выявлять скрытые модели благодаря возможностям прогнозирования, самообучения и адаптации. Эти технологии интуитивны и включают возможность визуализации данных, которая помогаем мгновенно анализировать миллионы строк и столбцов.
Аналитика данных распространяется на все аспекты нашей жизни, какими бы вопросами мы не задавались. Например, о сотрудниках, финансах или о том, что нравится или не нравится потребителям, а также, что влияет на их поведение. Аналитика дает ответы на все упомянутые вопросы и помогает принимать обоснованные решения.
На сегодняшний день, большая часть работы в организациях по- прежнему выполняется людьми, но автоматизация набирает все большее распространение. Пользователь выполняет запросы, затем анализируются результаты, взаимодействуя с визуальными представлениями данных, и создаются модели для прогнозирования будущих тенденций или выводов.
Цель магистерской диссертации - на основе анализа информационно-аналитической системы предприятия и требований пользователей разработать алгоритм построения хранилища данных для OLAP-системы с целью формирования аналитической отчетности предприятия по дебиторской задолженности.
Объект исследования - дочернее предприятие ПАО «Газпром».
Предмет исследования - процесс проектирования хранилища данных для OLAP-системы.
Для достижения поставленной цели необходимо решить следующие задачи:
1) изучение теоретических особенностей хранилищ данных и OLAP технологий;
2) анализ информационно-аналитической системы предприятия и процедуры формирования отчетов по дебиторской задолженности в этой системе;
3) выявление и анализ требований пользователей к процедуре формирования отчетов по дебиторской задолженности предприятия;
4) построение алгоритма проектирования хранилища данных и проведение анализа построения;
5) построение хранилища данных для дочернего предприятия ПАО «Газпром»;
6) построение отчёта для управления дебиторской задолженностью при помощи хранилища данных и OLAP технологий.
Теоретической и методологической основой данной работы послужили труды отечественных и зарубежных исследователей в области проектирования хранилищ данных и OLAP технологий.
Информационную базу данного исследования составили материалы научно-практических конференций и семинаров, публикации в научных и периодических изданиях по теме исследования, а также официальные сайты компаний, рассматриваемых в данной работе.
Практическая значимость состоит в том, что результаты разработок и предложенные рекомендации, полученные в итоге исследования, будут использованы для повышения эффективности управления дебиторской задолженностью дочернего предприятия ПАО «Газпром».
Научная новизна работы заключается в разработке алгоритма построения хранилища данных для OLAP-системы на базе платформы «Optimacros» для формирования аналитической отчетности предприятия по дебиторской задолженности с целью поддержки принятия обоснованных управленческих решений в организациях.
В современном обществе вопрос относительно более эффективного хранения и анализа данных имеет большое значение. Превращение данных в структурированную информацию, описанную в экономических терминах, можно считать одной из самых актуальных задач, стоящих перед компаниями, поскольку для принятия обоснованных управленческих решений, организациям необходимо регулярно отслеживать эффективность своей деятельности. Кроме того, для любой компании, вне зависимости от сферы, часто приходится работать с данными из разных источников. В связи с чем, проектирование хранилища данных является уникальным инструментом, позволяющим оперативно получать данные, обеспечивая различные отделы организации необходимой информацией.
Целью данной работы являлось проектирование хранилища данных для OLAP системы в целях поддержки принятия решений в организации.
Для выполнения данной цели были изучены теоретические особенности хранилищ данных и OLAP технологий, а также проведен анализ построения хранилища данные на предприятии.
Таким образом, было установлено, что основным предназначением хранилищ данных является - предоставление пользователям информации для статистического анализа, а также обеспечение высокой скорости получения данных, возможность получения и сравнения срезов данных, непротиворечивость, полнота и достоверность данных.
Также, в процессе рассмотрения актуальных тем в современной индустрии информационных технологий были выявлены системы аналитической обработки данных - OLAP-системы, представляющие собой технологию комплексного многомерного представления данных. На основе теоретической информации об OLAP технологиях были построены многомерные модели, иллюстрирующие наглядность и информативность структурирования данных в многомерных таблицах. Реализация концепции оперативной аналитической обработки информации является наиболее оптимальным путем для эффективного управления информационными процессами на предприятии.
В рамках проведенного исследования было построено хранилище данных, а также выполнено наполнение данными для применения OLAP технологий в системе планирования и аналитики - «Optimacros». Проведенное исследование позволяет сделать следующие основные теоретические и практические выводы.
Теоретические результаты:
1) проанализированы понятия хранилищ данных и OLAP технологий;
2) исследованы основные подходы к проектированию хранилищ данных (корпоративная информационная фабрика (CIF), хранилище данных с архитектурой шины (BUS));
3) исследованы основные шаги проектирования (концептуальный, логический, физический, DDL скрипт).
Практические результаты:
1) в ходе рассмотрения основных платформ для планирования и аналитики исследуемой организации, было выявлено, что большая часть отчетов и форм компании формируется и анализируется в MS Excel, что является не совсем удобным с точки зрения автоматизации обновления данных и говорит о том, что в компании подавляющее большинство действий с отчетами осуществляется посредством ручного труда сотрудников;
2) в ходе проектирования хранилища данных для выбранной компании были выявлены основные сущности, связи и атрибуты для процесса управления дебиторской задолженностью;
3) в ходе моделирования в системе «Optimacros» были созданы измерения с различной консолидацией по уровню иерархии, а также построены аналитические кубы отчета с визуализацией, необходимой для эффективного анализа дебиторской задолженности;
4) в качестве заключительного этапа работы в системе, был построен дашборд, на котором представлена визуализация статистической информации о состоянии дебиторской задолженности предприятия в виде сводных таблиц, графиков и диаграмм;
5) на основании проделанной работы по проектированию хранилища данных и преобразований измерений в системе «Optimacros» был разработан алгоритм построения хранилища данных для OLAP-системы, который является универсальным для любого предприятия, вне зависимости от сферы деятельности.
Таким образом, разработанная форма отчета позволит оперативно получать информацию о состоянии дебиторской задолженности контрагентов перед компанией, объединяя сведения из разных источников в одной реляционной базе данных. Созданные формы позволят быстро и эффективно осуществлять поиск, обновление и анализ данных. Удобный интерфейс платформы позволяет легко ориентироваться в спроектированной модели, не требуя наличия каких-либо специальных навыков программирования.
Информационные технологии в области хранилищ данных стабильно развиваются и дальнейшие исследования будут проводиться с учетом следующих основных тенденций:
- тенденция к отказу от традиционной нормализации реляционных отношений, нарушающих естественные иерархические связи между объектами и их атрибутами в конкретной предметной области;
- организация хранилищ на основе многомерного представления;
- реализация концепции оперативной аналитической обработки информации (OLAP).
Таким образом, хранилища данных выступают в качестве основы современных информационных систем. Накапливаемая в них информация представляет собой ценный материал, в результате чего эффективные методы ее хранения и обработки необходимы для получения новых знаний.
Целью данной работы являлось проектирование хранилища данных для OLAP системы в целях поддержки принятия решений в организации.
Для выполнения данной цели были изучены теоретические особенности хранилищ данных и OLAP технологий, а также проведен анализ построения хранилища данные на предприятии.
Таким образом, было установлено, что основным предназначением хранилищ данных является - предоставление пользователям информации для статистического анализа, а также обеспечение высокой скорости получения данных, возможность получения и сравнения срезов данных, непротиворечивость, полнота и достоверность данных.
Также, в процессе рассмотрения актуальных тем в современной индустрии информационных технологий были выявлены системы аналитической обработки данных - OLAP-системы, представляющие собой технологию комплексного многомерного представления данных. На основе теоретической информации об OLAP технологиях были построены многомерные модели, иллюстрирующие наглядность и информативность структурирования данных в многомерных таблицах. Реализация концепции оперативной аналитической обработки информации является наиболее оптимальным путем для эффективного управления информационными процессами на предприятии.
В рамках проведенного исследования было построено хранилище данных, а также выполнено наполнение данными для применения OLAP технологий в системе планирования и аналитики - «Optimacros». Проведенное исследование позволяет сделать следующие основные теоретические и практические выводы.
Теоретические результаты:
1) проанализированы понятия хранилищ данных и OLAP технологий;
2) исследованы основные подходы к проектированию хранилищ данных (корпоративная информационная фабрика (CIF), хранилище данных с архитектурой шины (BUS));
3) исследованы основные шаги проектирования (концептуальный, логический, физический, DDL скрипт).
Практические результаты:
1) в ходе рассмотрения основных платформ для планирования и аналитики исследуемой организации, было выявлено, что большая часть отчетов и форм компании формируется и анализируется в MS Excel, что является не совсем удобным с точки зрения автоматизации обновления данных и говорит о том, что в компании подавляющее большинство действий с отчетами осуществляется посредством ручного труда сотрудников;
2) в ходе проектирования хранилища данных для выбранной компании были выявлены основные сущности, связи и атрибуты для процесса управления дебиторской задолженностью;
3) в ходе моделирования в системе «Optimacros» были созданы измерения с различной консолидацией по уровню иерархии, а также построены аналитические кубы отчета с визуализацией, необходимой для эффективного анализа дебиторской задолженности;
4) в качестве заключительного этапа работы в системе, был построен дашборд, на котором представлена визуализация статистической информации о состоянии дебиторской задолженности предприятия в виде сводных таблиц, графиков и диаграмм;
5) на основании проделанной работы по проектированию хранилища данных и преобразований измерений в системе «Optimacros» был разработан алгоритм построения хранилища данных для OLAP-системы, который является универсальным для любого предприятия, вне зависимости от сферы деятельности.
Таким образом, разработанная форма отчета позволит оперативно получать информацию о состоянии дебиторской задолженности контрагентов перед компанией, объединяя сведения из разных источников в одной реляционной базе данных. Созданные формы позволят быстро и эффективно осуществлять поиск, обновление и анализ данных. Удобный интерфейс платформы позволяет легко ориентироваться в спроектированной модели, не требуя наличия каких-либо специальных навыков программирования.
Информационные технологии в области хранилищ данных стабильно развиваются и дальнейшие исследования будут проводиться с учетом следующих основных тенденций:
- тенденция к отказу от традиционной нормализации реляционных отношений, нарушающих естественные иерархические связи между объектами и их атрибутами в конкретной предметной области;
- организация хранилищ на основе многомерного представления;
- реализация концепции оперативной аналитической обработки информации (OLAP).
Таким образом, хранилища данных выступают в качестве основы современных информационных систем. Накапливаемая в них информация представляет собой ценный материал, в результате чего эффективные методы ее хранения и обработки необходимы для получения новых знаний.