АННОТАЦИЯ 3
Введение 4
1 Технология хранилищ данных 6
1.1 Основные особенности хранилищ данных 6
1.2 Структура и архитектура хранилища данных 9
1.3 Управление и методология построения хранилищ данных 16
1.4 OLAP технология 21
2 Проектирование хранилища данных 30
2.1 Концептуальная модель 30
2.2 Логическая модель 33
2.3 Физическая модель 35
3 Создание отчётов для принятия управленческих решений 39
3.1 Преобразования измерений в системе Optimacros 39
3.2 Построение необходимых кубов и отчётов 44
Заключение 51
Литература 53
ПРИЛОЖЕНИЕ 1 59
Хранилища данных — одна из самых актуальных тем в современной индустрии информационных технологий. Как и в случае с другими актуальными темами, поставщики стараются не отстать от моды и предлагают решения проблем, о существовании которых несколько лет назад мы даже не подозревали. Отсутствие интегрированных и непротиворечивых данных — не единственная проблема, стоящая перед пользователями и руководителями. Многие системы, которые проектировались с использованием традиционных методов и приемов, недостаточно хорошо оптимизированы для выполнения запросов к данным. В частности, нерегламентированные запросы, возможность появления которых не учтена при проектировании, могут выполняться плохо или не выполняться вовсе. Можно считать, что хранилище данных расположено в центре всех ориентированных на приложения систем организации. Хранилище регулярно получает данные из этих систем и формирует сводное представление. Данные могут быть простой копией транзакционных данных (в этом случае их называют атомарными) или же подвергаться на пути от источника к пункту назначения (хранилищу) трансформации либо агрегированию. При этом в хранилище может помещаться только какое-то их подмножество, или же данные могут подвергаться конвертированию для того, чтобы обеспечить их совместимость с данными из других источников.
По мере развития информационных систем, которые эксплуатируются на современных предприятиях, технологии и средства хранения данных претерпевают существенные изменения. Одним из этапов этого изменения является создание и эксплуатация активных хранилищ данных (ХД). Основной особенностью традиционных ХД является организация периодического выполнения пакетных работ, которые направлены на извлечение из операционных данных неких больших выборок исторических данных, их очистку, преобразование и загрузку в ХД. Активное ХД требует постоянного обнаружения и доставки в него данных в реальном времени или в режиме времени, близком к реальному, из баз данных информационных систем, функционирующих на предприятии.
Факторами, стимулирующими развитие активных ХД, являются растущие потребности клиентов, в частности, к скорости предоставления услуг, а также ужесточение нормативных требований к поддержке исторической информации о бизнес-процессах, которые осуществляются на предприятии. Внедрение и грамотная эксплуатация активных ХД может сыграть ключевую роль в реализации всей стратегии выполнения бизнес-процессов предприятия в целом. Расширяя возможности применения ХД до уровня сотрудников, занимающихся операционной деятельностью, поставщиков и клиентов, предприятие получает возможность принятия научно обоснованных решений путем увеличения объема хранимых данных. Поскольку информация является ресурсом, ценность которого зависит от времени, ее ценность для бизнеса прямо пропорциональна ее своевременности и достоверности.
Поэтому проблема разработки методов и технологий проектирования активных ХД на основе моделей эксплуатируемых баз данных является актуальной.
Таким образом, целью данного исследования является изучение особенностей технологии хранилища данных и связанной с ней технологией OLAP на предприятии. Для достижения поставленной цели необходимо выполнить ряд следующих задач:
1) установить сущность хранилища данных и OLAP технологий;
2) провести анализ построения хранилища данных;
3) построение хранилища данных по выбранному бизнес кейсу;
4) с помощью OLAP технологий и хранилищ данных построить наглядные отчёты для управленческого персонала.
Предметом исследования - хранилища данных как инструмент для принятия решений.
Структура работы состоит из трёх глав. В первой главе рассмотрены теоретические аспекты технологии хранилища данных и OLAP, которые включают в себя: понятия и сущность хранилища данных, структуру и архитектуру, особенности построения хранилищ.
Во второй главе содержится информация о поэтапном построении хранилища данных. Рассмотрены основные шаги проектирования - концептуальная, логическая, физическая модель данных.
В третьей главе показано взаимодействие хранилища данных и OLAP технологии, обработка данных, консолидация и отображение их на различных отчётах с помощью средств визуализации.
Методы исследования, используемые в работе: метод сравнения, измерения, метод анализа и синтеза, моделирование.
В современных компаниях вопрос о более эффективном хранении и аналитике данных имеет большое значение, поскольку для принятия каких-либо управленческих решений, организация должна отслеживать свою деятельность по построенным отчётам. Проектирование хранилища данных - инструмент, позволяющий оперативно получать конкретные данные, обеспечить различные отделы необходимой информацией.
Цель данной работы было изучение особенностей технологии хранилища данных и связанной с ней технологией OLAP на предприятии, как инструмента для принятия решений. Проведенное исследование позволяет сделать следующие основные теоретические и практические результаты.
• В результате проведенного исследования были выявлены основные аспекты устройства, архитектуры и главные особенности технологий хранилища данных и OLAP.
• В изучении современных технологий проектирования хранилищ данных и обобщения существующих моделей разработаны: концептуальная, логическая и физические модели хранилища данных.
• Было построено хранилище данных и наполнено данными, достаточным для применения технологии.
• Созданы и построены аналитические кубы с различной консолидацией по уровню иерархии, а также выделены аналитические отчёты с визуализацией необходимые для анализа.
Информационные технологии в области хранилищ данных и их приложений развиваются стабильно высокими темпами, и дальнейшие исследования в ИТ-сфере будут актуальными с учетом следующих главных тенденций:
• Дальнейшее развитие объектно-реляционных технологий, принципов наследования, тенденция к отказу от традиционной нормализации реляционных отношений, нарушающих естественные иерархические связи между объектами и их атрибутами в конкретной предметной области;
• Интеграция в единое информационное пространство, организация хранилищ данных на основе их многомерного представления и моделирования изменения состояния объектов во времени;
• Реализация концепции оперативной аналитической обработки информации (OLAP), создание систем принятия решений для аналитиков, экономистов, руководителей с целью более эффективного управления информационными процессами на предприятии в реальном режиме времени;
Хранилища данных служат основой современных информационных систем. Накапливаемая в них информация представляет собой наиболее ценный материал, и эффективные методы ее хранения и обработки чрезвычайно важны для получения новых знаний.
1. Распоряжение Правительства РФ от 28.07.2017 N 1632-р «Об утверждении программы «Цифровая экономика Российской Федерации».
2. Алдохина О. И. Информационно-аналитические системы и сети : учебное пособие. Ч. 1 / О. И. Алдохина, О. Г. Басалаева ; Кемеровский гос. ун -т культуры и искусств, Ин-т культуры. - Кемерово : КемГУКИ, 2010. - 147 с.
3. Архипенков С. Я. Хранилища данных. От концепции до внедрения / С. Архипенков, Д. Голубев, О. Максименко ; под ред. С. Архипенкова. - М. : Диалог-МИФИ, 2002. - 528 с.: ил.
4. Барсегян Арменак Артаваздович Методы и модели анализа данных:OLAP и Data Mining : Учеб.пособие. / А.А.Барсегян,М.С.Куприянов,В.В.Степаненко,И.И.Холод. - СПб. : БХВ-Петербург, 2004. - 336с.; 24см. - (Учеб.пособие).
5. Бородаенко В., Ермаков А. Универсальная платформа обработк больших данных / Виктор Бородаенко, Александр Ермаков // «Открыты системы. СУБД» 2017, № 03 [Электронный ресурс] - Режим доступа https://www.osp.ru/os/2017/03/13052699/ (дата обращения 20.05.2020 г.).
6. Вавренюк, А. Б. Особенности проектирования и разновидности хранилищ данных / А. Б. Вавренюк. — Текст : непосредственный // Молодой ученый. — 2018. — № 37 (223). — С. 8-11. — URL: https://moluch.ru/archive/223/52637/ (дата обращения: 02.05.2020).
7. Вахитов, Александр Робертович. Увеличение скорости обработки данных за
счет использования OLAP-технологии [Электронный ресурс] / А. Р. Вахитов // Технологии Microsoft в теории и практике программирования сборник трудов IX Всероссийской научно - практической конференции студентов, аспирантов и молодых ученых, 21-22 марта 2012 г., г.Томск: [Электронный ресурс ] / Национальный исследовательский Томский
политехнический университет (ТПУ), Институт кибернетики ; отв. ред. А. Р. Вахитов . — Томск : Изд-во ТПУ , 2012 . — [C. 193-196]
8. Виртуальные системы хранения данных - Virtual storage system [Электронный ресурс] / П. К. Базырин // Информационные технологии в науке, управлении, социальной сфере и медицине сборник научных трудов Международной конференции с международным участием , 29 апреля - 2 мая 2014 г., Томск: в 2 ч.: / Национальный исследовательский Томский политехнический университет (ТПУ) . — 2014 . — Ч. 1 . — [C. 60-62]
9. Волоха А.В Microsoft SQL Server 2016. Новые возможности. - Спб:Питер, 2006г.
10. Гуляева, В. В.. История создания OLAP-технологии [Электронный ресурс] / В. В. Гуляева; науч. рук. Е. А. Ляхова // Прогрессивные технологии и экономика в машиностроении сборник трудов IV Всероссийской научно-практической конференции с элементами научной школы для студентов и учащейся молодежи, 4-6 апреля 2013 года, Юрга: / Национальный исследовательский Томский политехнический университет (ТПУ), Юргинский технологический институт (ЮТИ) ; отв. за вып. Д. А. Чинахов . — Томск : Изд-во ТПУ , 2013 . — [С. 227-229]
11. Дадян Э. Данные: хранение и обработка : Учебник / Финансовый университет при Правительстве Российской Федерации. - Москва : ООО "Научно-издательский центр ИНФРА-М", 2019. - 236 с. URL: http://new.znanium.com/go.php7idM010634
12. Дадян Э. Г. Методы, модели, средства хранения и обработки данных : учебник : [для бакалавров и магистрантов всех специальностей, аспирантов] / Э. Г. Дадян, Ю. А. Зеленков ; Финансовый ун-т при Правит. Рос. Фед. - Москва : Вузовский учебник [и др.], 2017. - 167, [1] с.: рис., табл. - ( Вузовский учебник ) - ( Электронно-библиотечная система "Znanium.com" )
13. Дадян Э. Проектирование современных баз данных : Учебно-методическое
пособие / Финансовый университет при Правительстве Российской Федерации. - Москва : ООО "Научно-издательский центр ИНФРА-М", 2017. - 120 с. URL:
http://new.znanium.com/go.php?id=959294
14. Дадян Э. Современные базы данных. Основы. Часть 1 : Учебное пособие /
Финансовый университет при Правительстве Российской Федерации. - Москва : ООО "Научно-издательский центр ИНФРА-М", 2017. - 88 с. URL:
http://new.znanium.com/go.php?id=959289
15. Домрачева А.А., Сайбель Н.Ю. Business Intelligence в экономике [Текст] // Научно-методический электронный журнал Концепт. - 2017. - № 2. - С. 41-46.
..50