📄Работа №165199
Тема: Модернизация системы мониторинга для платформы управления данными в Яндекс Такси
Тип работы
Бакалаврская работа
Предмет
информационные системы
Объем:
34 листов
Год:
2024
Просмотров:
107
4750
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 4
1. Постановка задачи 6
2. Обзор 7
2.1. ETL-процессы 7
2.2. Платформа управления данными 8
2.3. Мониторинг 10
2.4. DMP UI 12
3. Сбор требований 14
3.1. О сборе требований 14
3.2. Пользовательские истории 15
4. Проектирование системы 17
4.1. Технологии 17
4.2. Концепция решения 17
5. Реализация 19
5.1. Обзор решений по кластеризации ошибок 19
5.2. Реализация кластеризации 22
5.3. Методы API 24
6. Тестирование 26
7. Развертывание 27
8. Апробация 28
Заключение 30
Список литературы 31
Приложение А: интерфейс решения 34
1. Постановка задачи 6
2. Обзор 7
2.1. ETL-процессы 7
2.2. Платформа управления данными 8
2.3. Мониторинг 10
2.4. DMP UI 12
3. Сбор требований 14
3.1. О сборе требований 14
3.2. Пользовательские истории 15
4. Проектирование системы 17
4.1. Технологии 17
4.2. Концепция решения 17
5. Реализация 19
5.1. Обзор решений по кластеризации ошибок 19
5.2. Реализация кластеризации 22
5.3. Методы API 24
6. Тестирование 26
7. Развертывание 27
8. Апробация 28
Заключение 30
Список литературы 31
Приложение А: интерфейс решения 34
📖 Введение
В современном мире, каждый человек постоянно производит огромное количество информации, которая накапливается в облачных хранилищах социальных сетей, на серверах мобильных операторов или банков. Используя эту информацию компании научились рекомендовать
нам наиболее подходящую рекламу, музыку в дорогу или просто фильмы на вечер, то есть бизнес все больше и больше пытается принимать
решения основываясь на данных, собираемых ими или даже покупаемыми у других организаций.
В таком мире очень важным становится умение эффективно управлять данными, так как в случае успеха это дает огромное конкурентное
преимущество перед другими компаниями, не имеющих отлаженных
процессов для работы с информацией.
Однако управление информацией – это комплексный процесс, согласно [7] он включает в себя извлечение, хранение, контроль и повышение ценности информационных активов. Конечной целью управления
данными является именно извлечение полезной бизнесу информации из
них, ведь до этого момента данные не несут в себе никакой ценности
сами по себе.
Платформа управления данными (англ. Data Managment Platform,
DMP) – как раз и является инструментом, главная задача которого повысить эффективность управления данными внутри компании. Управление данными включает в себя целый ряд различных процессов, начинающихся с их сбора и обработки и заканчивающихся хранением и
обеспечением доступности.
Так как стоимость данных велика, а задержки в их поставках
могут принести существенные убытки компании, то платформа управлениями данными должна предоставлять различные инструменты мониторинга процессов работы с данными, для того чтобы человек мог
оперативно реагировать на все отклонения от нормы и быстро исправлять возникающие ошибки.
По мере роста количества пользователей и процессов работы с
4данными, существующая на данный момент система мониторинга начала устаревать и уже давно не поддерживается в полной мере. Она
не удобна и обладает лишь базовым набором функциональностей, не
позволяющим на сегодняшний день полностью решать возникающие у
пользователей задачи. Для решения этой проблемы в данной работе
будет произведен обзор существующей архитектуры системы мониторинга платформы управления данными, создаваемой в Яндекс Такси, а
также описаны подходы к повышению эффективности работы с ошибками на всем их жизненном цикле, начинающемся с возникновения и
заканчивающийся их исправлением.
нам наиболее подходящую рекламу, музыку в дорогу или просто фильмы на вечер, то есть бизнес все больше и больше пытается принимать
решения основываясь на данных, собираемых ими или даже покупаемыми у других организаций.
В таком мире очень важным становится умение эффективно управлять данными, так как в случае успеха это дает огромное конкурентное
преимущество перед другими компаниями, не имеющих отлаженных
процессов для работы с информацией.
Однако управление информацией – это комплексный процесс, согласно [7] он включает в себя извлечение, хранение, контроль и повышение ценности информационных активов. Конечной целью управления
данными является именно извлечение полезной бизнесу информации из
них, ведь до этого момента данные не несут в себе никакой ценности
сами по себе.
Платформа управления данными (англ. Data Managment Platform,
DMP) – как раз и является инструментом, главная задача которого повысить эффективность управления данными внутри компании. Управление данными включает в себя целый ряд различных процессов, начинающихся с их сбора и обработки и заканчивающихся хранением и
обеспечением доступности.
Так как стоимость данных велика, а задержки в их поставках
могут принести существенные убытки компании, то платформа управлениями данными должна предоставлять различные инструменты мониторинга процессов работы с данными, для того чтобы человек мог
оперативно реагировать на все отклонения от нормы и быстро исправлять возникающие ошибки.
По мере роста количества пользователей и процессов работы с
4данными, существующая на данный момент система мониторинга начала устаревать и уже давно не поддерживается в полной мере. Она
не удобна и обладает лишь базовым набором функциональностей, не
позволяющим на сегодняшний день полностью решать возникающие у
пользователей задачи. Для решения этой проблемы в данной работе
будет произведен обзор существующей архитектуры системы мониторинга платформы управления данными, создаваемой в Яндекс Такси, а
также описаны подходы к повышению эффективности работы с ошибками на всем их жизненном цикле, начинающемся с возникновения и
заканчивающийся их исправлением.
✅ Заключение
Целью данной работы являлась модернизация системы мониторинга
ошибок в различных процессах внутри платформы управления данными в Яндекс Такси путем доработки существующего процесса сбора ошибок и разработки новой системы мониторинга вместо текущего
устаревшего решения. В результате проделанной работы были успешно
решены следующие задачи:
1. Произведен обзор текущей реализации процесса сбора и отправки
ошибок в платформе.
2. Определены требования к новой системе мониторинга, путем опроса пользователей и других заинтересованных лиц.
3. Спроектировано и реализовано решение, на основе собранных требований к системе.
4. Произведено тестирование, разворачивание реализованного решения и апробация полученного результата.
Благодаря реализованному решению, пользователи получили возможность в удобном формате отслеживать состояние своих процессов поставки данных, а также самостоятельно решать возникающие в них
проблемы. Это значительно повысило эффективность работы с инцидентами со стороны пользователей, а также снизило затраты разработчиков платформы на поддержку.
Веб-интерфейс реализованного решения можно увидеть в Приложении А.
Весь код проекта находится под соглашением о неразглашении,
поэтому не может быть представлен читателю.
ошибок в различных процессах внутри платформы управления данными в Яндекс Такси путем доработки существующего процесса сбора ошибок и разработки новой системы мониторинга вместо текущего
устаревшего решения. В результате проделанной работы были успешно
решены следующие задачи:
1. Произведен обзор текущей реализации процесса сбора и отправки
ошибок в платформе.
2. Определены требования к новой системе мониторинга, путем опроса пользователей и других заинтересованных лиц.
3. Спроектировано и реализовано решение, на основе собранных требований к системе.
4. Произведено тестирование, разворачивание реализованного решения и апробация полученного результата.
Благодаря реализованному решению, пользователи получили возможность в удобном формате отслеживать состояние своих процессов поставки данных, а также самостоятельно решать возникающие в них
проблемы. Это значительно повысило эффективность работы с инцидентами со стороны пользователей, а также снизило затраты разработчиков платформы на поддержку.
Веб-интерфейс реализованного решения можно увидеть в Приложении А.
Весь код проекта находится под соглашением о неразглашении,
поэтому не может быть представлен читателю.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.