В современном мире, каждый человек постоянно производит огромное количество информации, которая накапливается в облачных хранилищах социальных сетей, на серверах мобильных операторов или банков. Используя эту информацию компании научились рекомендовать
нам наиболее подходящую рекламу, музыку в дорогу или просто фильмы на вечер, то есть бизнес все больше и больше пытается принимать
решения основываясь на данных, собираемых ими или даже покупаемыми у других организаций.
В таком мире очень важным становится умение эффективно управлять данными, так как в случае успеха это дает огромное конкурентное
преимущество перед другими компаниями, не имеющих отлаженных
процессов для работы с информацией.
Однако управление информацией – это комплексный процесс, согласно [7] он включает в себя извлечение, хранение, контроль и повышение ценности информационных активов. Конечной целью управления
данными является именно извлечение полезной бизнесу информации из
них, ведь до этого момента данные не несут в себе никакой ценности
сами по себе.
Платформа управления данными (англ. Data Managment Platform,
DMP) – как раз и является инструментом, главная задача которого повысить эффективность управления данными внутри компании. Управление данными включает в себя целый ряд различных процессов, начинающихся с их сбора и обработки и заканчивающихся хранением и
обеспечением доступности.
Так как стоимость данных велика, а задержки в их поставках
могут принести существенные убытки компании, то платформа управлениями данными должна предоставлять различные инструменты мониторинга процессов работы с данными, для того чтобы человек мог
оперативно реагировать на все отклонения от нормы и быстро исправлять возникающие ошибки.
По мере роста количества пользователей и процессов работы с
4данными, существующая на данный момент система мониторинга начала устаревать и уже давно не поддерживается в полной мере. Она
не удобна и обладает лишь базовым набором функциональностей, не
позволяющим на сегодняшний день полностью решать возникающие у
пользователей задачи. Для решения этой проблемы в данной работе
будет произведен обзор существующей архитектуры системы мониторинга платформы управления данными, создаваемой в Яндекс Такси, а
также описаны подходы к повышению эффективности работы с ошибками на всем их жизненном цикле, начинающемся с возникновения и
заканчивающийся их исправлением.
Целью данной работы являлась модернизация системы мониторинга
ошибок в различных процессах внутри платформы управления данными в Яндекс Такси путем доработки существующего процесса сбора ошибок и разработки новой системы мониторинга вместо текущего
устаревшего решения. В результате проделанной работы были успешно
решены следующие задачи:
1. Произведен обзор текущей реализации процесса сбора и отправки
ошибок в платформе.
2. Определены требования к новой системе мониторинга, путем опроса пользователей и других заинтересованных лиц.
3. Спроектировано и реализовано решение, на основе собранных требований к системе.
4. Произведено тестирование, разворачивание реализованного решения и апробация полученного результата.
Благодаря реализованному решению, пользователи получили возможность в удобном формате отслеживать состояние своих процессов поставки данных, а также самостоятельно решать возникающие в них
проблемы. Это значительно повысило эффективность работы с инцидентами со стороны пользователей, а также снизило затраты разработчиков платформы на поддержку.
Веб-интерфейс реализованного решения можно увидеть в Приложении А.
Весь код проекта находится под соглашением о неразглашении,
поэтому не может быть представлен читателю.
