I Введение 4
II О графе знаний об организациях 5
III Обогащение сущностей атрибутами 8
IV ML-эволюция 13
V Графовые эмбеддинги 20
VI Заключение 25
Список литературы 26
Яндекс - большая компания, состоящая из множества сервисов. Каждый из этих сервисов имеет своих клиентов, про которых каждый отдельно взятый сервис собирает необходимую ему информацию. К сожалению, эта информация может быть разрозненной и не полной, что затрудняет клиентскую аналитику. Для решения этой проблемы компании все чаще начинают придерживаться концепции Client360, которая предполагает создание полной сводной картины клиента на основе данных из разных источников, чтобы лучше понимать его потребности и поведение и предоставлять наиболее эффективные услуги. Суть концепции заключается в том, что компания составляет единую базу знаний о клиенте, объединяя всю доступную ей информацию и тем самым получает всесторонний взгляд на клиента. На основе анализа полученных данных компания может предоставлять наиболее персонализированные услуги и качественную поддержку клиентов и получает уникальную возможность улучшить свою бизнес-стратегию и принимать более обоснованные решения. Например, компания может использовать данные о клиенте для определения наиболее эффективных каналов продаж, привлечения клиентов, задач антифрода и прочих.
Мы решили не отставать от передовых концепций и собрать всю доступную нам информацию о бизнесах в граф знаний. Однако, оказалось, что для российских бизнесов также верна теория о шести рукопожатиях - даже после применения различных раскластеризующих графовых алгоритмов, мы получаем компоненты связности размера 30 тысяч вершин, с которыми мы не можем работать как с отдельными сущностями - бизнесами или клиентами. Таким образом перед нами встает задача распознавания сущностей, целью которой является установление связей между бизнесом и его характеристиками, полученными из разных источников, чтобы получить единое представление об организации.
В данной работе мы решали несколько задач, связанных с обработкой большого графа знаний об организациях.
В первой задаче мы разработали подход к обогащению сущностей атрибутами и связыванию информации о бизнесах из разных источников между собой. Наши компоненты могут насчитывать до 30 тыс. вершин и содержат в себе множество бизнес-сущностей, а связи, образованные путями длины больше 8, являются нерелевантными в 97% случаев, поэтому мы ограничиваем окрестность целевой вершины N шагами. Чем меньше N, тем точнее атрибуты, но меньше их количество. Нами предложен подход, при котором компоненты связности графа обрабатываются независимо на разных узлах кластера, а при большом числе интересующих нас для обогащения вершин, они разбивается на части для параллельной обработки. Разработана библиотека для широкого круга пользователей.
Во второй задаче мы решали проблему привязывания новых клиентов к контрагентам с целью автоматизации рутинной работы менеджеров и повышения эффективности бизнес-процессов. Для этого нам было необходимо научиться автоматически подтверждать или отвергать гипотезы о связи этих сущностей, сформированные методом, реализованным в ходе решения первой задачи. Мы поставили задачу бинарной классификации, процесс формирования признаков и обучающего датасета, а затем провели сравнительный анализ различных моделей бинарной классификации и оценили качество выбранной модели.
В третьей задаче перед нами стояла проблема выделения нетривиальных под-кластеров внутри компонент связности графа. Для этого мы использовали метод вложения графов в многомерное векторное пространство, построив эмбеддинги. Затем мы провели кластеризацию с помощью алгоритма DBSCAN и научились выявлять сложные сообщества организаций в графе знаний. Все решения были протестированы на реальных данных и показали высокую эффективность. Наш подход может быть использован для решения различных задач в области обработки графов знаний и анализа бизнес-процессов. Он может быть расширен и улучшен с помощью использования более продвинутых методов машинного обучения и анализа данных. Кроме того, наш подход к обработке графа знаний может быть применен и в других областях, где есть необходимость в обработке больших объемов данных и выявлении скрытых закономерностей.
