Текущий уровень развития технологий и методов машинного обучения позволяет использовать его для широкого диапазона задач. В наши дни одним из важнейших аспектов применения машинного обучения является построение рекомендательных систем. В силу постоянного растущего объёма информации в сети Интернет, качественное программное обеспечение для поиска и рекомендаций конкретных объектов становится критически важным для многих IT-продуктов и решений, таких как сервисы электронной коммерции, стриминговые платформы, масс-медиа и т.д.
Одним из ключевых направлений развития машинного обучения является глубокое обучение, на данный момент эффективно использующее физические возможности вычислительных устройств для обучения технологичных нейронных сетей, способных выражать сложные семантические зависимости. Использование методов глубокого обучения показало эффективность подхода в разных задачах, в том числе и в сфере рекомендательных систем [1].
Построение рекомендательных систем для задач в индустрии моды влечет специфические сложности, возникающие из гетерогенной природы данных, высокой важности персонализации, значимости различных визуальных свойств, подверженности изменениям пользовательских предпочтений [2]. Хотя в наши дни магазины одежды предлагают покупателям миллионы вариантов, многие люди сталкиваются со сложностями подбора одежды. Одной из проблем может быть желание потребителей искать полноценные образы, так называемые луки (с англ. look - образ), а не отдельные предметы. Важно оценить, как конкретный предмет может сочетаться с другими, ведь многие покупатели планируют использовать приобретение в разных ситуациях. Кроме того, магазины зачастую предоставляют пользователям возможность поиска по базовым свойствам товаров, таким как цвет, категория, пол; при том что платформ, где пользователь может совершить покупки может быть несколько десятков. Таким образом, тема исследования по развитию и разработке новых рекомендательных в сфере моды систем сейчас является высокоактуальной.
Работа над исследованием проходила в рамках стартапа LookVerse. Идея проекта заключается в разработке сервиса, создающего новый пользовательский сценарий поиска одежды. Пользователь может искать образы по тестовому запросу, отмечая понравившиеся, позволяя системе лучше определять его предпочтения. Помимо этого, покупатель может найти товары из различных магазинов, максимально соответствующие тем, что представлены на подошедшем луке. Также добавлена функция ways to wear, отображающая сочетания одежды с конкретным товаром в разных образах.
Создание такого сервиса предлагает покупателям новый способ шоппинга, призванный сделать этот процесс комфортнее и эффективнее по времени. В то же время, такой проект ставит серьёзные задачи для исследования и разработки, ведь в силу высокой коммерческой конкуренции, в домене электронной коммерции, особенно в сфере моды, существует мало готовых открытых решений, моделей машинного обучения и датасетов. В ходе работы были изучены современные подходы к задаче создания рекомендательных систем, построен сервис, работающий с визуальными данными, по рекомендациям для приложения. Результатами являются разработка и внедрение кодовой базы рекомендательного сервиса; обучение моделей представления для изображений предметов одежды и образов, показывающих результаты лучшие, чем открытые решения, на задачах поиска; создание ранжирующей системы, показавшей значительные улучшения продуктовых показателей. Исследовательская часть работы выложена в открытый доступ [3].
В рамках квалификационной работы были рассмотрены современные подходы к созданию рекомендательных систем. Целями являлись построение эффективной инфраструктуры, обучение качественных моделей для векторных представлений изображений в сфере моды, построение рекомендательного сервиса.
Были изучены сравнительные исследования по качеству реализаций подсервисов, необходимых для приложения. Инфраструктура системы была спроектирована, реализована и внедрена с учетом необходимости быстродействия, сохраняя потенциальное качество рекомендаций.
Для решения задач отбора кандидатов и ранжирования были обучены модели глубокого обучения для создания представлений. Был проведен анализ эффективных методов обучения таких моделей, отобраны и предобрабо- таны датасеты для решения задачи. Обученные модели показали результаты лучшие, чем выдавались базовым доступным решением. Таким образом, используя имеющиеся данные и алгоритмы, были созданы свои качественные модели представлений для домена моды.
Изучение технологий ранжирования позволило отобрать потенциальные механизмы для построения такой системы. Были продуманы механизмы обеспечения разнообразия рекомендаций. Качество моделей было оценено с помощью оффлайн-тестов, показавших высокие результаты и отразившие качество обученных представлений. Улучшения рекомендательной системы были внедрены в приложение и оценены на продуктовых метриках, показав значительный и значимый прирост качества.
Таким образом, в ходе исследования были выполнены поставленные задачи. Разработанный автором исследования код для предобработки внешних датасетов, обучения и валидации моделей семантических представлений и ранжирования, а также частично измененные дынные для валидации ранжирующих моделей находятся в открытом доступе [3].
[1] Malay Haldar, Mustafa Abdool, Prashant Ramanathan, Tao Xu, Shulin Yang, Huizhong Duan, Qing Zhang, Nick Barrow-Williams, Bradley C. Turnbull, Brendan M. Collins, and Thomas Legrand. Applying deep learning to airbnb search. In Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery; Data Mining, KDD ’19. ACM, July 2019.
[2] Francesco Ricci, Lior Rokach, Bracha Shapira, and Paul B. Kantor. Recommender Systems Handbook. Springer-Verlag, Berlin, Heidelberg, 1st edition, 2010.
[3] Repository of the study. https://github.com/vanyavasilyev/thesis- recsys.
[4] Paul Covington, Jay Adams, and Emre Sargin. Deep neural networks for youtube recommendations. In Shilad Sen, Werner Geyer, Jill Freyne, and Pablo Castells, editors, RecSys, pages 191-198. ACM, 2016.
[5] Chantat Eksombatchai, Pranav Jindal, Jerry Zitao Liu, Yuchen Liu, Rahul Sharma, Charles Sugnet, Mark Ulrich, and Jure Leskovec. Pixie: A system for recommending 3+ billion items to 200+ million users in real-time, 2017.
[6] Fedor Borisyuk, Krishnaram Kenthapadi, David Stein, and Bo Zhao. Casmos: A framework for learning candidate selection models over structured queries and documents. pages 441-450, 08 2016.
[7] Matthijs Douze, Alexandr Guzhva, Chengqi Deng, Jeff Johnson, Gergely Szilvasy, Pierre-Emmanuel Mazare, Maria Lomeli, Lucas Hosseini, and Herve Jegou. The faiss library, 2024.
[8] Spyros Zoupanos, Stratis Kolovos, Athanasios Kanavos, Orestis Papadimitriou, and Manolis Maragoudakis. Efficient comparison of sentence embeddings, 2022.
[9] Jeff Johnson, Matthijs Douze, and Herve Jegou. Billion-scale similarity search with GPUs. IEEE Transactions on Big Data, 7(3):535-547, 2019.
[10] NVIDIA Corporation. Triton inference server. https://github.com/ triton-inference-server/server, 2023.
[11] Renata Klimiato. Utilizing deep learning models for image analysis at scale: comparison of deployment solutions. PhD thesis, Kauno technologies universitetas, 2022.
[12] Paul Baltescu, Haoyu Chen, Nikil Pancha, Andrew Zhai, Jure Leskovec, and Charles Rosenberg. Itemsage: Learning product embeddings for shopping recommendations at pinterest, 2022.
[13] Patrick John Chia, Giuseppe Attanasio, Federico Bianchi, Silvia Terragni, Ana Rita Magalhaes, Diogo Goncalves, Ciro Greco, and Jacopo Tagliabue. Contrastive language and vision learning of general fashion concepts. Scientific Reports, 12(1):18958, Nov 2022.
[14] Elad Hoffer and Nir Ailon. Deep metric learning using triplet network, 2018.
[15] Alexander Golubev. Vector representation of products prod2vec: How to get rid of a lot of embeddings, 2022.
[16] Omkar Parkhi, Andrea Vedaldi, and Andrew Zisserman. Deep face recognition. volume 1, pages 41.1-41.12, 01 2015.
[17] Jiankang Deng, Jia Guo, Jing Yang, Niannan Xue, Irene Kotsia, and Stefanos Zafeiriou. Arcface: Additive angular margin loss for deep face recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 44(10):5962-5979, October 2022.
[18] Menglin Jia, Mengyun Shi, Mikhail Sirotenko, Yin Cui, Claire Cardie, Bharath Hariharan, Hartwig Adam, and Serge Belongie. Fashionpedia: Ontology, segmentation, and an attribute localization dataset, 2020.
[19] Yuying Ge, Ruimao Zhang, Lingyun Wu, Xiaogang Wang, Xiaoou Tang, and Ping Luo. A versatile benchmark for detection, pose estimation, segmentation and re-identification of clothing images. CVPR, 2019.
[20] Fashion-product dataset. https://www.kaggle.com/datasets/
paramaggarwal/fashion-product-images-dataset/data.
... Всего источников – 32.