1. Постановка задачи 4
2. Введение 5
3. Обзор 7
4. Сбор данных и построение модели 9
4.1. Сбор данных
4.2. Обработка данных и выделение признаков . . . . . . . . 10
4.3. XGBoost и базовые модели
4.4. Модель
5. Результаты 16
5.1. Исследовательские вопросы
5.2. Метрики
5.3. Результаты
6. Применение того, что сделано на практике 21
7. Заключение 22
Список литературы
Рынок недвижимости является базовым элементом экономики любой страны [1]. В России инвестиции в недвижимость считаются надежными вложениями последние годы [2]. Количество сделок купли-продаж объектов жилой недвижимости в 2017 году составило 4 миллиона. При этом в статье [3] объясняется, что в большинстве случаев покупка про-изводится не для улучшения жилищной ситуации, а в качестве инвестиции. Как и в других областях это порождает задачу точной оценки жилья, что является сложной, не линейной задачей. Решением этой задачи традиционно занимаются риелторы и оценщики недвижимости. Однако их оценки могут сильно разниться и достигать погрешности вплоть до 13%. Развитие машинного обучения показывает, что в большинстве случаев алгоритм решает эту задачу лучше человека при должном количестве входных данных. Поэтому сейчас особую нишу занимают агрегаторы объектов недвижимости, т.к. они предоставляют оценку онлайн по параметрам и часто гарантируют более высокую точность. Например, американский сайт Zillow гарантирует медианную ошибку в 2% и считается лидером в вопросе оценивания. В российском сегменте тоже есть свои игроки, но они пока не добились таких результатов. Сайт Циан дает коридор оценки в 10%. Важность точности оценки прежде всего заключается в том, что продавец может получить полезную корректировку и быстрее продать свой объект, а покупатель может понять, насколько хорошее предложение перед ним. Также оценка является крайне важна для банков, которые выдают кредиты на покупку жилья. Исследование, которое проводил Сбербанк было построено на кредитных заявках. Тема оценки объектов недвижимости актуальна не только для агентов, покупателей и продавцов, а также и для информационных ресурсов, различных агрегаторов, потому что они соревнуются в точности своих предсказаний. Отсюда формируется цель собрать и обработать дополнительные признаки, который описывают объект, для уточнения текущих решений. В данной работе внимание было сосредоточено на точности цены в объявлении, для этого нужно было получить и использовать, как можно больше информации из объявлений. Об этом подробнее рассказано в главе 4.1
Задача предсказания цены представляет собой задачу регрессии. Некоторые методы и алгоритмы решения задачи регрессии рассмотрены в главе 4.3. Изучив работы, приведенные в главе 3 было установлено, что для решения этой задачи эффективнее всего будет использование алгоритмов, построенных на ансамблях деревьев.
Был написан парсер на языке python использующий принципы Web scrapping описанные в [12] для сбора данных с популярных агрегаторов объявлений;
Из собранных данных был получен датасет числовых признаковых, которые описывают каждый объект. Для перевода тектовых описаний и выделения из них числовых признаков был применен TF-IDF метод [16][17];
Была спроектирована архитектура ансамблевой модели, в основе которой лежит алгоритм градиентного бустинга в реализации XGBoost[24]. Архитектура построенной модели приведена на Рис. 4;
Для оценки модели были выбраны MAPE и RMSLE метрики. Также была посчитана MdAPE для сравнения с популярными на рынке решениями. Результаты получилось, уточнить используя текстовые данные;
Алгоритмы градиентного бустинга показали самые точные предсказания среди рассмотренных методов на числовых данных. В будущем возможно добавление дополнительных признаков для построения моде-ли. Из неиспользуемой информации есть фотографии, по которым тоже можно построить модель классификации или регрессии и добавить в конечный ансамбль. Также было создано консольное приложения с реализацией алгоритма. [30]
