АННОТАЦИЯ 3
Перечень условных обозначений, символов, сокращений, терминов 3
ВВЕДЕНИЕ 5
1 Анализ задачи извлечения требуемых навыков из текстового описания
вакансии 7
1.1 Формальная постановка задачи 8
1.2 Состав данных 8
2 Подходы, основанные на машинном обучении 10
2.1 Подходы в рамках маркировки последовательности 11
2.2 Подходы в рамках multi-label классификации 13
3 Реализация 15
3.1 Предобработка данных 15
3.2 Используемые инструменты 15
3.3 Разделение на обучающую и тестовую выборки 15
3.4 Метрики и оценка точности 16
3.5 Анализ и классификация эмбеддингов n-грамм навыков и не
навыков, построенных при помощи трансформеров 18
3.6 Распознавание навыков при помощи ChatGPT 25
3.7 Распознавание именованных сущностей (навыков) при помощи
трансформеров 29
3.8 Выделение навыков с использованием encoder-decoder моделей и
решением задачи text-to-text (модель T5) 32
4 Интерфейс системы и ее контейнеризация 36
ЗАКЛЮЧЕНИЕ 39
ЛИТЕРАТУРА 40
В современном мире наличие определенных навыков является важнейшим параметром при отборе кандидатов на некоторую должность. Некоторые навыки являются достаточно редкими, некоторые более распространенными. К тому же, некоторые навыки более востребованы в отличии от других. Распространенность и востребованность - 2 основных параметра стоимости того или иного навыка. Для анализа рынка труда необходимо автоматически выделять навыки из описаний вакансий, поскольку самих вакансий очень большое количество и количество навыков также постоянно растет.
Чаще всего работодатель, указывая ключевые навыки в специальном разделе вакансии указывает неполный список, что приводит к недостоверности результатов анализа рынка труда. Для предотвращения ошибок при анализе рынка следует опираться не только на ключевые навыки, указанные в разделе вакансии, но и на навыки, которые находятся в описании вакансии.
Результатом выполнения задачи по распознаванию навыков в описаниях вакансий будет список профессиональных навыков, которые были упомянуты в описании этой вакансии.
Для английского языка существуют как датасеты, в которых уже были размечены навыки в описаниях вакансий, так и обученные на таких данных модели. Однако для русского языка нет ни подобных датасетов, ни, как следствие, обученных моделей.
Для того, чтобы не опираться на специальный раздел ключевых навыков в вакансиях, было принято решение разметить небольшое количество вакансий различных профессий (приблизительно 1000). Вакансии были получены с сайта hh.ru.
Задачи работы:
1) Провести обзор и анализ существующих методов и подходов к распознаванию требуемых навыков в тексте вакансий
2) Провести обзор существующих алгоритмов машинного обучения, включая нейронные сети, для решения задачи распознавания навыков в тексте вакансий.
3) Провести исследование применяемых метрик, таких как F1-strict, F1-loose и их подходящих вариаций для данной задачи
4) Сформировать требования к разрабатываемой системе
5) Провести анализ размеченных данных, содержащих описания вакансий, а также размеченные навыки
6) Предобработать набор данных, содержащий описания вакансий, а также размеченные навыки
7) Провести интеграцию модели GPT для универсальной обработки текстов и выделения ключевых навыков
8) Провести исследование границ применимости Named Entity Recognition
9) Создать baseline модели глубокого обучения
10) Определить наиболее подходящую модель и произвести ее дообучение
11) Разработать интерфейс
12) Провести тесты системы
Для достижения целей работы были реализованы 3 из 4 описанных ранее подходов. Выделение навыков с использованием encoder-decoder моделей и решением задачи text-to-text (модель T5) был реализован предыдущим выпускником до передачи данной задачи нынешнему исполнителю (мне) и описывается в данной работе с целью демонстрации недостатков и преимуществ данного подхода.
Лучшим подходом можно назвать подход с распознаванием именованных сущностей (навыков) при помощи трансформеров, так как одновременно с более простой архитектурой, удалось получить наилучшее значение метрик по сравнению с другими подходами.
Данный подход решает проблемы, которые возникают при работе с подходом “выделение навыков с использованием encoder-decoder моделей и решением задачи text-to-text (модель T5)”, а именно:
• Навыки: наполнены контекстом, достаточно подробны, к тому же их число значительно увеличилось
• Метрики: существуют оптимальные метрики для проверки качества работы модели, такие как F1-strict, F1-loose
• Качество разметки не зависит от работодателя
