Тема: Обучение распределенных представлений слов на основе символов

В 2013 году Томашем Миколовым была представлена статья “Efficient Estimation of Word Representations in Vector Space” [1] в которой были описаны две модели для обучения так называемых распределённых пред­ставлений слов: continuous bag-of-words и continuous skip-gram, программ­ная реализация которых широко известна как word2vec. Распределённое представление слова — это вектор из Rn (при n значимо меньшем, чем размер словаря обучающей выборки). Основная идея распределённых пред­ставлений заключается в том, что семантически близкие слова будут иметь схожие представления.
После публикации этой статьи word2vec стал крайне популярным в задачах автоматической обработки естественного языка и остаётся таким по сей день. Но идея, используемая в статье, не была совершенно новой, ещё в 2003 году в статье “A neural probabilistic language model” [2] была представлена похожая модель, однако она уступала как в качестве обуча­емых представлений, так и в плане вычислительной эффективности. Так же стоит отметить модели тематического моделирования, например, latent dirichlet allocation [3], главной отличительной чертой которых являлось то, что при обучении в качестве контекста для слова эти модели используют весь документ целиком, а не только небольшое число ближайших соседей.
Большинство популярных методов для обучения представлений слов рассматривают слова атомарно, то есть никак не учитывают информацию ни о символах, образующих слово, ни о морфологии. Например, два сло­ва, различающиеся только окончаниями, будут восприняты моделью как разные слова. Такой подход эффективен с вычислительной точки зрения. Однако в случае с морфологически богатыми языками (к которым, напри­мер, относятся многие славянские и романские языки) могут появляться трудности: некоторые формы слов могут ни разу не встретиться даже в очень большой обучающей выборке. Ещё одной, но уже меньшей пробле­мой такого подхода является неустойчивость к опечаткам.
Самым простым способом решения проблемы с морфологией является приведение всех слов к начальной форме. С таким подходом имеется две проблемы: во-первых, потребуется использовать морфологический анализа­тор для нормирования слов, во-вторых, в некоторых задачах приведение к начальной форме недопустимо.
Другой подход, набирающий популярность в последние годы — нейрон­ные сети, принимающие в качестве входа слова как последовательность букв. Недостатком такого подхода является необходимость в большем раз­мере обучающей выборки (как правило, размеченной), а так же в больших вычислительных ресурсах.
Отдельно стоит отметить char2vec [4], являющийся обобщением word2vec и тесно связанный с моделями, предложенными в этой работе, но так же имеющий недостатки, описанные в параграфе выше.
Купить

В этой работе был представлен ряд моделей, позволяющих восстанавли­вать распределённые представления слов из их посимвольного представле­ния. Была проведена их оценка и сравнение, а так же продемонстрировано успешное применение на прикладной задаче.
Планируется продолжить работу над этим проектом, а именно исследо­вать интерпретируемость прогнозов модели и протестировать её на других морфологически богатых языках.
Купить