Формальные методы представления композициональности в семантических моделях
|
Введение 3
1 Методы моделирования композиции в семантических формализмах 6
2 Расширения композиционального аппарата 9
2.1 Расширения для унификационных формализмов 9
2.2 Расширения для систем с теоретико-типовым контролем композиции 11
Заключение 15
Приложение А. Основные определения 16
A.1 Типизированные структуры признаков 16
A.2 Гибридная логика 17
A.3 Зависимое произведение (П-тип) 18
A.4 Векторное расслоение 19
Список литературы
1 Методы моделирования композиции в семантических формализмах 6
2 Расширения композиционального аппарата 9
2.1 Расширения для унификационных формализмов 9
2.2 Расширения для систем с теоретико-типовым контролем композиции 11
Заключение 15
Приложение А. Основные определения 16
A.1 Типизированные структуры признаков 16
A.2 Гибридная логика 17
A.3 Зависимое произведение (П-тип) 18
A.4 Векторное расслоение 19
Список литературы
Данная работа посвящена поиску путей совмещения формальных (символьных, композиционных) подходов в лексической семантике и семантике предложения [Carpenter,1992; Montague,1975;Pustejovsky,1991; Ranta, 1994]и дистрибутивных (квантитативных, векторных, некомпозиционных) подходов в лексической семантике [Landauer, Dumais,1997; Lenci,2008]. Оба эти направления имеют длительную историю развития и занимают заметное положение среди различных концепций лингвистической семантики, а в ряде прикладных областей (обработка естественного языка, извлечение знаний, информационный поиск, семантико-синтаксические анализаторы и др.) играют ключевую роль [Blackburn, Bos,2005; Manning, Raghavan, Schutze, 2008]. Методы и теоретические предпосылки этих направлений существенно различны, что делает затруднительным их объединение в рамках единой семантической модели. Тем не менее, потребность в таком объединении неоднократно подчеркивалась [Baroni, Bernardi, Zamparelli,2014; Coecke, Sadrzadeh, Clark, 2010; Mitchell, Lapata, 2010; Widdows, 2008]. В то время как формальная семантика, руководствуясь принципом композициональности [Partee,1984], смогла предложить анализ большого числа нетривиальных лингвистических явлений, охват языкового материала в рамках этого подхода оказывается скромным, так как предполагает осуществление анализа и формализации языковых явлений вручную. Кроме того, в большинстве случаев значения слов трактуются в качестве примитивов. В свою очередь, дистрибутивные модели, строящиеся на основе обработки больших массивов текстов и позволяющие определить понятие семантической близости между отдельными словами, представляются в достаточной мере эмпирически обоснованными, однако при этом значительно менее выразительными. В частности, они оказываются нечувствительны ко многим аспектам лексической семантики (полисемия, фразеология, метафорические и метонимические переносы) и не допускают распространения на уровень предложения. Предположительно, совмещение сильных сторон формальной и дистрибутивной семантики может позволить преодолеть эти ограничения. Задача реализации композициональных дистрибутивных семантических моделей в последние годы приобрела приоритетный характер в рамках прикладной лингвистики.
Практика реализации дистрибутивных (векторных) семантических моделей претерпела за последние несколько лет значительные изменения. В ранних подходах, таких как латентный семантический анализ [Landauer, Dumais,1997], компоненты векторных репрезентаций отдельных слов строились на основе непосредственного подсчета совместной встречаемости в контекстном окне фиксированного размера, возможно, с последующей обработкой полученной разреженной матрицы с целью понижения размерности. Это приводило к построению векторов с большим числом компонентов, каждый из которых тем не менее мог быть про-интерпретирован (либо как встречаемость некоторой словоформы в общих контекстах, либо как коэффициент при «латентном» семантическом признаке). В работе [Mikolov (et al.),2013] была впервые применена техника аппроксимации компонентов векторов средствами машинного обучения, что позволило достигать сопоставимого качества моделей при значительном уменьшении размерности и снижении вычислительных затрат на их построение. При этом отдельные компоненты векторов оказывается невозможным интерпретировать непосредственно.
Проблема реализации композициональных механизмов в рамках дистрибутивной семантики была поставлена в работах [Coecke, Sadrzadeh, Clark,2010; Mitchell, Lapata, 2010; Widdows, 2008]. Среди предлагавшихся методов реализации композиции в дистрибутивных моделях можно назвать методы на основе «смешивания векторов» (vector mixture), т.е. аддитивные и мультипликативные способы композиции [Mitchell, Lapata,2010], методы на основе тензорных операций (тензорного умножения, свертки и т. п.) [Smolensky,1990; Widdows, 2008], линейных отображений [Baroni, Bernardi, Zamparelli,2014; Coecke, Sadrzadeh, Clark, 2010], декомпозиции тензоров [Van de Cruys, Poibeau, Korhonen, 2013], композиции на основе проекций [Tsubaki (et al.), 2013], методы реализации репрезентаций слов в искусственных нейронных сетях с одновременной обработкой композиции [Pennington, Socher, Manning, 2014; Socher (et al.),2013] и другие. Несмотря на множество известных подходов, задача реализации композициональных дистрибутивных моделей ещё далека от окончательного решения. Простые методы композиции на основе сложения и умножения векторов не способны учитывать синтаксическую структуру языковых конструкций, более сложные подходы оказываются крайне неэффективными с вычислительной точки зрения. Этим определяется актуальность рассматриваемой темы.
Обращаясь к данной проблеме, мы выбираем формальный подход. Выбор основан на уверенности в том, что для убедительной реализации композициональных механизмов в семантике следует прежде всего изучить природу композиции. Ключом к пониманию могут служить многочисленные случаи нарушения композициональности в естественном языке, анализ которых должен позволить установить область применимости принципа композициональности в семантических моделях.
Цель данного исследования состоит в разработке методов построения композициональных семантических моделей, совмещающих векторные репрезентации с формальными механизмами композиции. Достижение этой цели требует решения следующих задач. Во-первых, в связи с необходимостью учета языковых явлений, анализ которых в рамках традиционных моделей затруднен, исследуются возможности построения механизмов контроля композиции. В представленных работах мы рассматриваем два возможных пути - на основе унификации с контролем равенства и на основе функционального применения с внешним контролем, осуществляемым с помощью некоторой дедуктивной системы. Во-вторых, требуется предложить
способы повышения выразительности известных в настоящее время композициональных семантических моделей, в т. ч. дистрибутивных. Отталкиваясь от вычислительной характеристики композиции в формальной семантике, основанной на соответствии Карри-Ховарда и позволяющей соотнести процедуры конструирования семантических представлений с некоторым логическим исчислением, предлагаются модификации, способные отразить такие явления, как логическая полисемия и изменение значения под влиянием контекста.
Теоретическая значимость работы связана с тем, что предлагаемые обобщения механизмов композиции позволяют сопоставить квантитативные и формальные методы в лексической семантике и семантике предложения и выявить пути их совмещения в рамках гибридной модели. Практическая значимость определяется тем фактом, что описанные методы позволяют добиться большей выразительности семантических моделей, в том числе основанных на обработке корпусных данных, что ведет к повышению их эмпирической обоснованности. Возможности практического применения рассматриваемых моделей связаны с разработкой систем семантического анализа текстовых фрагментов, играющих ключевую роль при решении таких задач, как голосовое управление оборудованием, обработка больших объемов однотипных запросов при автоматизации контактных центров и служб технической поддержки, оценка семантической близости, логический вывод на основе текста и др.
Основные положения и результаты работы представлены в следующих публикациях:
— Соколов К. В. Формализация локальных свойств в структурах типизированных признаков // Материалы XLIII Международной филологической конференции. Секция прикладной и математической лингвистики. - Филологический факультет СПбГУ - 2014.
— Sokolov K., Timofeev D., Samochadin A. Process Extraction from Texts using Semantic Unification // Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K 2015) - Vol. 3: KMIS - 2015.
— Sokolov K. A Vector Model for Dependent Type Semantics // Proceedings of the First Workshop on Representation Learning for NLP (ACL-2016 Workshop), to appear.
Практика реализации дистрибутивных (векторных) семантических моделей претерпела за последние несколько лет значительные изменения. В ранних подходах, таких как латентный семантический анализ [Landauer, Dumais,1997], компоненты векторных репрезентаций отдельных слов строились на основе непосредственного подсчета совместной встречаемости в контекстном окне фиксированного размера, возможно, с последующей обработкой полученной разреженной матрицы с целью понижения размерности. Это приводило к построению векторов с большим числом компонентов, каждый из которых тем не менее мог быть про-интерпретирован (либо как встречаемость некоторой словоформы в общих контекстах, либо как коэффициент при «латентном» семантическом признаке). В работе [Mikolov (et al.),2013] была впервые применена техника аппроксимации компонентов векторов средствами машинного обучения, что позволило достигать сопоставимого качества моделей при значительном уменьшении размерности и снижении вычислительных затрат на их построение. При этом отдельные компоненты векторов оказывается невозможным интерпретировать непосредственно.
Проблема реализации композициональных механизмов в рамках дистрибутивной семантики была поставлена в работах [Coecke, Sadrzadeh, Clark,2010; Mitchell, Lapata, 2010; Widdows, 2008]. Среди предлагавшихся методов реализации композиции в дистрибутивных моделях можно назвать методы на основе «смешивания векторов» (vector mixture), т.е. аддитивные и мультипликативные способы композиции [Mitchell, Lapata,2010], методы на основе тензорных операций (тензорного умножения, свертки и т. п.) [Smolensky,1990; Widdows, 2008], линейных отображений [Baroni, Bernardi, Zamparelli,2014; Coecke, Sadrzadeh, Clark, 2010], декомпозиции тензоров [Van de Cruys, Poibeau, Korhonen, 2013], композиции на основе проекций [Tsubaki (et al.), 2013], методы реализации репрезентаций слов в искусственных нейронных сетях с одновременной обработкой композиции [Pennington, Socher, Manning, 2014; Socher (et al.),2013] и другие. Несмотря на множество известных подходов, задача реализации композициональных дистрибутивных моделей ещё далека от окончательного решения. Простые методы композиции на основе сложения и умножения векторов не способны учитывать синтаксическую структуру языковых конструкций, более сложные подходы оказываются крайне неэффективными с вычислительной точки зрения. Этим определяется актуальность рассматриваемой темы.
Обращаясь к данной проблеме, мы выбираем формальный подход. Выбор основан на уверенности в том, что для убедительной реализации композициональных механизмов в семантике следует прежде всего изучить природу композиции. Ключом к пониманию могут служить многочисленные случаи нарушения композициональности в естественном языке, анализ которых должен позволить установить область применимости принципа композициональности в семантических моделях.
Цель данного исследования состоит в разработке методов построения композициональных семантических моделей, совмещающих векторные репрезентации с формальными механизмами композиции. Достижение этой цели требует решения следующих задач. Во-первых, в связи с необходимостью учета языковых явлений, анализ которых в рамках традиционных моделей затруднен, исследуются возможности построения механизмов контроля композиции. В представленных работах мы рассматриваем два возможных пути - на основе унификации с контролем равенства и на основе функционального применения с внешним контролем, осуществляемым с помощью некоторой дедуктивной системы. Во-вторых, требуется предложить
способы повышения выразительности известных в настоящее время композициональных семантических моделей, в т. ч. дистрибутивных. Отталкиваясь от вычислительной характеристики композиции в формальной семантике, основанной на соответствии Карри-Ховарда и позволяющей соотнести процедуры конструирования семантических представлений с некоторым логическим исчислением, предлагаются модификации, способные отразить такие явления, как логическая полисемия и изменение значения под влиянием контекста.
Теоретическая значимость работы связана с тем, что предлагаемые обобщения механизмов композиции позволяют сопоставить квантитативные и формальные методы в лексической семантике и семантике предложения и выявить пути их совмещения в рамках гибридной модели. Практическая значимость определяется тем фактом, что описанные методы позволяют добиться большей выразительности семантических моделей, в том числе основанных на обработке корпусных данных, что ведет к повышению их эмпирической обоснованности. Возможности практического применения рассматриваемых моделей связаны с разработкой систем семантического анализа текстовых фрагментов, играющих ключевую роль при решении таких задач, как голосовое управление оборудованием, обработка больших объемов однотипных запросов при автоматизации контактных центров и служб технической поддержки, оценка семантической близости, логический вывод на основе текста и др.
Основные положения и результаты работы представлены в следующих публикациях:
— Соколов К. В. Формализация локальных свойств в структурах типизированных признаков // Материалы XLIII Международной филологической конференции. Секция прикладной и математической лингвистики. - Филологический факультет СПбГУ - 2014.
— Sokolov K., Timofeev D., Samochadin A. Process Extraction from Texts using Semantic Unification // Proceedings of the 7th International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management (IC3K 2015) - Vol. 3: KMIS - 2015.
— Sokolov K. A Vector Model for Dependent Type Semantics // Proceedings of the First Workshop on Representation Learning for NLP (ACL-2016 Workshop), to appear.
В данной работе описан подход к построению композициональных семантических моделей, совмещающих векторные репрезентации с теоретико-типовым механизмом контроля композиции. Предпринятый анализ методов моделирования композиции в формальных семантических моделях позволил определить два возможных пути их расширения. Первый основан на трансляции семантического представления в логическое выражение и оценке его выполнимости в модели. Этот способ позволяет учесть прагматические факторы и был опробован в прикладной задаче голосового управления оборудованием. Он также допускает расширение за счет рассмотрения композиции как непротиворечивого согласования фрагментов семантического описания, ассоциированных с различными контекстами. Второй опирается на метод контроля композиции, реализуемый средствами дедуктивной системы. Для этой цели был использован фрагмент интуиционистской теории типов, включающий зависимое произведение. Использование данного формализма позволило добиться учета таких языковых явлений, как логическая полисемия и контекстная адаптация значений. Ближайшие задачи, связанные с развитием этого подхода, включают строгое формальное обоснование, разработку методов обучения модели и её оценку, в первую очередь в задаче оценки семантической близости.