Тема: Выравнивание русских предложных конструкций и их эквивалентов в агглютинативных языках при создании параллельных корпусов

В дисциплине корпусной лингвистики в последние годы набирают большую популярность параллельные корпусы, которые позволяют прово­дить различные лингвистические исследования на основе многоязычного текстового материала. В публичном доступе имеются многочисленные па­раллельные корпусы, например, в составе Национального корпуса русского языка, Чешского национального корпуса, системы Sketch Engine и др., тем не менее, составление многоязычных параллельных корпусов является бо­лее сложной задачей, чем составление одноязычных корпусов. Кроме типич­ных задач, решаемых при составлении корпусов, таких как сбор текстовых данных, лингвистическая разметка и мета-разметка материала, также встают такие задачи, как выравнивание предложений и выравнивание словосочета­ний, слов или морфем внутри предложений.
Проблема автоматического выравнивания параллельных текстов явля­ется одной из более важных задач современной компьютерной лингвистики, потому что высококачественное выполнение этой задачи является предвари­тельным условием проведении большинства компаративных исследований: для изучения того, как те или иные лингвистические явления передаются раз­ными языками, необходимо определить, какие конструкции в одном языке ка­ким конструкциям другого соответствуют. Соответственно, для большинства многоязычных морфологических и синтаксических исследований, выравни­вание - ахиллесова пята: от качества выравнивания зависит успех последу­ющих шагов. Кроме теоретических задачах, выравнивание играет большую роль и во многих практических задач, например, в статистическом машинном переводе.
Для выравнивания параллельных текстов существует ряд распростра­нённых методов, но эффективность и надёжность этих методов в большой мере зависит от морфо-синтаксического сходства и близости изучаемых язы­ков. Для пар языков из одной и той же семьи языков, как, например, немецкий и голландский, настоящие методы достигают удовлетворительной точности и полноты, но для более далёких друг от друга языков, как русский и венгер­ский, проблема выравнивания параллельных текстов до сих пор не решена.
Целью настоящей работы является создание и выравнивание двуязычного, русско-венгерского параллельного корпуса, на основе которого появляется возможность провести компаративное исследование русских предложно-падежных конструкций и эквивалентных им конструкций в венгерском языке. Для достижения данной цели необходимо решать следующие задачи:
• изучить особенности, способы и проблемы задачи выравнивания па­раллельных текстов;
• изучить морфо-синтаксические особенности русского и венгерского языка с точки зрения задачи выравнивания параллельных текстов;
• создать эффективный метод для выравнивания русских предложно-падежных конструкций и их эквивалентов в венгерском языке;
• оценить эффективность выработанного метода и сравнить её с резуль­татами уже существующих методов;
• создать классификацию русских предложных конструкций и их экви­валентов в венгерском языке на основе выровненных текстов в парал­лельном корпусе.
Таким образом, объектом данной работы являются предложно­падежные конструкции в русском языке и способы передачи значения дан­ных конструкций в венгерском, являющийся агглютинативным языком, в ко­тором нет предлогов. Предметом работы является процедурный морфосин­таксический подход к русским предложно-падежным конструкциям и их ана­логам в венгерском языке.
Тема предложно-падежных конструкций русского языка в контексте корпусной лингвистики является актуальным, но мало исследованным мор­фосинтаксическим вопросом, который в фокусе исследовательского внима­ния может выявлять до сих пор неизвестные закономерности русского языка и других языков, в нашем случае, венгерского языка. Изучение данной те­мы может содействовать появлению альтернативных решений многочислен­ных прикладных задач обработки естественного языка, в том числе, состав­ления параллельных корпусов, выравнивания параллельных текстов, машин­ного перевода и т. д.
Однако, для изучения предложно-падежных конструкций русского язы­ка и их эквивалентов в иностранных языках, необходимо создать подходя­щий, выравненный параллельный корпус, который позволяет проводить нуж­ные исследования на основе высоко-качественного лингвистического мате­риала. Для исследуемых языков, русского и венгерского, существует несколь­ко параллельных корпусов (например, HunOr [33] и InterCorp [18]), но в них не выделены русские предложные конструкции, и даже если тексты вырав­нены, выравнивание является ненадёжным. По этим причинам для прове­дения данного исследования необходимо составление подходящего русско- венгерского параллельного корпуса. Материалом данной работы служат па­раллельные тексты на русском и венгерском языках в жанрах художествен­ной, научной и популярной литературы и разговорной речи (субтитры филь­мов и сериалов).
Научная новизна нашей работы заключается в выявлении соответ­ствий между русскими предложными конструкциями и их эквивалентами в венгерском языке. Подробное исследование для данной пары языков ещё не было проведено, поэтому данная работа может выявить до сих пор неизвест­ные аспекты исследуемых языков.
Теоретическая значимость данной работы состоит в применении сравнительных исследований на основе параллельных корпусов для изуче­ния словоизменительных и словообразовательных характеристик принципи­ально разных языков с точки зрения морфологии и синтаксиса. Более того - создание классификации параллельных конструкций в разных языках может привести к развитию теории не только в области лингвистики, но и в области педагогики ино странных языков.
Практическая значимость заключается в создании и применения ме­тода, основанного на теории графов для выравнивания русско-венгерских текстов при сохранении границ предложных конструкций и выделении их эк­вивалентов в венгерском языке. С созданием новых методов выявления и вы­равнивания лингвистических конструкций в разных языках даётся возмож­ность дальше усовершенствовать методику проведения лингвистических ис­следований, кроме того, наш метод также может быть применен для практи­ческих задач, например, для автоматического машинного перевода.
Купить

Данная работа посвящена изучению и раработке методов автоматиче­ского выравнивания русских предложно-падежных конструкций и их экви­валентов в венгерском языке.
В рамках настоящей работы были изучены особенности, проблемы и методы автоматического выравнивания параллельных текстов на разных уровнях и были представлены разные системы выравнивания - 3 на основе статистических и 1 на основе нейронных моделей выравнивания.
Были рассмотрены главные словоизменительные и словообразователь­ные процессы русского и венгерского языка с точки зрения задачи автомати­ческого выравнивания параллельных текстов и была создана классификация соответствия русских предложных конструкций и их эквивалентов в венгер­ском языке.
Был создан русско-венгерский параллельный корпус, позволяющий изучать русские предложные конструкции и их эквиваленты в венгерском языке и был вручную размечен тестовый подкорпус, на основе которого мож­но оценить и сравнить разные методы выравнивания параллельных текстов. Корпус является подмножеством параллельных корпусов InterCorp, который содержит тексты литературного, научного и разговорного языка.
В рамках данной работы была создана система выравнивания на основе теории графов, которая с высокой эффективностью решает проблему вырав­нивания русских предложных конструкций и их эквивалентов в венгерском языке. Была проведена оценка метода и сравнение с уже существующими ме­тодами, которая показала его эффективность. Данная система была примене­на для вычета распределения венгерских переводных эквивалентов русских предложных конструкций и результаты были представлены в виде матрицы.
Таким образом, основные задачи настоящей работы были выполнены и в результате проведенного исследования можно заключить, что созданный в рамках данной работы метод выравнивания выполняет задачу выравнивания русских предложных конструкций и их эквивалентов в венгерском языке с высокой эффективностью.
Наш метод выравнивания достигает 81.3 процент точности, то есть, по сравнению с уже существующими, универсальными системами выравнива­ния, данный специализированный для работы с русским и венгерским языка­ми метод более чем 2 с половиной раза эффективнее альтернативных мето­дов. Для получения таких высоких показателей были использованы морфо­синтаксические параметры для выделения русских предложных конструкций и их эквивалентов в венгерском, был создан двудольный взвешенный граф из выделенных словосочетаний. Был применён алгоритм теории графов, алго­ритм сжатия цветков для определения наибольших паросочетаний на графах.
Несмотря на высокие показатели оценки метода, у него также суще­ствует некое ограничение: данный метод был создан для работы с русским и венгерским языками, то есть, его применение за рамками изучения данных языков является ограниченным.
Планируется расширения метода для большего числа языков, для то­го чтобы его можно было бы использовать для решения ряда теоретических и практических задач компьютерной лингвистики, в том числе для изучения определённых конструкций в разных языках и для улучшения методов авто­матического машинного перевода.
Купить