📄Работа №133665
Тема: Проблема оценки качества машинного перевода
Тип работы
Магистерская диссертация
Предмет
лингвистика
Объем:
83 листов
Год:
2022
Просмотров:
176
4960
руб.
🛒 Купить работу
Не подходит эта работа?
Закажите новую по вашим требованиям
Узнать цену на написание
Закажите новую по вашим требованиям
Представленный материал является образцом учебного исследования, примером структуры и содержания учебного исследования по заявленной теме. Размещён исключительно в информационных и ознакомительных целях.
Workspay.ru оказывает информационные услуги по сбору, обработке и структурированию материалов в соответствии с требованиями заказчика.
Размещение материала не означает публикацию произведения впервые и не предполагает передачу исключительных авторских прав третьим лицам.
Материал не предназначен для дословной сдачи в образовательные организации и требует самостоятельной переработки с соблюдением законодательства Российской Федерации об авторском праве и принципов академической добросовестности.
Авторские права на исходные материалы принадлежат их законным правообладателям. В случае возникновения вопросов, связанных с размещённым материалом, просим направить обращение через форму обратной связи.
Настоящий учебно-методический информационный материал размещён в ознакомительных и исследовательских целях и представляет собой пример учебного исследования. Не является готовым научным трудом и требует самостоятельной переработки.
📋 Содержание
Введение 3
ГЛАВА 1. ОСНОВНЫЕ ТЕОРЕТИЧЕСКИЕ ПОЛОЖЕНИЯ 5
1.1. Анализ основных систем машинного перевода 5
1.2. Методы оценки качества машинного перевода 10
1.3.Решения проблемы качества машинного перевода на этапе предредактирования и постредактирования 18
1.4. Анализ выбранных программ машинного перевода 25
Выводы по Главе 1 34
ГЛАВА 2. СОПОСТАВИТЕЛЬНЫЙ АНАЛИЗ КАЧЕСТВА ПЕРЕВОДА ТЕКСТОВ С АНГЛИЙСКОГО ЯЗЫКА НА РУССКИЙ, ВЫПОЛНЕННОГО С ПОМОЩЬЮ СИСТЕМ МАШИННОГО ПЕРЕВОДА 36
2.1. Общее описание эксперимента 36
2.2. Обоснование выбора метрики автоматической оценки качества переводов 37
2.3. Обоснование выбора текстов 37
2.4. Обзор эксперимента на основе экономического текста 40
2.5. Обзор эксперимента на основе юридического текста 48
2.7. Обзор эксперимента на основе художественного текста 63
Выводы по Главе 2 71
Заключение 75
Список литературы 79
Список источников 83
ГЛАВА 1. ОСНОВНЫЕ ТЕОРЕТИЧЕСКИЕ ПОЛОЖЕНИЯ 5
1.1. Анализ основных систем машинного перевода 5
1.2. Методы оценки качества машинного перевода 10
1.3.Решения проблемы качества машинного перевода на этапе предредактирования и постредактирования 18
1.4. Анализ выбранных программ машинного перевода 25
Выводы по Главе 1 34
ГЛАВА 2. СОПОСТАВИТЕЛЬНЫЙ АНАЛИЗ КАЧЕСТВА ПЕРЕВОДА ТЕКСТОВ С АНГЛИЙСКОГО ЯЗЫКА НА РУССКИЙ, ВЫПОЛНЕННОГО С ПОМОЩЬЮ СИСТЕМ МАШИННОГО ПЕРЕВОДА 36
2.1. Общее описание эксперимента 36
2.2. Обоснование выбора метрики автоматической оценки качества переводов 37
2.3. Обоснование выбора текстов 37
2.4. Обзор эксперимента на основе экономического текста 40
2.5. Обзор эксперимента на основе юридического текста 48
2.7. Обзор эксперимента на основе художественного текста 63
Выводы по Главе 2 71
Заключение 75
Список литературы 79
Список источников 83
📖 Введение
Актуальность данной работы обусловлена тем, что в современном мире идет возрастание общения в сети Интернет. Но в то же время, большая часть зарубежных интернет-источников не имеет интерфейса на других языках, что ограничивает доступ к значительной части информации. Появляется необходимость в машинном переводе. Ни одна система машинного перевода, однако, на данный момент не позволяет получить идеальный результат без дополнительной обработки. Таким образом, основным стоящим перед переводчиком вопросом является качество текстов, переведенных с помощью систем машинного перевода.
Объектом исследования является машинный перевод текстов экономической, юридической, технической и художественной тематики.
Предметом исследования является параметры оценки качества машинного перевода, применяемые в работе наиболее доступных автоматических метрик оценки при рассмотрении переводов экономических, юридических, технических и художественных текстов в языковой паре английский - русский.
Целью исследования является оценка качества работы современных онлайн-систем машинного перевода.
Поставленная цель обуславливает решение следующих задач:
1) проанализировать основные научные работы, посвященные анализу систем машинного перевода;
2) рассмотреть различные методы оценки качества машинного перевода;
3) систематизировать ключевые ошибки в различных системах машинного перевода;
4) проанализировать отдельные программы оценки качества машинного перевода для текстов экономической, юридической, технической и художественной тематики.
В выпускной квалификационной работе используются следующие методы лингвистического исследования: контекстуальный и дискурсивный анализ, методы сплошной выборки, контентанализа, и описательный метод.
В качестве основной информационной базы в теоретическом аспекте использовались работы У. Уивера, Й. Бар-Хиллела, М. Нагао, П. Тома, Ю.Н. Марчука, Л.Л. Нелюбина, И.И. Ревзина, В.Ю. Розенцвейга, И.А. Мельчука.
Материалом исследования послужили тексты на английском языке и их переводы, выполненные квалифицированными переводчиками, предоставленные различными компаниями и бюро переводов.
Теоретическая значимость исследования состоит в том, что благодаря оценке качества машинного перевода и выделению типологии ошибок возможно последующее усовершенствование существующих систем.
Практическая значимость данной работы заключается в определении основных проблем функционирования популярных программ машинного перевода. Результаты данного исследования помогут переводчикам и простым пользователям выбрать наиболее эффективную систему машинного перевода для текстов определенной тематики.
Работа состоит из введения, двух глав и выводов, заключения, списка литературы и используемых источников. В первой главе представлен анализ основных систем машинного перевода, методы оценки качества машинного перевода, решения проблемы качества машинного перевода на этапе предредактирования и постредактирования, а также анализ отдельных программ редактирования машинного перевода. Во второй главе проводится сопоставительный анализ качества переводов текстов на экономическую, юридическую, техническую и художественную тематики с английского языка на русский, выполненных с помощью современных онлайн систем машинного перевода.
Объектом исследования является машинный перевод текстов экономической, юридической, технической и художественной тематики.
Предметом исследования является параметры оценки качества машинного перевода, применяемые в работе наиболее доступных автоматических метрик оценки при рассмотрении переводов экономических, юридических, технических и художественных текстов в языковой паре английский - русский.
Целью исследования является оценка качества работы современных онлайн-систем машинного перевода.
Поставленная цель обуславливает решение следующих задач:
1) проанализировать основные научные работы, посвященные анализу систем машинного перевода;
2) рассмотреть различные методы оценки качества машинного перевода;
3) систематизировать ключевые ошибки в различных системах машинного перевода;
4) проанализировать отдельные программы оценки качества машинного перевода для текстов экономической, юридической, технической и художественной тематики.
В выпускной квалификационной работе используются следующие методы лингвистического исследования: контекстуальный и дискурсивный анализ, методы сплошной выборки, контентанализа, и описательный метод.
В качестве основной информационной базы в теоретическом аспекте использовались работы У. Уивера, Й. Бар-Хиллела, М. Нагао, П. Тома, Ю.Н. Марчука, Л.Л. Нелюбина, И.И. Ревзина, В.Ю. Розенцвейга, И.А. Мельчука.
Материалом исследования послужили тексты на английском языке и их переводы, выполненные квалифицированными переводчиками, предоставленные различными компаниями и бюро переводов.
Теоретическая значимость исследования состоит в том, что благодаря оценке качества машинного перевода и выделению типологии ошибок возможно последующее усовершенствование существующих систем.
Практическая значимость данной работы заключается в определении основных проблем функционирования популярных программ машинного перевода. Результаты данного исследования помогут переводчикам и простым пользователям выбрать наиболее эффективную систему машинного перевода для текстов определенной тематики.
Работа состоит из введения, двух глав и выводов, заключения, списка литературы и используемых источников. В первой главе представлен анализ основных систем машинного перевода, методы оценки качества машинного перевода, решения проблемы качества машинного перевода на этапе предредактирования и постредактирования, а также анализ отдельных программ редактирования машинного перевода. Во второй главе проводится сопоставительный анализ качества переводов текстов на экономическую, юридическую, техническую и художественную тематики с английского языка на русский, выполненных с помощью современных онлайн систем машинного перевода.
✅ Заключение
При подведении итогов всей нашей работы можно заключить, что прошло уже почти целое столетие со дня возникновения машинного перевода, и на протяжении всего времени своего существования он оставался предметом исследований многих зарубежных и отечественных ученых в области информатики и лингвистики. Первыми системами, которые появились при развитии машинного перевода стали системы на основе правил, которые различались тремя разными стратегиями: системы прямого перевода, трансферные системы и интерлингвистические системы. Позднее также появился машинный перевод на основе примеров и статистический машинный перевод, который начал активно развиваться и получил применение во многих системах того времени, а после вошел в основу новой своей разновидности – гибридных систем. Благодаря постоянной разработке и усовершенствованию методов машинного перевода не так давно появились новые системы, в основе которых лежит нейросеть. На данный момент именно нейронный машинный перевод начал активно развиваться и применяться повсеместно во многих автоматических системах, а показатели качества перевода, выполненного с помощью нейросетей, превзошли все ныне существующие системы.
Несмотря на столь долгое свое развитие, автоматический машинный перевод все еще не достиг высоких показателей качества и по-прежнему сильно уступает переводу, выполненному человеком. В качестве основного критерия качества перевода выступает эквивалентность, которая заключается как в передаче основного смысла исходного текста, так и в достижении того же эффекта, который производит сообщение на языке оригинала. Другими критериями также являются соблюдение лексических и грамматических норм переводящего языка, жанрово-стилистических особенностей и прагматический аспект перевода. Для анализа эффективности машинного переводы были разработаны два возможных подхода, которые представляют собой оценку качества машинного перевода, либо в сравнении с эталонным, либо с привлечением эксперта, то есть автоматическая и экспертная оценка соответственно. При автоматической оценке для сравнения эталонного перевода с машинным используются различные метрики, такие как BLEU, NIST, METEOR и F-мера, которые автоматически определяют все несоответствия относительно референтного перевода. При экспертной оценке качество перевода оценивает специалист в соответствии с критериями: понятность и точность (по исследованию ALPAC) или же адекватность, беглость и информативность (по исследованию ARPA).
Для того чтобы достичь качественного перевода текста при помощи систем машинного перевода, необходимо осуществить редактирование текста оригинала как до, так и после выполнения перевода автоматической системой. Для этого переводчику следует провести ряд действий на этапах предредактирования и постредактирования. На этапе предредактирования ключевыми факторами, на которые стоит обратить внимания, являются лингвистические и стилистические особенности исходного текста, а именно индикаторы переводимости, которые могут вызвать трудности у компьютера в дальнейшем. Выявив все индикаторы в тексте, переводчику следует перефразировать оригинальный текст так, чтобы системам машинного перевода было проще обработать данный текст. Например, разбить сложные предложения на простые, заменить страдательный залог активным, многозначные слова заменить на однозначные синонимы и т.д. Все эти перечисленные действия входят в правила контролируемого языка, которых должен придерживаться переводчик на этапе предредактирования для того, чтобы полученный машинный перевод звучал естественно. После перевода в автоматических системах в зависимости от требований, предъявляемых заказчиком к переводу, редактирование может быть как полным, так и легким. При последнем переводчик исправляет лишь грубые смысловые ошибки, совершенные системой, в то время как полное постредактирование включает в себя детальный разбор готового текста и доведения его до совершенства в соответствии с критериями адекватности, эквивалентности с оригиналом, соблюдения тематики и стилистики текста.
Поскольку качество перевода зависит не только от оригинала текста, при переводе с использованием автоматических систем следует обратить внимание также на функционал выбранных систем, в которых будет осуществляться перевод. При анализе онлайн-переводчиков среди их основных сходств можно выделить: перевод разных типов документов, наличие баз языков, автоматическое определение языка текста оригинала, воспроизведение текста на исходном и целевом языках, наличие примеров слов и словосочетаний в контексте. Но у каждого из выбранных сервисов есть также свои определенные особенности, минусы и плюсы.
Прежде чем выполнить сопоставительный анализ переводов, мы отобрали четыре тематики, обладающими своими отличительными чертами при их переводе с английского на русский, которые могут выступать как преимуществами при обработке в системах машинного перевода, так и недостатками, которые влияют на качество и точность предлагаемых переводов.
Наконец, мы провели сопоставительный анализ качества перевода этих текстов, выполненного с помощью отобранных нами систем машинного перевода, и этих же текстов, переведенных человеком, с помощью метрики автоматической оценки качества машинного перевода BLUE. Первым экспериментом были переводы экономических текстов, которые отличались большим количеством неточностей и ошибок, допущенных системами, что сказалось на оценке качества их переводов с эталонным. Вторым экспериментом выступали переводы юридических текстов, который оказался самым успешным по сравнению с тремя другими. Переводы машинных систем достаточно часто полностью или частично совпадали с референтными, а количество допущенных ошибок было в разы меньше. Третьим проведенным нами экспериментом стали переводы технических инструкций. Несмотря на относительно низкую оценку качества машинных переводов, выраженную показателями метрики, можно отметить, что системы машинного перевода хорошо справились с данными переводами, поскольку основные ошибки заключались ни сколько в синтаксисе или стилистике текстов, как в технической терминологии. Последним экспериментом стали переводы художественных текстов. Эксперимент переводов на данную тематику стал самым провальным по сравнению с тремя предыдущими, так как художественные тексты обладали такой сложной и эмоциональной структурой языка, которую автоматические системы не смогли распознать. Поэтому больше всего ошибок было представлено именно в этих переводах, а показатели качества и точности, как при исходных, так и при подготовленных текстах оставались низкими.
По результатам эксперимента наилучшими системами стали DeepL и Google Translate, которые отличались высокими показателями для каждого из рассмотренных нами текстов, и тем самым, именно эти сервисы являются рекомендуемыми к применению для выполнения переводов онлайн.
Несмотря на столь долгое свое развитие, автоматический машинный перевод все еще не достиг высоких показателей качества и по-прежнему сильно уступает переводу, выполненному человеком. В качестве основного критерия качества перевода выступает эквивалентность, которая заключается как в передаче основного смысла исходного текста, так и в достижении того же эффекта, который производит сообщение на языке оригинала. Другими критериями также являются соблюдение лексических и грамматических норм переводящего языка, жанрово-стилистических особенностей и прагматический аспект перевода. Для анализа эффективности машинного переводы были разработаны два возможных подхода, которые представляют собой оценку качества машинного перевода, либо в сравнении с эталонным, либо с привлечением эксперта, то есть автоматическая и экспертная оценка соответственно. При автоматической оценке для сравнения эталонного перевода с машинным используются различные метрики, такие как BLEU, NIST, METEOR и F-мера, которые автоматически определяют все несоответствия относительно референтного перевода. При экспертной оценке качество перевода оценивает специалист в соответствии с критериями: понятность и точность (по исследованию ALPAC) или же адекватность, беглость и информативность (по исследованию ARPA).
Для того чтобы достичь качественного перевода текста при помощи систем машинного перевода, необходимо осуществить редактирование текста оригинала как до, так и после выполнения перевода автоматической системой. Для этого переводчику следует провести ряд действий на этапах предредактирования и постредактирования. На этапе предредактирования ключевыми факторами, на которые стоит обратить внимания, являются лингвистические и стилистические особенности исходного текста, а именно индикаторы переводимости, которые могут вызвать трудности у компьютера в дальнейшем. Выявив все индикаторы в тексте, переводчику следует перефразировать оригинальный текст так, чтобы системам машинного перевода было проще обработать данный текст. Например, разбить сложные предложения на простые, заменить страдательный залог активным, многозначные слова заменить на однозначные синонимы и т.д. Все эти перечисленные действия входят в правила контролируемого языка, которых должен придерживаться переводчик на этапе предредактирования для того, чтобы полученный машинный перевод звучал естественно. После перевода в автоматических системах в зависимости от требований, предъявляемых заказчиком к переводу, редактирование может быть как полным, так и легким. При последнем переводчик исправляет лишь грубые смысловые ошибки, совершенные системой, в то время как полное постредактирование включает в себя детальный разбор готового текста и доведения его до совершенства в соответствии с критериями адекватности, эквивалентности с оригиналом, соблюдения тематики и стилистики текста.
Поскольку качество перевода зависит не только от оригинала текста, при переводе с использованием автоматических систем следует обратить внимание также на функционал выбранных систем, в которых будет осуществляться перевод. При анализе онлайн-переводчиков среди их основных сходств можно выделить: перевод разных типов документов, наличие баз языков, автоматическое определение языка текста оригинала, воспроизведение текста на исходном и целевом языках, наличие примеров слов и словосочетаний в контексте. Но у каждого из выбранных сервисов есть также свои определенные особенности, минусы и плюсы.
Прежде чем выполнить сопоставительный анализ переводов, мы отобрали четыре тематики, обладающими своими отличительными чертами при их переводе с английского на русский, которые могут выступать как преимуществами при обработке в системах машинного перевода, так и недостатками, которые влияют на качество и точность предлагаемых переводов.
Наконец, мы провели сопоставительный анализ качества перевода этих текстов, выполненного с помощью отобранных нами систем машинного перевода, и этих же текстов, переведенных человеком, с помощью метрики автоматической оценки качества машинного перевода BLUE. Первым экспериментом были переводы экономических текстов, которые отличались большим количеством неточностей и ошибок, допущенных системами, что сказалось на оценке качества их переводов с эталонным. Вторым экспериментом выступали переводы юридических текстов, который оказался самым успешным по сравнению с тремя другими. Переводы машинных систем достаточно часто полностью или частично совпадали с референтными, а количество допущенных ошибок было в разы меньше. Третьим проведенным нами экспериментом стали переводы технических инструкций. Несмотря на относительно низкую оценку качества машинных переводов, выраженную показателями метрики, можно отметить, что системы машинного перевода хорошо справились с данными переводами, поскольку основные ошибки заключались ни сколько в синтаксисе или стилистике текстов, как в технической терминологии. Последним экспериментом стали переводы художественных текстов. Эксперимент переводов на данную тематику стал самым провальным по сравнению с тремя предыдущими, так как художественные тексты обладали такой сложной и эмоциональной структурой языка, которую автоматические системы не смогли распознать. Поэтому больше всего ошибок было представлено именно в этих переводах, а показатели качества и точности, как при исходных, так и при подготовленных текстах оставались низкими.
По результатам эксперимента наилучшими системами стали DeepL и Google Translate, которые отличались высокими показателями для каждого из рассмотренных нами текстов, и тем самым, именно эти сервисы являются рекомендуемыми к применению для выполнения переводов онлайн.
ИЛИ
Поиск аналога
📕 Список литературы
🛒 Оформить заказ
⚡ Работу высылаем в течении 5 минут после оплаты.