Введение 3
ГЛАВА 1. ОСНОВНЫЕ ТЕОРЕТИЧЕСКИЕ ПОЛОЖЕНИЯ 5
1.1. Анализ основных систем машинного перевода 5
1.2. Методы оценки качества машинного перевода 10
1.3.Решения проблемы качества машинного перевода на этапе предредактирования и постредактирования 18
1.4. Анализ выбранных программ машинного перевода 25
Выводы по Главе 1 34
ГЛАВА 2. СОПОСТАВИТЕЛЬНЫЙ АНАЛИЗ КАЧЕСТВА ПЕРЕВОДА ТЕКСТОВ С АНГЛИЙСКОГО ЯЗЫКА НА РУССКИЙ, ВЫПОЛНЕННОГО С ПОМОЩЬЮ СИСТЕМ МАШИННОГО ПЕРЕВОДА 36
2.1. Общее описание эксперимента 36
2.2. Обоснование выбора метрики автоматической оценки качества переводов 37
2.3. Обоснование выбора текстов 37
2.4. Обзор эксперимента на основе экономического текста 40
2.5. Обзор эксперимента на основе юридического текста 48
2.7. Обзор эксперимента на основе художественного текста 63
Выводы по Главе 2 71
Заключение 75
Список литературы 79
Список источников 83
Актуальность данной работы обусловлена тем, что в современном мире идет возрастание общения в сети Интернет. Но в то же время, большая часть зарубежных интернет-источников не имеет интерфейса на других языках, что ограничивает доступ к значительной части информации. Появляется необходимость в машинном переводе. Ни одна система машинного перевода, однако, на данный момент не позволяет получить идеальный результат без дополнительной обработки. Таким образом, основным стоящим перед переводчиком вопросом является качество текстов, переведенных с помощью систем машинного перевода.
Объектом исследования является машинный перевод текстов экономической, юридической, технической и художественной тематики.
Предметом исследования является параметры оценки качества машинного перевода, применяемые в работе наиболее доступных автоматических метрик оценки при рассмотрении переводов экономических, юридических, технических и художественных текстов в языковой паре английский - русский.
Целью исследования является оценка качества работы современных онлайн-систем машинного перевода.
Поставленная цель обуславливает решение следующих задач:
1) проанализировать основные научные работы, посвященные анализу систем машинного перевода;
2) рассмотреть различные методы оценки качества машинного перевода;
3) систематизировать ключевые ошибки в различных системах машинного перевода;
4) проанализировать отдельные программы оценки качества машинного перевода для текстов экономической, юридической, технической и художественной тематики.
В выпускной квалификационной работе используются следующие методы лингвистического исследования: контекстуальный и дискурсивный анализ, методы сплошной выборки, контентанализа, и описательный метод.
В качестве основной информационной базы в теоретическом аспекте использовались работы У. Уивера, Й. Бар-Хиллела, М. Нагао, П. Тома, Ю.Н. Марчука, Л.Л. Нелюбина, И.И. Ревзина, В.Ю. Розенцвейга, И.А. Мельчука.
Материалом исследования послужили тексты на английском языке и их переводы, выполненные квалифицированными переводчиками, предоставленные различными компаниями и бюро переводов.
Теоретическая значимость исследования состоит в том, что благодаря оценке качества машинного перевода и выделению типологии ошибок возможно последующее усовершенствование существующих систем.
Практическая значимость данной работы заключается в определении основных проблем функционирования популярных программ машинного перевода. Результаты данного исследования помогут переводчикам и простым пользователям выбрать наиболее эффективную систему машинного перевода для текстов определенной тематики.
Работа состоит из введения, двух глав и выводов, заключения, списка литературы и используемых источников. В первой главе представлен анализ основных систем машинного перевода, методы оценки качества машинного перевода, решения проблемы качества машинного перевода на этапе предредактирования и постредактирования, а также анализ отдельных программ редактирования машинного перевода. Во второй главе проводится сопоставительный анализ качества переводов текстов на экономическую, юридическую, техническую и художественную тематики с английского языка на русский, выполненных с помощью современных онлайн систем машинного перевода.
При подведении итогов всей нашей работы можно заключить, что прошло уже почти целое столетие со дня возникновения машинного перевода, и на протяжении всего времени своего существования он оставался предметом исследований многих зарубежных и отечественных ученых в области информатики и лингвистики. Первыми системами, которые появились при развитии машинного перевода стали системы на основе правил, которые различались тремя разными стратегиями: системы прямого перевода, трансферные системы и интерлингвистические системы. Позднее также появился машинный перевод на основе примеров и статистический машинный перевод, который начал активно развиваться и получил применение во многих системах того времени, а после вошел в основу новой своей разновидности – гибридных систем. Благодаря постоянной разработке и усовершенствованию методов машинного перевода не так давно появились новые системы, в основе которых лежит нейросеть. На данный момент именно нейронный машинный перевод начал активно развиваться и применяться повсеместно во многих автоматических системах, а показатели качества перевода, выполненного с помощью нейросетей, превзошли все ныне существующие системы.
Несмотря на столь долгое свое развитие, автоматический машинный перевод все еще не достиг высоких показателей качества и по-прежнему сильно уступает переводу, выполненному человеком. В качестве основного критерия качества перевода выступает эквивалентность, которая заключается как в передаче основного смысла исходного текста, так и в достижении того же эффекта, который производит сообщение на языке оригинала. Другими критериями также являются соблюдение лексических и грамматических норм переводящего языка, жанрово-стилистических особенностей и прагматический аспект перевода. Для анализа эффективности машинного переводы были разработаны два возможных подхода, которые представляют собой оценку качества машинного перевода, либо в сравнении с эталонным, либо с привлечением эксперта, то есть автоматическая и экспертная оценка соответственно. При автоматической оценке для сравнения эталонного перевода с машинным используются различные метрики, такие как BLEU, NIST, METEOR и F-мера, которые автоматически определяют все несоответствия относительно референтного перевода. При экспертной оценке качество перевода оценивает специалист в соответствии с критериями: понятность и точность (по исследованию ALPAC) или же адекватность, беглость и информативность (по исследованию ARPA).
Для того чтобы достичь качественного перевода текста при помощи систем машинного перевода, необходимо осуществить редактирование текста оригинала как до, так и после выполнения перевода автоматической системой. Для этого переводчику следует провести ряд действий на этапах предредактирования и постредактирования. На этапе предредактирования ключевыми факторами, на которые стоит обратить внимания, являются лингвистические и стилистические особенности исходного текста, а именно индикаторы переводимости, которые могут вызвать трудности у компьютера в дальнейшем. Выявив все индикаторы в тексте, переводчику следует перефразировать оригинальный текст так, чтобы системам машинного перевода было проще обработать данный текст. Например, разбить сложные предложения на простые, заменить страдательный залог активным, многозначные слова заменить на однозначные синонимы и т.д. Все эти перечисленные действия входят в правила контролируемого языка, которых должен придерживаться переводчик на этапе предредактирования для того, чтобы полученный машинный перевод звучал естественно. После перевода в автоматических системах в зависимости от требований, предъявляемых заказчиком к переводу, редактирование может быть как полным, так и легким. При последнем переводчик исправляет лишь грубые смысловые ошибки, совершенные системой, в то время как полное постредактирование включает в себя детальный разбор готового текста и доведения его до совершенства в соответствии с критериями адекватности, эквивалентности с оригиналом, соблюдения тематики и стилистики текста.
Поскольку качество перевода зависит не только от оригинала текста, при переводе с использованием автоматических систем следует обратить внимание также на функционал выбранных систем, в которых будет осуществляться перевод. При анализе онлайн-переводчиков среди их основных сходств можно выделить: перевод разных типов документов, наличие баз языков, автоматическое определение языка текста оригинала, воспроизведение текста на исходном и целевом языках, наличие примеров слов и словосочетаний в контексте. Но у каждого из выбранных сервисов есть также свои определенные особенности, минусы и плюсы.
Прежде чем выполнить сопоставительный анализ переводов, мы отобрали четыре тематики, обладающими своими отличительными чертами при их переводе с английского на русский, которые могут выступать как преимуществами при обработке в системах машинного перевода, так и недостатками, которые влияют на качество и точность предлагаемых переводов.
Наконец, мы провели сопоставительный анализ качества перевода этих текстов, выполненного с помощью отобранных нами систем машинного перевода, и этих же текстов, переведенных человеком, с помощью метрики автоматической оценки качества машинного перевода BLUE. Первым экспериментом были переводы экономических текстов, которые отличались большим количеством неточностей и ошибок, допущенных системами, что сказалось на оценке качества их переводов с эталонным. Вторым экспериментом выступали переводы юридических текстов, который оказался самым успешным по сравнению с тремя другими. Переводы машинных систем достаточно часто полностью или частично совпадали с референтными, а количество допущенных ошибок было в разы меньше. Третьим проведенным нами экспериментом стали переводы технических инструкций. Несмотря на относительно низкую оценку качества машинных переводов, выраженную показателями метрики, можно отметить, что системы машинного перевода хорошо справились с данными переводами, поскольку основные ошибки заключались ни сколько в синтаксисе или стилистике текстов, как в технической терминологии. Последним экспериментом стали переводы художественных текстов. Эксперимент переводов на данную тематику стал самым провальным по сравнению с тремя предыдущими, так как художественные тексты обладали такой сложной и эмоциональной структурой языка, которую автоматические системы не смогли распознать. Поэтому больше всего ошибок было представлено именно в этих переводах, а показатели качества и точности, как при исходных, так и при подготовленных текстах оставались низкими.
По результатам эксперимента наилучшими системами стали DeepL и Google Translate, которые отличались высокими показателями для каждого из рассмотренных нами текстов, и тем самым, именно эти сервисы являются рекомендуемыми к применению для выполнения переводов онлайн.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
