Введение 3
Глава 1. Машинный перевод как разновидность переводческой деятельности 6
1.1. Перевод как процесс и его характеристики 6
1.2. Специфика перевода художественного произведения 9
1.3. Ручной и автоматический перевод 12
1.5. Экспертная и ручная оценка перевода 14
1.5.1. Понятия адекватность перевода и эквивалентность оригиналу 14
1.5.2. Экспертная оценка машинного перевода 16
1.6. Автоматическая оценка перевода 19
1.6.1. Автоматическая оценка с использованием эталонного перевода 20
1.6.2. Автоматическая оценка без использования эталонного перевода 21
1.7. Различные меры, оценивающие качество перевода 21
Выводы к главе 1 34
Глава 2. Эксперимент по оценке метрик с помощью художественных переводов 36
2.1. Общий обзор эксперимента 36
2.2. Описание переводчиков, выбранных для эксперимента 37
2.3. Подготовка фрагментов перевода для сравнения 41
2.4. Использованные инструменты для оценки переводов 46
2.5. Выбор элементов «перевод-эталон» и «перевод-кандидат» 50
2.6. Анализ результатов, полученных с помощью системы Asiya 52
2.7. Анализ результатов, полученных с помощью MT-ComparEval 57
2.8. Обобщение результатов проведенного анализа 63
Выводы к главе 2 74
Заключение 77
Список литературы 79
Список источников 84
Приложение 1. Результаты оценки сегментов в Asiya (Ч. Хогарт (эталон) – И. Хэпгуд (перевод-кандидат) 85
Приложение 2. Результат оценки сегментов в MT-ComparEval (Дж. Ормсби (эталон) – Э. Гроссман (перевод-кандидат) 87
Развитие систем машинного перевода привело к созданию автоматических метрик, способных оценивать такие переводы. Данная работа посвящена изучению качества работы этих метрик. В идеале при их использовании метрик качественный перевод должен получать более высокие оценки. Очевидно, что качественными переводами считаются переводы, выполненные профессиональными переводчиками, и именно поэтому мы решили использовать профессиональные художественные переводы для анализа работы таких метрик.
Объектом настоящего исследования являются проблемы автоматической оценки качества переводов. Предметом являются проблемы работы наиболее доступных автоматических метрик оценки при рассмотрении художественных переводов в языковых парах русский —английский, испанский — английский, испанский — русский.
Актуальность работы связана с важной ролью компьютерных переводов в современном обществе и необходимостью их качественной оценки.
Научная новизна работы состоит в характере самого исследуемого материала — автоматические метрики оценки переводов и их работа с художественными текстами. Проведенное исследование может расширить представления об особенностях работы автоматических мер оценки и помочь при дальнейшей разработке и улучшении данных метрик.
Цель работы заключается в оценке качества работы автоматических метрик и выявлении возможных способов улучшения их работы.
Цель исследования определила постановку следующих задач:
1) Изучить специфику перевода художественных произведений;
2) Проанализировать существующие подходы к оценке качества переводов;
3) Изучить различные автоматические метрики, которые могут применяться для автоматической оценки качества с использованием эталонного перевода;
4) Рассмотреть оценки, которые получают профессиональные художественные переводы в соответствии с работой наиболее популярных и доступных автоматических метрик;
5) Систематизировать полученные результаты работы и проанализировать возможные причины получения высоких или низких оценок, а также способы улучшения работы тех или иных метрик.
Материалом исследования послужили переводы поэмы Николая Васильевича Гоголя «Мертвые души» на английский язык и переводы романа Мигеля де Сервантеса «Хитроумный идальго Дон Кихот Ламанчский» на английский и русский языки. Переводы Н.В. Гоголя на английский выполнены такими переводчиками, как Чарльз Джеймс Хогарт, Изабель Флоренс Хэпгуд и Роберт Магуайр. Переводы Сервантеса на английский выполнены Эдит Гроссман и Джоном Ормсби, на русский — Борисом Александровичем Энгельгардтом и Николаем Михайловичем Любимовым.
Общий объем материала — 3900 значений оценки сегментов по всем метрикам, полученных при анализе (а) 50 предложений на русском языке и переводов на английский каждого из них, выполненных тремя переводчиками (150 английских переводческих соответствий), (б) 50 предложений на испанском языке и переводов на русский каждого из них, выполненных двумя переводчиками (100 русских переводческих соответствий) и (в) 50 предложений на испанском языке и переводов на английский каждого из них, выполненных двумя переводчиками(100 английских переводческих соответствий).
В работе используются методы контекстного и компонентного анализа данных, анализа и обобщения отечественной и зарубежной теории, обобщения и аналогии, а также метод семантического анализа.
Настоящая работа состоит из введения, двух глав, заключения, списка литературы и приложений. Каждая глава сопровождается выводами. В заключении приводятся основные результаты исследования.
В настоящей работе была предпринята попытка исследовать автоматические метрики оценки переводов с помощью художественных переводов, выполненных профессиональными переводчиками.
Был проведен эксперимент, в ходе которого мы оценили художественные переводы с помощью автоматических метрик. Эталоном послужили профессиональные переводы, с которыми сравнивались переводы-кандидаты, выполненные другими профессиональными переводчиками. Были получены результаты работы различных метрик, затем проанализированы оценки всех сегментов оригинального текста и вариантов перевода. Мы проанализировали элементы, получившие самые высокие и низкие оценки и предложили, что именно может улучшить результаты работы метрик.
Для достижения поставленной цели — оценки качества работы автоматических метрик и выявления возможных способов улучшения их работы — было проведено исследование отрывков из семи переводов двух художественных произведений: трех английских переводов поэмы «Мертвые души» Николая Васильевича Гоголя, двух испанских и двух английских переводов романа «Хитроумный идальго Дон Кихот Ламанчский» Мигеля де Сервантеса.
Для получения результатов работы метрик использовались системы Asiyaи MT-ComparEval. Они позволяют узнать балы разных сегментов по следующим метрикам: BLEU, GTM–3, NIST,–WER,–PER, Ol,–TERbase, METEOR-ex, ROUGE–L (Asiya),BREVITY-PENALTY, BLEU, BLEU–cased, PRECISION, RECALL, F–MEASURE (MT-ComparEval).
Следует отметить, что для улучшения представления о качестве работы самих систем Asiyaи MT-ComparEvalдля данных языковых пар необходимо провести гораздо более обширное исследование. Однако мы не располагаем достаточными средствами для достижения этой цели в рамках данной дипломной работы.
В ходе исследования мы пришли к выводу, что в целом, на данный момент работу исследованных метрик нельзя назвать удовлетворительной. Представленные переводы не получают высоких оценок и в соответствии с данными метрик не являются эквивалентными оригиналу.
К возможным способам улучшения работы метрик можно отнести следующие: подключение словаря синонимов, обучение системы оценки перевода принципам транслитерации, применение систем автоматического разрешения кореференции, подключение морфологических анализаторов, подключение системы, схожей с существующими словарями концептов, где основные понятия включены в семантическую сеть.
Кроме того, более высокие оценки можно получить, если использовать выравнивание не целых предложений, а их более коротких фрагментов. Если сравнивать каждый короткий фрагмент эталона со всеми фрагментами перевода-кандидата, учитывая наиболее высокие оценки, то можно увеличить оценку всего сегмента, тем самым улучшив работу метрик. Разработка алгоритма или программы, позволяющей сравнивать все сегменты A-Z перевода A с сегментами A-Z перевода B, кажется нам вполне реальной. Однако автоматическое деление текста на короткие смысловые сегменты представляет определенную трудность.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
