Введение 4
Глава 1 7
1.1 Перевод как вид языковой деятельности 7
1.2 История развития машинного перевода 10
1.3 Обзор существующих систем машинного перевода и их характеристик 13
1.4 Особенности перевода языковой пары «русский <> французский» 17
1.5 Выводы по Главе 1 20
Глава 2 22
2.1 Подходы к типологии ошибок машинного перевода 22
2.2 Автоматическая оценка качества перевода 24
2.3 Автоматическая оценка читабельности перевода 27
2.4 Выводы по Главе 2 29
Глава 3 30
3.1 Цель и задачи эксперимента 30
3.2 Составление классификации ошибок 30
3.3 Вычисление автоматической оценки качества результатов перевода 47
3.4 Вычисление автоматической оценки читабельности результатов перевода 49
3.5 Выводы по Главе 3 50
Заключение 51
Список использованных источников 53
Приложение 1 57
Приложение 2 58
Приложение 3 59
Развитие машинного перевода неразрывно связано с увеличением количества переводимой информации. Постоянная необходимость совершенствования качества работы систем машинного перевода свидетельствует об их высокой востребованности. В современном мире становится важно не только обеспечение возможности межъязыковой коммуникации и обмена информацией вне языковых барьеров, но и скорость и эффективность этих процессов. Вследствие технического прогресса машинный перевод находит свое место и в области трудовой деятельности человека: все большую популярность обретает профессия постредактора – специалиста, занимающегося доработкой автоматически переведенного текста [Koponen 2016].
Интерес к системам машинного перевода в профессиональном контексте подтверждает необходимость исследования качества их работы. Одним из методов анализа систем является сопоставление результатов их работы с целью последующего разбора найденных ошибок и определения наиболее совершенного на момент проведения исследования инструмента для постредактирования. В сравнении становится возможно увидеть то, как по-разному функционируют системы, и как это влияет на генерируемый текст.
Цель этого исследования заключается в сопоставительном анализе работы систем машинного перевода для оценки их качества и составления классификации выявленных ошибок. Для достижения данной цели были сформулированы следующие теоретические и практические задачи:
1. Изучение и обобщение источников информации по теме машинного перевода, системах перевода и их особенностях.
2. Определение понятия «качество перевода», анализ существующих подходов к оценке качества перевода.
3. Отбор материала для сравнения результатов перевода.
4. Выявление несоответствий в полученных текстах переводов по сравнению с эталонным образцом.
5. Осуществление детального анализа найденных примеров неточностей в переводах и создание классификации ошибок.
6. Произведение автоматической оценки качества перевода и читабельности сгенерированного текста.
7. Интерпретация и оценка результатов исследования.
Актуальность темы исследования подтверждается тем, что автоматический перевод является одной из наиболее важных задач компьютерной лингвистики и играет существенную роль в повседневной жизни информационного общества в условиях глобализации[Карцева, Маргарян, Гурова 2016]. Необходимость в постоянном улучшении скорости и производительности систем машинного перевода определяет темп их развития: за несколько лет своего существования нейроперевод опередил результаты, достигнутые статистическими системами, на разработку которых было потрачено более двух десятилетий [Худяков 2019]. В настоящий момент использование искусственных нейронных сетей в системах машинного перевода обретает все большую популярность. В этом исследовании продемонстрированы результаты работы сервисов компаний Google, Яндекс и PROMT. Каждый из представленных онлайн-переводчиков обладает высокой производительностью, основывается на современных технологиях, в том числе и на нейросетях, поддерживает русский и французский языки и широко известен среди пользователей Интернета [51].
Таким образом, объект исследования– это тексты, сгенерированные системами МП GoogleTranslate, PROMT.One и Яндекс – Переводчик в процессе перевода исходных текстов.
В качестве предмета исследования выступают различия в результатах работы рассматриваемых систем машинного перевода, ошибки и неточности, обнаруженные в сравнении.
Тексты на русском и французском языках и их ручные переводы, на материале которых базируется исследование, были предоставлены компанией ООО «ЭГО Транслейтинг».
Практическая значимость работы состоит в идентификации основных проблем функционирования популярных и востребованных инструментов машинного перевода. Результаты исследования могут быть применены в лекциях и практических заданиях обучающего курса по постредактированию, тестах для проверки компетентности кандидатов на должность постредактора.
Выпускная квалификационная работа состоит из введения, трех глав, заключения, списка источников информации и трех приложений. В первой главе рассматривается понятие машинного перевода, история создания и развития данного научного направления, приводится обзор систем машинного перевода и описание сервисов, задействованных в исследовании, а также анализируются особенности направлений перевода «русский язык – французский язык» и «французский язык – русский язык». Вторая глава посвящена методам оценки переводов. Рассматриваются принципы составления классификации ошибок перевода, анализируются существующие классификации. Разбираются способы автоматической оценки переводов с помощью статистических метрик. В качестве эксперимента в исследовании также упоминается автоматическое вычисление читабельности результирующего текста. Третья глава исследования содержит информацию о практической части работы: этапах предобработки текстов, создании собственной классификации ошибок переводов, результатах вычисления автоматической оценки качества и читабельности переводов. В приложениях приводятся программные решения практического этапа исследования.
Данное исследование содержит результаты сопоставительного анализа результатов машинного перевода, выполненного онлайн-сервисами «GoogleTranslate», «Яндекс – Переводчик» и «PROMT. One» для языковой пары «русский - французский». В ходе работы были рассмотрены понятия, связанные с автоматическим переводом, история развития научного направления и особенности существующих систем машинного перевода. Отдельное внимание уделялось направлениям перевода «с русского языка на французский» и «с французского языка на русский» в контексте переводоведения. Методы оценки результатов машинного перевода были проанализированы с точки зрения возможности их применения в практике переводоведения. В рамках работы был произведен сравнительный анализ результатов перевода русских и французских текстов, разработана форма классификации ошибок МП, разобраны примеры ошибок каждой из рассматриваемых систем, вычислены автоматические оценки качества и читабельности переводов. В результате всех этапов исследования можно сделать следующие выводы:
1. Использованный в работе метод автоматической предобработки текстов для выделения несоответствий в переводах может быть применен в составлении классификаций ошибок других направлений перевода и в поиске примеров неточностей МП для обучающих пособий и курсов по автоматизированному переводу.
2. Использование тегов для выделенных несоответствий в переводах значительно облегчает процесс ручной разметки.
3. Найденные примеры ошибок МП могут быть использованы в качестве тестов для проверки знаний постредактора.
4. Анализ обнаруженных ошибок в результатах работы систем машинного перевода продемонстрировал преимущество сервисов «GoogleTranslate»и «Яндекс – Переводчик». Однако в некоторых приведенных примерах прослеживается высокое качество работы сервиса «PROMT.One»с точки зрения адаптации перевода, лексического разнообразия и смыслового соответствия оригиналу.
5. Автоматическая оценка качества перевода, несмотря на сложность интерпретации полученных результатов, демонстрирует результаты, аналогичные выводам, сделанным в процессе составления классификации. Самую высокую оценку получила система компании Google. Вычисления, полученные при помощи разных метрик, обладали схожими значениями, что позволило сопоставить их и сделать общие выводы.
6. Подсчет читабельности результатов МП с использованием метрик ARI, FK, SMOG, CL может найти практическое применение в оценке трудозатрат постредактора.
7. В качестве возможных перспектив исследования представляется релевантным расширение корпуса текстов, дополнение составленной классификации, анализ причин возникновения ошибок машинного перевода и поиск вариантов их устранения.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
