ВВЕДЕНИЕ 3
Глава 1. Теоретические аспекты определения качества письменного перевода 7
1.1 Этапы и компоненты технологической цепочка осуществления перевода 7
1.2 Место и роль технологий в переводческой деятельности 10
1.3 Методологические основы оценки качества перевода 15
1.3.1 Международные стандарты качества перевода 21
1.3.2 Лингводидактические основы качества перевода 24
1.3.3 Оценка качества автоматизированного и машинного перевода 26
Вывод по главе 1 37
Глава 2. Приложение по первичной оценке качества перевода 38
2.1 Организационно-технические и содержательные основы разработки приложения 38
2.2 Дискурсивный и переводческий анализ целевого текста 39
2.3 Зоны интереса для автоматизации контроля качества перевода в концепции приложения «The Pale Blue Eye» 45
2.3.2 Разработка концепции «The Pale Blue Eye» 49
2.3.3 Описание результатов эксперимента 57
Вывод по главе 2 79
Заключение 80
Список использованных источников и литературы: 82
ПРИЛОЖЕНИЕ A 92
ПРИЛОЖЕНИЕ Б 95
ПРИЛОЖЕНИЕ В 96
ПРИЛОЖЕНИЕ Г
Настоящая работа посвящена вопросу об интегративном потенциале современных автоматизированных систем машинного перевода и специализированных программных продуктов, который позволяет использовать их не только в технологической цепочке переводческого процесса для оптимизации достижения качественного перевода, но и в процессе подготовки начинающих переводчиков за счет возможности оптимизировать работу преподавателя и интенсифицировать самостоятельную работу студентов.
В современном информационном обществе компьютерные технологии играют все более значимую роль, проникая практически во все сферы науки и техники, включая гуманитарные науки. С использованием технологий и искусственного интеллекта ученые сталкиваются с задачами, которые ранее считались исключительно человеческими. Компьютерная лингвистика сегодня является одним из наиболее динамично развивающихся направлений в лингвистике, оказывая влияние на области знания, такие как переводоведение. В этой области работают над созданием систем, которые могут распознавать устную речь, принимать голосовой ввод, искать информацию, а также улучшать системы автоматического перевода. Востребованность в системах машинного перевода возникла в результате увеличения объемов международной торговли. Уплотнение связей в областях социально-экономических, политических и социокультурных аспектов охватывает все сферы жизни человека. Качество перевода и профессионализм переводчика имеют прямое влияние не только на успешность коммуникации, но и на качество производимой продукции и предоставляемых услуг.
На данный момент не существует общепринятых критериев и стандартов для оценки качества перевода. Однако в некоторых зарубежных странах внедряют стандарты качества в сфере перевода и разрабатывают классификаторы переводческих ошибок, что помогает оценить качество переведенного текста. Установление стандартов в сфере перевода способствует улучшению работы переводчика и повышению эффективности перевода. Знание критериев оценки качества перевода позволяет специалисту выполнять работу более эффективно и качественно. Установление стандартов переводческой деятельности способствует более эффективной подготовке переводчиков в учебных заведениях, где студентам необходимо формировать профессиональные компетенции для успешного решения переводческих задач и выступления в роли эксперта, контролирующего качество машинного перевода.
Целью данного исследования разработка демоверсии программы, по первичной оценке, качества учебных переводов, выполняемого студентом в процессе обучения.
Объектом исследования являются метрики проверки качества перевода.
Предметом исследования являются автоматизированные способы выявления количественных и качественных отличий результатов автоматизированного перевода и перевода, выполненного переводчиком.
Задачи:
1. Систематизировать и сопоставить существующие в индустрии перевода технологические цепочки по обеспечению качество перевода.
2. Составить параллельный корпус языкового материала на основе TED Talks
3. Провести дискурсивный анализ материала на предмет выявления целевых частей, нуждающихся в рефлексии переводчика.
4. Создать дизайн и провести эксперимент, направленный на выявление лингвистических расхождений между машинным переводом и переводом, выполненным начинающим переводчиком, а также в эталонном переводе.
5. Разработать демоверсию приложения, по первичной оценке, качества перевода для параллельного корпуса, способного отметить зоны пересечения студенческих переводов с вариантами, представленными в машинном переводе т.е. выявить присутствие "человеческого фактора" в переводе/результат редактирования студентом МП.
В работе используются следующие методы: анализ теоретической литературы по изучаемой проблеме, сравнительно-сопоставительный анализ, эксперимент, моделирование, разработка приложения, язык программирования Python, математические и статистические методы обработки результатов эксперимента .
Теоретической базой исследования послужили работы отечественных и зарубежных авторов:
• Оценка качества перевода: квантитативно-системный подход (Гильмуллина Е. А);
• Evaluation of machine translation (Callison-Burch, C);
• Translation Quality Assessment: Past and Present (House J.);
• Oбзор существующих подходов к проблеме оценки качества перевода (Альбукова О.В);
• The Theory and Practice of Translation (Nida E., Taber Ch).
Материалом исследования послужили видео-лекция How interpreters juggle two languages at once
(https://www.ted.com/talks/ewandro_magalhaes_how_interpreters_juggle_two_lan guages_at_once), автор: Эвандро Магальес - бывший старший переводчик ООН, длительностью 5 минут (35 предложений) на языке оригинала, опубликованный профессиональный перевод (транскрипт) и вариант перевода с помощью «Google Translate» (35 предложений).
146 переводов (57 англо-русских переводов выпускников и 89 англо - русских переводов студентов первого курса бакалавриата).
70 целевых трансформаций, как метрики, указывающие на «человеческий фактор в переводе».
Теоретическая значимость заключается в том, что ее результаты могут способствовать дальнейшей разработке концепции приложения, по первичной оценке качества перевода для параллельного корпуса, способного подсветить зоны пересечения студенческих переводов с вариантами, представленными в машинном переводе.
Практическая значимость работы проявляется в возможности разработки новых идей для улучшения качества перевода текстов с использованием как студенческих переводов, так и машинного перевода. Полученные результаты могут быть полезны при обучении студентов в области компьютерной лингвистики и перевода.
Апробация результатов исследования.
Результаты данного исследования были апробированы на 1 научной конференции. По теме выпускной квалификационной работы опубликованы статьи, в которых приведены теоретические принципы работы и результаты проведенного исследования:
1) Сборник статей по материалам V Всероссийской научной конференции с международным участием «Философия и наука в культурах Запада и Востока 2023», статья на тему «Буквализм и трансформации в машинном переводе».
2) Сборник статей по материалам международной научной конференции «Язык и Культура 2023», статья на тему «Система первичной оценки качества перевода при использовании автоматизированных средств».
Инновационные процессы цифровизации и автоматизации установили новые стандарты в сфере переводческой работы, существенно повлияв на организацию трудового процесса.
Учитывая этот новый контекст, акцентируется внимание на отношениях и функциях, закрепленных за "человеком-переводчиком" в сочетании с "машиной-переводчиком". Валидность искусственного интеллекта в плане переводческих операций базируется на использовании статических алгоритмов и соответствии переводческим универсалиям, оставляя экспертную и творческую деятельность "человеку-переводчику". Именно навык критического анализа в процессе постредактирования машинного перевода видится целевым при подготовки будущего переводчика.
Таким образом, программы обучения лингвистов необходимо корректировать, учитывая текущие инновации в технологиях перевода, и формировать у студентов способность критически относиться к возможностям и границам сотрудничества "человека" и "машины" в профессиональном контексте работы. При этом важно уделять внимание не только автоматизированным системам, который используются в индустрии перевода, но и рассматривать возможность создания специализированных образовательных программ, позволяющих преподавателю контролировать процесс использования студентами новых технологий по их назначению для обеспечения контроля качества результата их будущей профессиональной деятельности.
В данной работе предложена демоверсия программы, по первичной оценке, качества учебных переводов, выполняемого студентом в процессе обучения. Концептуально программа ориентирована на то, чтобы привлечь внимание студентов к работе над соответствием перевода оригиналу в аспекте коммуникативного эффекта и прагматической ценности в процессе постредактирования перевода, выполненного автоматизированной системой.
На основе дискурсивного анализа оригинального текста и его перевода, выполненного профессиональным переводчиком, были выделены целевые зоны интереса, которые требуют от переводчика ухода от формализованной эквивалентности, граничащей с буквальным переводом, в зону трансформационных стратегий перевода, работающих на достижение прагматического эффекта.
Эксперимент позволил «заглянуть» в суть переводческого процесса, раскрыв действия студента при работе с целевыми зонами интереса в процессе постредактирования. Было выявлено, что не все участники эксперимента прибегали к постредактированию машинного текста. Можно предположить, что для них машинный перевод без изъянов передал исходный текст на целевой язык. Важно отметить, что в результате апробации программного обеспечения были выявлены ограничения его функционала, что потребовало «ручного» выявления и исправлений ошибок, но несмотря на эти трудности, было выявлено, что концепция обладает потенциалом для дальнейшего развития. «The Pale Blue Eye» представляет собой программное новшество, предназначенное для преподавателей в аспекте мониторинга качества перевода, выполняемого учениками. Этот инструмент обеспечит развитие компетенций редактирования текстов. Внедрение такой концепции в образовательный процесс по предлагаемой методической модели, даст возможность студентам полноценно использовать потенциал современных технологий и достичь прогресса в сфере перевода.
1. Алексеева И. С. Профессиональное обучение переводчика: учебное пособие по устному и письменному переводу для переводчиков и преподавателей / И. С. Алексеева. - СПб.: Издательство «Союз», 2001. - 288с.
2. Акулина Ксения Владимировна, Тихонова Евгения Владимировна
Применение Системы Оценки Качества Перевода в обучение студентов- лингвистов// Язык и культура. 2021. №56. URL:
https://cyberleninka.ru/article/n/primenenie-sistemy-otsenki-kachestva-perevoda-v- obuchenie-studentov-lingvistov(дата обращения: 05.10.2022).
3. Аматов А. М. К вопросу машинного перевода: энтропия языковой системы и способы ее преодоления // Вестник ЛГУ им. А.С. Пушкина. 2008. №2 (13) С.71-90.
4. Альбукова О. В. Обзор существующих подходов к проблеме оценки качества перевода // Филологические науки. Вопросы теории и практики. Тамбов: Грамота, 2016. No 4 (58), ч. 2. C. 65-69.
5. Аносова Наталия Эдуардовна Критерии оценки качества перевода
поликодового текста // Terra Linguistica. 2011. №131. URL:
https://cyberleninka.ru/article/n/kriterii-otsenki-kachestva-perevoda-polikodovogo- teksta(дата обращения: 11.09.2022).
6. Баймуратова У. С. Электронный инструментарий переводчика: учебное пособие / У. С. Баймуратова. Оренбургский гос. ун-т. - Оренбург: ОГУ, 2013. - 120 с.
7. Брагилевский Дмитрий Юрьевич Информационные технологии и обучение переводу // Вопросы методики преподавания в вузе. 2018. №24. URL: https://cyberleninka.ru/article/n/informatsionnye-tehnologii-i-obuchenie-perevodu(дата обращения: 15.12.2022).
8. Болотов В. А. и др. Российская система оценки качества образования: главные уроки // Качество образования в Евразии. - 2013. - №. 1. - С. 85-122. URL: https://cyberleninka.ru/article/n/rossiyskaya-sistema-otsenki- kachestva-obrazovaniya-glavnye-uroki(дата обращения: 03.01.2023).
9. Верменникова Л. В., Лупишко А. Н., Веселова Д. В. Lean-
технологии как эффективный способ трансформации процессов и внедрения цифровых технологий в образовательной организации // Вестник Удмуртского университета. Серия «Экономика и право». - 2020. - Т. 30. - №. 3. - С. 325¬332. URL: https://cyberleninka.ru/article/n/lean-tehnologii-kak-effektivnyy-
sposob-transformatsii-protsessov-i-vnedreniya-tsifrovyh-tehnologiy-v- obrazovatelnoy-organizatsii (дата обращения: 06.02.2023).
10. Виноградов B. C. Перевод: Общие и лексические вопросы / В. С. Виноградов. - 2-е изд., перераб. - М.: Университет, книга, 2007. - 240 с.
11. Гордиенко О. Н. Проблема оценки качества перевода // Известия
ЮФУ. Технические науки. 2004. №1. URL:
https://cyberleninka.rU/article/n/problema-otsenki-kachestva-perevoda-1 (дата
обращения: 21.03.2023).
12. Гарбовский, Н.К. Теория перевода. Учебник / Н.К. Гарбовский. - Москва: Изд-во Моск. Ун-та, 2004. - 544 c.
13. Гильмуллина Е. А. Оценка качества перевода: квантитативно- системный подход: дис. ... канд. филол. наук. СПб., 2016. 383 с
14. Ефремова Н. Ф. Организация оценивания компетенций студентов, приступающих к освоению основных образовательных программ вузов // М.: Исследовательский центр проблем качества подготовки специалистов. - 2010. URL: Ьйр://А^.сбш1.ги/1РК/3рк/Раздел (дата обращения: 04.04.2023).
15. Кит М. О. Нормировании качества и условий выполнения перевода / М. О. Кит, 2012. - 18 с
16. Княжева Е. А., Пирко Е. А. Оценка качества перевода в русле
методологии системного анализа // Вестник ВГУ. Серия: Лингвистика и межкультурная коммуникация. 2013. №1. URL:
https://cyberleninka.ru/article/n7otsenka-kachestva-perevoda-v-rusle-metodologii- sistemnogo-analiza(дата обращения: 09.06.2023).
17. Куликова Наталья Юрьевна, Маслова Ольга Анатольевна, Пономарева Юлия Сергеевна Модель использования систем искусственного
интеллекта для оценки качества формирования компетенций студентов// Мир науки. Педагогика и психология. 2021. №5. URL:
https://cyberleninka.ru/article/n/model-ispolzovaniya-sistem-iskusstvennogo- intellekta-dlya-otsenki-kachestva-formirovaniya-kompetentsiy-studentov-vuza(дата обращения: 21.07.2023).
18. Комиссаров В. Н. Пособие по переводу с английского языка на русский. М.: Литература на иностранных языках, 2009. 176 c.
19. Комиссаров, В. Н. Теория перевода (лингвистические аспекты) / В. Н. Комиссаров. -Москва: Высшая школа, 1990. - 253 с.
20. Комиссаров, В. Н. Современное переводоведение. Учебное пособие / В. Н. Комиссаров. - М.: ЭТС, 2002. - 424 с
21. Кэтфорд, Дж. К. Лингвистическая теория перевода. Вопросы теории перевода в зарубежной лингвистике [Текст] /Дж. К. Кэтфорд.- М: Изд- во Международные отношения, 1978. - 198 с.
22. Левчегов Олег Николаевич Системы искусственного интеллекта в здравоохранении текущее состояние, проблемы и перспективы // ЭФО. 2023. №4 (8). URL: https://cyberleninka.ru/article/n/sistemy-iskusstvennogo-intellekta-v- zdravoohranenii-tekuschee-sostoyanie-problemy-i-perspektivy(дата обращения: 09.08.2023).
23. Латышев, Л. К. Курс перевода: Эквивалентность перевода и способы ее достижения / Л. К. Латышев. - Москва: Междунар. отношения, 1981. - 247 с
24. Латышев, Л. К. Перевод: теория, практика и методика преподавания: Учеб. пособие для студ. перевод. фак. высш. учеб. заведений / Л. К. Латышев, А. Л. Семенов. - Москва: Академия, 2003. - 192 с.
25. Мошкович Вера Викторовна Оценка качества перевода и
использование адекватности и эквивалентности как критериев оценки качества перевода // Вестник ЮУрГГПУ. 2013. №10. URL:
https://cyberleninka.ru/article/n/otsenka-kachestva-perevoda-i-ispolzovanie-
adekvatnosti-i-ekvivalentnosti-kak-kriteriev-otsenki-kachestva-perevoda (дата
обращения: 10.09.2024).
26. Мухамедиев Р.И., Мухамедиева Е.Л., Кучин Я.И. Таксономия
методов машинного обучения и оценка качества классификации и обучаемости // Cloud of science. 2015. №3. URL:
https://cyberleninka.ru/article/n7taksonomiya-metodov-mashinnogo-obucheniya-i- otsenka-kachestva-klassifikatsii-i-obuchaemosti(дата обращения: 12.09.2024).
27. Нелюбин, Л. Л. Толковый переводоведческий словарь / Л. Л. Нелюбин - 3-е издание, переработанное. - М.: Флинта: Наука, 2003. - 320 с.
28. Никифорова Алиса Михайловна Методика оценивания качества
переводов студентов в рамках дисциплины «Официально-деловой перевод» как средство совершенствования профессиональных компетенций будущих переводчиков // Филологические науки. Вопросы теории и практики. 2024. №2. URL: https://cyberleninka.ru/article/n/metodika-otsenivaniya-kachestva-
perevodov-studentov-v-ramkah-distsipliny-ofitsialno-delovoy-perevod-kak- sredstvo (дата обращения: 09.02.2024).
29. Переходько Ирина Валерьевна, Мячин Дмитрий Алексеевич Оценка качества компьютерного перевода // Вестник ОГУ. 2017. №2 (202). URL: https://cyberleninka.rU/article/n/otsenka-kachestva-kompyuternogo-perevoda(дата обращения: 28.03.2024).
30. Переводческая компания «Янус», В борьбе за продуктивность. Парадокс автоматизации и важность человеческого фактора// URL: https://janus.ru/publications-ru/borba-produktivnost-paradoks-avtomatizacii-
vazhnost-chelovecheskogo-faktora (дата обращения: 06.09.2023)
31. Романова Е.Н. Методы Оценки Качества перевода в процессе
подготовки будущих переводчиков // МНИЖ. 2022. №4-3 (118). URL:
https://cyberleninka.ru/article/n/metody-otsenki-kachestva-perevoda-v-protsesse- podgotovki-buduschih-perevodchikov(дата обращения: 30.03.2024).
32. Сдобников, В. В. Теория перевода: Учебник для студентов лингвистических вузов и факультетов иностранных языков // В. В. Сдобников, О. В. Петрова - Москва: ACT, 2007. - 448 с. - (Лингвистика и межкультурная коммуникация)
33. Толкова Наталья Михайловна, Енова Ирина Владимировна
Теоретические основы оценки качества высшего образования // Современное педагогическое образование. 2020. №2. URL:
https://cyberleninka.ru/article/n/teoreticheskie-osnovy-otsenki-kachestva- vysshego-obrazovaniya(дата обращения: 14.04.2024).
34. Улиткин, И. А. Автоматическая оценка качества машинного перевода научно-технического текста / И. А. Улиткин // Вестник Московского государственного областного университета. Сер. Лингвистика. - 2016. - No 4. - С. 174-182.
35. Чемезов Ян Робертович Применение индекса TQI для повышения
качества перевода // Язык и культура. 2017. №37. URL:
https://cyberleninka.ru/article/n7primenenie-indeksa-tqi-dlya-povysheniya- kachestva-perevoda(дата обращения: 17.04.2024).
36. Arthern P. J. Machine Translation and Computerized Terminology Systems: A Translator’s Viewpoint. Translating and the Computer, Proc eedings of a Seminar, 1978, pp. 77-108.
37. ASTM F2575 - 14 Standard Guide for Quality Assurance in
Translation -https://www.astm.org/Standards/F2575.htm
38. Banerjee, S. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments / S. Banerjee, A. Lavie // Proc of ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. - Ann Arbor, USA, 2005. - P. 65-72
39. Barghout Mohamed Abdel-Maguid. Translation quality assessment. An application of rhetorical model. A thesis presented for the Degree of Doctor of Philosophy. University of Salford, 1990, 286 p.
40. Baker M. Corpus linguistics and translation studies: Implications and applications // Text and Technology: In honour of John Sinclair / ed. by G. Francis,
E. Tognini-Bonelli. Amsterdam: John Benjamins Publ., 1993.P. 233-252.
http://doi.Org/10.1075/z.64.15bak
41. Baker M. Corpus-based translation studies: The challenges that lie ahead // Terminology, LSP and Translation: Studies in language engineering, in honour of Juan C. Sager / ed. by H. Somers. Amsterdam: John Benjamins Publ., 1996. P. 175-186.https://doi.org/10.1075/btl.18.17bak
42. Bar-Hillel Y. Some linguistic problems concerned with machine translation // Philosophy of Science. 1953. Vol. 20. No. 3. P. 217-225. http://doi.org/10.1086/287266
43. Bawa-Mason S., Bywood L., Gittins Ch., Kaye P., McNab R. et al. Translators in the digital era: What kind of jobs will we have ten years from now? Presented at The Language Show, Olympia, London, UK, 11 November 2018.
44. Bassnett-McGuire S. Translation Studies. Revisted edition. London - New-York: Routlage, 1991. - 161p
45. Bittner H. Evaluating the Evaluator: A Novel Perspective on Translation Quality Assessment. Taylor & Francis Group, 2020. 281 p
46. Bizzoni Y., Juzek T. S., Espana-Bonet C., Dutta Chowdhury K., van Genabith J., Teich E. How Human is Machine Translationese? Comparing Human and Machine Translations of Text and Speech // Proceedings of the 17 thInternational Conference on Spoken Language Transla- tion. 2020. P. 280-290.
47. Bolanos Cuellar S. Equivalence Revisted: A key Concept in Modern Translation Theory // Forma y Function. Num. 15. Bogota, 2002. P.60-88.
48. Brien S. Towards Predicting Post-Editing Productivity. Machine Translation, 2011, vol. 25(3), pp. 197-215, doi: 10.1007/s10590-011-9096-7
49. Brislin R. W. Translation: Application and Research. / R. W. Brislin New York: Gardner Press Inc. 1976. - 312 p.
50. Catford J. C. Translation shifts. // The Translator Studies Reader / editedby Venuti L. - London and New York: Routledge, 2000. - P.141-147.
51. Callison-Burch, C. Evaluation of machine translation / C. Callison- Burch, C. Fordyce, P. Koehn, C. Monz, J. Schroeder // Proc. Second Workshop on Statistical Machine Translation. - Prague, 2007. - P. 136-158.
52. Carre, A., Kenny, D., Rossi, C., Sanchez-Gijon, P. & Torres-Hostench,
O. (2022). Machine translation for language learners. In D. Kenny (Ed.), Machine translation for everyone: Empowering users in the age of artificial intelligence p. 187-207. Language Science Press. // URL: 10.5281/zenodo.6760024 (дата обращения: 16.04.2023)
53. Chesterman Andrew, Wagner Emma. Can theory help translators? A dialog between the ivory tower and the wordface. Manchester: St. Jerome publishing, 2002. - 152p.
54. Eckersley Helen. Systems for evaluating translation quality: SAE J2450 and ITR Blackjack offer two approaches to ensuring translation consistency // Multilingual Computing and Technology magazine. № 47, Vol. 13, Issue 3. Sandpoint, 2002. - P.39-42.
55. Gerzymisch-Arbogast Heidrun. Equivalence Parameters and Evaluation // Meta. Vol. 46 (2). Montreal, 2001. - P.227-242.
56. Gladkoff S., Sorokina I., Han L., Alekseeva A. Measuring Uncertainty in Translation Quality Evaluation (TQE) // Proceedings of the 13th Conference on Lan- guage Resources and Evaluation (LREC 2022). 2022. P. 1454-1461.
57. Gouadec D. Translation as Profession. Amsterdam: John Benjamins Pub., 2007. - 396p.
58. Gutt E.-A. Translation as Interlingual Interpretive Use // The Translator Studies Reader / edited by Venuti L. - London and New York: Routledge, 2000. -
P. 376-396.
59. Han L. Translation Quality Assessment: A Brief Survey on Manual and Automatic Methods // Proceedings for the First Workshop on Modelling Translation: Translatology in the Digital Age. 2021. P. 15-33.
60. Hermans T. Norms and the Determination of Translation: A Theoretical Framework // Translation, Power, Subversion / edited by R. Alvarez and M. C.-A. Vidal. Topics in Translation. - Multilingual Matters Ltd, 1996. - P. 25-51.
61. House J. Chapter 13. Translation Quality Assessment: Past and Present // Translation: A Multidisciplinary Approach London: Macmillan Publishers Limited, 2014. P. 241-264.
62. House Julian. Translation Quality Assessment. A model revisited. - Tubengen: Gunter Narr Verlag, 1997. - 222p.
63. ISO 17100:2015(en) Translation services — Requirements for
translation services - https://www.iso.org/obp/ui/#iso:std:iso:
17100:ed-1:v1:en
64. Koehn, P. Manual and automatic evaluation of machine translation between european languages / P. Koehn, C. Monz // Proceedings on the Workshop on Statistical Machine Translation, 2006. - P. 102-121.
65. Larson, M. L. A Guide to Cross language Equivalence. / M. L. Larson Maryland: University Press of America. 1984. - 276 p.
66. l-Qinai Jamal. Translation quality assessment. Strategies, parameters and procedures// Meta. vol.45, №3. Montreal, 2000. - P.133-157.
67. McAlister Gerard. The source text in translation assessment // Word, text, translation. Liber amicorum for Peter Newmark. Edited by Anderman M. Gunilla, Rogers Margaret. Bristol : Multilingual Matters, 1999.
68. McDonald, S. V. Accuracy, readability, and acceptability in translation // Applied Translation, 2020.14(2). P. 21-29.
69. Nagao, M. A New Method of N-gram Statistics for Large Number of n and Automatic Extraction of Words and Phrases from Large Text Data of Japanese / M. Nagao, S. Mori // Proceedings of the 15th International Conference on Computational Linguistics (COLING 1994). - Kyoto, Japan, 1994. - P. 611-615
70. Newmark P. Approach to Translation. Englewood: Prentice Hall Regents / P. Newmark 1988. - 200 p.
71. Papineni, K. BLEU: a Method for Automatic Evaluation of Machine Translation / K. Papineni, S. Rouskos, T. Ward, WJ. Zhu // 40th Annual Meeting of the Assoc for Computational Linguistics. - Philadelphia, 2002. - P. 311-318.
72. Polezzi L. Translation // Transnational Modern Languages: A Handbook, ed. by J. Burns, D. Duncan. Liverpool University Press, 2022, P. 305 - 312.
73. Quinci C. Translation Competence: Theory, Research and Practice. Taylor & Francis Group, 2023. 280 pp.
74. ReiB K., Vermeer H.J. Grundlegung einer allgemeinen Translationstheorie. Tubingen: Niemeyer, 1984. 256 p
75. Rivera-Trigueros I. Machine translation systems and quality assessment: a systematic review // Language Resources and Evaluation. 56. 2022. P. 593-619.
76. Scarpa F. Research and Professional Practice in Specialised Translation. Palgrave Macmillan UK, 2020. 419 p.
77. Specia L., Scarton C., Paetzold G. H. Quality Estimation for Machine Translation. Springer International Publishing AG, 2022. 148 p
78. The Routledge Handbook of Translation and Methodology. Taylor & Francis Group, 2020. 557 p.
79. Ted Talks, How interpreters juggle two languages at once // URL: https://www.ted.com/talks/ewandro_magalhaes_how_interpreters_juggle_two_lan guages_at_once (дата обращения: 15.04.2023)
80. This is Verifika Online Help / Verifika : the magic cure for your translation. - [Б. м.], 2022. http://help.e-verifika.com/
81. Vieira L. N. Translation // Transnational Modern Languages: A Handbook, ed. by J. Burns, D. Duncan. Liverpool University Press, 2022. P. 297- 304.
82. Vilar, D. Error Analysis of Statistical Machine Translation Output / D. Vilar, J. Xu, L. F. D’Haro, H. Ney // Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC), 2006. - P. 697-702.
83. Williams M. The Assessment of Professional Translation Quality: Creating Credibility out of Chaos // TTR: traduction, terminologie, redaction. 1989. Vol. 2(2). P. 13-33