Temporal and technical effort in post-editing compared to editing and translation from scratch

Abstract

Bu tezin amacı, makine çevirisi post-editing eyleminde çevirmenlerin makine çevirisi çıktılarını düzenlemek için harcadığı zamansal ve teknik eforu düzeltme ve sıfırdan çeviri eylemleriyle karşılaştırmaktır. Araştırma aynı zamanda tez kapsamında özel olarak eğitilen bir istatistiksel makine çevirisi motoru ile ücretsiz bir nöral makine çevirisi motorunu kıyaslamaktadır. Tezin amaçları doğrultusunda, yükseköğretim öğrencilerinden oluşan bir örneklem; İngilizce-Türkçe dil çiftinde makine çevirisi çıktılarını düzenlemeleri, insan çevirisini düzeltmeleri veya sıfırdan çeviri yapmaları gerektiği bir deneye tabi tutulmuştur. Deney, yaygın bir bilgisayar destekli çeviri aracı üzerinde haber metinleriyle gerçekleştirilmiştir. Katılımcıların cümleleri düzenlerken harcadıkları zaman ve yaptıkları düzenleme miktarı nicel olarak ölçülmüştür. Araştırma sonucunda, özel eğitilen istatistiksel makine çevirisi motoru ile nöral makine çevirisi motoru arasında anlamlı bir farklılık bulunmamıştır. Katılımcıların sıfırdan çeviri ve insan çevirisinin düzenlenmesi sırasında, makine çevirisine göre daha fazla teknik ve zamansal efor harcadıkları bulunmuştur. Bu tez, çeviri sektöründe nispeten yeni bir hizmet olan post-editing'in müşteriye, projeye ve çevirmene yararı değerlendirilirken ilgili paydaşlara bir rehber olmayı ve bu dil çiftinde ihtiyaç duyulan benzer çalışmaları teşvik etmeyi amaçlamaktadır.

The aim of this thesis is to compare the temporal and technical effort spent by translators to post-edit machine translation outputs with editing and translation from scratch. The research also compares a statistical machine translation engine specially trained for the experiment with a public neural machine translation engine. For the purposes of the thesis, a sample of higher education students took part in an experiment in which they had to post-edit machine translation output, edit human translation, or translate from scratch from English to Turkish. The experiment was conducted with news texts on a common computer-assisted translation tool. The amount of time participants spent editing sentences and the amount of editing they did were quantitatively measured. The results showed that there was no significant difference between the specially trained statistical machine translation engine and the neural machine translation engine. It was found that the participants spent more technical and temporal effort when translating from scratch and editing human translation than post-editing machine translation. This thesis aims to serve as a guide for stakeholders in evaluating the benefits of post-editing, a relatively new service in the translation industry, for the client, the project and the translator, and to encourage much-needed similar studies in this language pair.