Rule-weight learning for Kazakh-Turkish machine translation

Abstract

Bilgisayarlı çeviri yapay zeka bilimin bir alt dalı ve Doğal dil işlemenin önemli konusudur.Bu alanlarda son zamanlarda kullanılan makineli çeviri metotlarını araştırdım.Doğal dil işleme konusunda genel bir araştırma yapıldı, Daha çok Türki diller ile yapılan çalışmalar incelendi.Kazakçadan Türkçeye çeviri yapılması için bir takım çeviri kuralları yazdık ve bu kuralları yazarak doğru çözümle seçilmesi gerekiyor her sözcük için .Kurallar yazarak XML ve HTML kullanılıyor ve bu kuraların yazma sebebi iki dilin farklı yapısıdır. Bu kuralları yazarak belirsiz kurallar problemi ortaya çıktı.Belirsiz kurallar: Aynı uzunlukta olan iki kuralın kaynak dilde aynı kelimeye uygulamasıdır yada bir uzun kuralın ve iki kıssa kuralın kaynak dilde aynı kelimeye uygulamasıdır.Bunun sonucu kaynak dildeki bir kelimenin hedef dilde iki farklı çevrisi olmasıdır. Apertium bu sorunu kurallar dosyasındaki konulan ilk ve uzun kuralı uygulayark çeviri elde ediyor. Apertium organizasyonu 2005 den beri ücretsiz/açık kaynak kodlu olan bir çeviri sistemidir.Biz bu sorunu metin bağlımına göre denetimsiz makine öğrenme yöntemleri uygulayark çözdük.Böylece ilk konulan yada en uzun kuralı uygulamak yerine, bize en doğru çeviri vern kuralı uyguladık.Bu probelmi çözerek açık kaynak kodlu olan Apertium'a yeni bir modül ekledik ve bu modülü Kazakça-Türkçe ve Esponyalca-İngilizce systemine uyguladık.

In rule-based machine translation systems (RBMT), transfer rules perform transformation ofsource language structure into its equivalent target language structure. The grammatical, syntactic,and systematic differences between two languages, have led to the creation of these rules. Therules are applied deterministically to the input left-to-right, according to longest match. In thisthesis we describe experiments applied using a two of machine learning methods (maximumentropy and support vector machine) for learning a model to distinguish between ambiguousselection of structural transfer rules in a rule-based machine translation (MT) system. Herein, thetransfer rules function by matching a source language pattern of lexical items and applying asequence of actions. There can, however, be more than one potential sequence of actions for eachsource language pattern. Our model consists of a set of classifiers for either maximum entropy (orlogistic regression) or a support vector machine, one trained for each source language pattern,which select the highest probability sequence of rules for a given sequence of patterns. We performexperiments on the Kazakh–Turkish language pair — a low-resource pair of morphologically-richlanguages — and compare our model to two reference MT systems, a rule-based system wheretransfer rules are applied in a left-to right longest match manner and to a state-of-the-art systembased on the neural encoder–decoder architecture. Our system out forms both of these referencesystems in three widely used metrics for machine translation evaluation. We also found that themaximum entropy acquired the best achievement than support vector machine.