An approach to morphological disambiguation problem using conditional random fields

Abstract

Biçimbilim, dilbilimin kelimelerin dahili yapısıyla ilgilenen alt dalıdır./emph{Biçimbirimsel denkleştirme} işlemi ise, bir kelimenin biçimbirimsel yapısını belirleme işinin, eldeki kelimeye karşılık gelen biçimbirim kombinasyonlarının listelenmesi işleminin yapıldığı ilk adımıdır.Eğer eldeki kelimeye karşılık gelen böyle birden fazla biçimbirimsel analiz varsa, kelimenin /emph{biçimbirimsel belirsizliğinden} söz edebiliriz.Bütün dillerin kelimelerinde biçimbirimsel belirsizlik gözlemlenebilmesine rağmen, bu sorun farklı dillerde farklı zorluklar barındırmaktadır.Bu çalışmada, koşullu rassal alan algoritması ile türkçe kelimelerin biçimbirimsel belirsizliğinin kaldırılması sorununa bir çözüm önerisi tanıtılmaktadır. Koşullu rassal alan algoritması, türkçenin kelime ve etiket kümelerinin boyutundan kaynaklanan veri seyrekliği sorunlarını, yapısal özelliklerinden dolayı geçersiz kılan bir istatistiksel analiz yöntemidir. Bu yöntem ile, eldeki verinin kolayca doğrulanabilen özelliklerini kullanan basit fonksiyonlara dayanan istatistiksel modeller elde edilmektedir. Biçimbirimlerin tek tek doğrulanabilmesiyle kazanılan yüksek ifade gücü sayesinde, basit ikili bir model kullanarak aldığımız sonuçlar en modern çalışmalarla aynı seviyededir.

Morphology is the subfield of linguistics that studies the internal structures of words./emph{Morphological analysis} is the first step in revealing this structure by enumerating possible underlying morphological unit combinations that describe the surface form of a given word.The given surface form is said to be /emph{morphologically ambiguous}, when more than one analysis corresponds to the given surface form.While words in every natural language may manifest morphological ambiguity, solving the problem of morphological disambiguation presents different challenges for different languages.In this work, we present an approach to this problem using Conditional Random Fields, a statistical framework that elegantly avoids data sparseness problems arising from the large vocabulary and tag set sizes, a characteristic of Turkish language. CRFs are used to build statistical models that rely on simple functions of easily testable properties of the training data at hand. Thanks to higher expressiveness gained by using tests on individual morphological markers, our results are in line with the state-of-the-art, using only a simple one-dimensional bigram chain model.