Extraction of grammar rules and recurring patterns in Turkish texts by using unsupervised learning algorithms

Abstract

Bu çalışma, Türkçe metinlerden öğreticisiz öğrenme algoritmalarını kullanarak otomatik gramer çıkarımı projesinin nasıl yapıldığını anlatmaktadır. En sık karşılaşılan içeriğe sahip olduğu görülen hikâye, dergi ve gazete makalelerinden alıntılar yapılarak, Türkçe metinler oluşturulmuştur.Oluşturulan bu metinlerin doğru gramer yapısına sahip olduğu varsayılmıştır. Öğreticisiz öğrenme algoritmaları kullanılarak, bu metinlerin gramer yapıları bilgisayara öğretilmiştir. Buna ek olarak, gruplama metodu kullanılarak, Türkçe dili için İçerikten Bağımsız Gramer ve Çözümleme Ağacı oluşturulmuştur.Test sonuçları gramer çıkarımında bazı hatalar olduğunu göstersede, yüksek doğruluk oranına sahip bir başarı elde edilmiştir. Bu çalışma Türkçe dili için ileride geliştirilebilecek projelere yardımcı olacak bir projedir.

This study proposes the idea on building an automatic grammar extraction in Turkish Texts by using unsupervised learning algorithms. There are three types of text citation chosen to obtain a corpus in this study: stories, magazines and newspaper articles, which are found to be the most frequently encountered content.This corpus is assumed to contain Turkish sentences that are grammatically correct. By using unsupervised learning algorithms, the grammar structure of these sentences is taught to the computer. Additionally, by using grouping method, Context Free Grammar and Parse Tree of Turkish language is generated.Although testing results demonstrate that there are several problems with grammar extraction, high accuracy is achieved. This study should be an initial process for further applications dedicated for Turkish language.