A text processing and analysis tool for turkish

Abstract

Türkçe metinlerin analiz edilmesi, Türk dilinde, edebiyatında ve çok geniş bir spectrumda önemlidir. Metinlerdeki dil yapılarını elle saymak çok karmaşık bir iştir. Bu nedenle, Türkçe dökümanları ve sözlükleri işleyen ve analiz eden bir bilgisayar uygulaması gereklidir. Bu tezde, yazı işleme ve analiz etme aracı metinleri analiz etmek ve ses, hece, ek, kelime, kelime grubu, cümle, paragraf sıklıklarını hesaplamak için geliştirilmiştir.Geliştirilen metin işleme ve analiz etme aracı, Türkçe metinleri ses, hece, ek, kök gibi çeşitli dil elemanlarının sıklık dağılımlarını kullanarak analiz eder. Araç Java programlama dili ile geliştirilmiştir ve PCMEF yapısına göre tasarlarlanmıştır. Geliştirilen program yeni dillerin eklenmesi için kolaylıklar sağlar ve çeşitli Türkçe lehçelerini de aynı şekilde eklemek zor değildir.Anahtar Kelimeler: Metin işleme ve analizi, Java, Türkçe, öğrenme, PCMEF

The analysis of Turkish texts is significant in Turkish language, literature and a wide spectrum of areas. It is a complicated task to count language structures in the texts manually. By the way, a computer application that processes and analyzes Turkish text documents or document sets (corpus) is beneficial. In this thesis, the text processing and analyzing tool is developed to analyze the texts and computes various phonetic, syllable, affix, stem, word, sentence frequencies.The text processing and analyzing tool developed can analyze Turkish texts using the frequency distributions of various language elements such as phonemes, syllables, affixes, words etc. The tool is developed with Java programming language and it is implemented according to PCMEF architecture. The program developed provides facilities for adding new languages and it is not difficult to extend to do the same for some Turkic dialects.Keywords: Text processing and analyzing, Java, Turkish, internalization, PCMEF