Farklı dillerin entropi ve informasyon teorisi açısından istatistiksel özellikleri

Abstract

ÖZET Yüksek Lisans Tezi FARKLI DİLLERİN ENTROPİ VE İNFORMASYON TEORİSİ AÇISINDAN İSTATİSTİKSEL ÖZELLİKLERİ ŞENAY YOLAÇAN Anadolu Üniversitesi Fen Bilimleri Enstitüsü İstatistik Anabilim Dalı Danışman: Prof. Dr. Aladdin ŞAMİLOV 2005, 193 sayfa Bu tezde, Türkçe, İngilizce, Almanca, Fransızca, Rusça ve İspanyolca gibi farklı dillerin tekli harf sıklık dağılımları, harf başına entropi ve sembol başına informasyon ölçümleri gibi istatistiksel özellikleri incelenmiştir. Bu istatistiksel özelliklerden yararlanılarak Adi Kodlama Metodunun yanısıra bu tezde, Shannon Kodlama Metodu, Shannon-Fano Kodlama Metodu, Geliştirilmiş Fano Kodlama Metodu ve Shannon-Fano-Elias Kodlama Metodu ile söz konusu diller için ikili kodlar kurulmuştur ve çizelgeler halinde sunulmuştur. Optimal kodlamayı gerçekleştiren kodlama metodunun Huffman Kodlama Metodu olduğu saptanmıştır. Ayrıca, söz konusu farklı dillerin her biri birer kodlama türü olarak ele alınmıştır. Hangi dilin optimal bir kodlama türü olduğunu belirlemek amacıyla aynı bir düşünceyi söz konusu dillerde ifade eden çevrilmiş metinlerin istatistiksel özellikleri incelenmiştir. Bu istatistiksel özelliklerden yola çıkarak yapılan araştırmada aynı düşünceyi ifade etmede İngiliz dilinin diğer dillere göre daha az sembol kullandığı ve İngiliz dilinin arkasından Türk dilinin yer aldığı tespit edilmiştir. Anahtar Kelimeler: Entropi, İnformasyon, Kodlama, Optimallik, Türkçe

ABSTRACT Master of Science Thesis STATISTICAL PROPERTIES OF DIFFERENT LANGUAGES BASED ON ENTROPY AND INFORMATION THEORY ŞENAY YOLAÇAN Anadolu University Graduate School of Sciences Statistics Program Supervisor: Prof. Dr. Aladdin ŞAMİLOV 2005, 193 pages In this thesis, statistical, properties, which are letter frequency distributions, entropy per letter and information measure per symbol, of different languages as Turkish, English, German, French, Russian and Spanish were examined. Utilizing these statistical properties, binary codes for these languages were constructed by Ordinary Coding Method, Shannon Coding Method, Shannon-Fano Coding Method, Improved Fano Coding Method and Shannon-Fano-Elias Coding method and results were established as tables. Coding method that realize optimal coding was determined to be Huffman Coding Method. Moreover, each of different languages taken in to account was considered as a coding type. In order to determine optimal language in the sense of coding theory, statistical properties of translated papers on the same semantic content in these languages were examined. In this investigation, by utilizing these statistical properties, it was established that English language uses least symbol than the others to express the same semantic content. Then Turkish language was determined as second language after English language. Keywords: Entropy, Information, Coding, Optimallity, Turkish u