A Comparative study of artifical neural networks for phoneme recognition

Abstract

ÖZET Fonem tanıma, fonem sınıflarının kesin tanımlanmamış ve bulanık sınırlara sahip olduğu zor bir işlemdir. Yapay sinir ağları ise sınıflar arası sınırları başarıyla ayarlayabilen öğrenme metodlarının varolması dolayısıyla fonem tanıma problemleri için ümit vadeden bir tekniktir. Bununla birlikte, bu teknikte kullanılabilecek birçok metot olduğu gibi seçilebilecek birçok da ağ yapısı vardır. Bu tez, gerisayma öğrenme tekniğiyle ve farklı hedef fonksiyonlar kullanılarak eğitilen ileri beslemeli sinir ağlarının fonem tanıma problemi üzerindeki performanslarını araştırmaktadır. Hedef fonksiyonlarının detaylı bir karşılaştırmasını yapabilmek ve öğrenme performanslarını belirleyebilmek için, farklı hedef fonksiyonlar kullanılarak eğitilmiş bir, iki gizli katmanlı ve farklı sayılarda gizli düğümü bulunan ileri beslemeli ağlar kullanılmıştır. Beş farklı hedef fonksiyon sınanmıştır: Ortalama Karesel Hata, Çapraz-entropi, Bir Birleşik Hata Ölçümü, Ağırlık Azaltma, Ağırlık Eleme. Bu hedef fonksiyonlarla eğitilmiş ileri beslemeli ağların ve en yakın komşu metodunun tanıma performansları, Japonca'nın en zor ayırdedilebilen altı fonemi, /b, d, g, m, n, N/, kullanılarak konuşmacı bağımlı durum için sınanmıştır. Sonuçlar tartışılmış ve bazı öneriler getirilmiştir.

IV ABSTRACT Phoneme recognition is a difficult task where the phoneme classes have ill-defined, fuzzy boundaries. Artificial neural networks are promising in phoneme classification as there are learning methods which adjust the class boundaries with satisfaction. However, there are a big number of methods that can be used and many network architectures that can be chosen for the task. This thesis investigates the performances of feedforward neural networks trained with backpropagation algorithm using various objective functions for phoneme recognition problem. Feedforward networks with one and two hidden layers and various number of hidden nodes are considered with different objective functions in order to obtain a detailed comparative study of objective functions and their performances in recognition. Five different objective functions are tested: Mean Square Error, Cross-entropy, A Combinational Error Measure, Weight Decay and Weight Elimination. The recognition performances of the networks trained by using these objective functions and the Nearest Neighbor method are compared by using hardly distinguishable six phonemes /b, d, g, m, n, N/ of Japanese for the speaker dependent case. The results are discussed and some advices are presented.