Part-of-speech tagging using neural networks

Abstract

Konuşmanın bölümlerini etiketleme, konuşmanın bölümlerini cümlelerdeki kelimelere atama işlemi, doğal dil işlemede geniş bir uygulama alanına sahiptir. Sözdizimsel analiz veya makine çevirisi gibi diğer görevlerde önemli bir ara adım teşkil eder. Bu problemi çözmek için kullanılan yöntemlerden sinir ağları, genellikle tipik olmayanlara aittir, ders kitaplarında sıklıkla ihmal edilir. Bu çalışmada, sinir ağları ile etiketleme bölümünde yapılan bazı kayda değer girişimler hakkında genel bir bakış sunuyoruz. Bunlara dayanarak, benzer prensiplere dayanarak kendi etiketleyicimizi öneriyoruz. Etiketleyici, serbestçe seçilebilecek iki farklı eğitim yöntemi sunar. İlk yöntem, bir bağlamda kelimelerin kelime-etiket olasılıklarından en muhtemel etiketleri öğrenen bir dizi tekrarlayan çok-katmanlı algılayıcı ağlar kullanır. İkinci yöntem, kelimeleri çok boyutlu bir uzayda özellik vektörlerine dönüştürür; daha sonra, bir sınıftaki verileri diğerlerinden ayıran hiper düzlemler, algılayıcıların kullanımı için aranır. Performansı karşılaştırmak için ek bir istatistiksel yöntem temel olarak mevcuttur. Brown corpus'taki ilk 999.998 kelimede eğitim ve geri kalanı değerlendiren ilk yöntemle elde edilen en iyi doğruluk oranı% 94.93 idi.İkinci yöntem küçük egzersiz setleri için önemli ölçüde daha başarılıydı, ancak uzun egzersiz süreleri en büyük setin doğruluğunu belirlememize engel oldu. Her iki yöntem de sistematik olarak taban çizgisinden daha iyi sonuç verdi.

Part-of-speech tagging, the process of assigning parts of speech to words in sentences, has a vast field of applications in natural language processing. It constitutes an important intermediate step in other tasks such as syntactic analysis or machine translation. Out of the methods that have been employed in solving this problem, neural networks belong to the rather non-typical ones, being often neglected in textbooks. In this work we provide an overview on some notable attempts that have been made in part-of-speech tagging with neural networks. Based on these, we also propose our own tagger based on similar principles. The tagger provides two rather different training methods that can be chosen freely. The first method employs a set of recurrent multilayer perceptron networks which learn the most likely tags from the wordto-tag probabilities of the words within a context. The second method converts words into feature vectors in a multidimensional space; subsequently, the hyperplanes separating the data in one class from the other ones are searched for using perceptrons. An additional statistical method is available as a baseline to compare the performance. Training on the first 999,998 words in the Brown corpus and evaluating on the rest, the best accuracy was 94.93%, achieved by the first method. The second method was significantly more successful for smaller training sets, nevertheless, long training times prevented us from determining the accuracy for the largest set. Both methods did systematically better than the baseline.