Linguistic category induction and tagging using the paradigmatic context representations with substitute words

Abstract

Bu tez kelime bağlamlarını temsil etmek için yeni bir düşey bağıntıtanımlamaktadır. Bir kelimenin düşey bağıntısı kelimenin bağlamındadeğiştirim sonucu onun yerine gelebilen olası kelimelerin oluşturduğubağıntıdır. Öte yandan yatay bağıntı bir kelimenin öncesindeki ya dasonrasındaki kelimeler arasında kurulan bağıntıdır. Bir kelimenin yerinialabilecek olası kelimeler işlenmemiş veri üzerinde eğitilmiş bir istatistikseldil modeli ile hesaplanmaktadır. Sonuç olarak kelime bağlamları, o bağlamdagörülebilecek olası kelime dağılımları ile temsil edilmektedir. Bu tez bahsigeçen yeni düşey bağıntıyı kullanabilen farklı doğal dil işleme modelleritanımlamakta ve bu modellerin doğal dil işlemede kullanılan farklı diziseletiketleme problemleri üzerindeki uygulamalarını göstermektedir.Doğal dil işleme problemlerindeki dizisel etiketlemenin temel amacı verilen birkelime dizisine birebir denk gelen dizisel etiketileri bulamaktadır. Bunedenle modeller girdi olarak kelime dizisi almakta ve çıktı olarak herkelimeye bir etiket gelecek şekilde bir etiket dizisi vermektedir. Öğreticisizmodellerde çıktı dizisi her kelimeye ait küme isimleri iken öğreticili modellerde çıktı dizisi her kelimeye ait önceden tanımlanmış etiketlerdir. Bu tezde 5 farklı model tanımlanmaktadır. İlk model öğreticisiz bir modeldir ve olası kelime dağılımlarını kullanarak kelimeleri kümelemeyi amaçlamaktadır. İkinci model verilen bir kelime ile o kelimeye ait olası kelimelerin birlikte görülme sıklıklarını modelliyen öğreticisiz bir modeldir. Üçünci model kelimenin yerini alabilecek kelimeleri kullanarak olasılıksal oylama yapan bir modeldir. Bu model ilk iki modelin aksine, her kelimenin olası etiketlerine ihtiyaç duyan öğreticili bir modeldir. Dördüncü model dizisel etiketleme probleminde sıklıkla kullanılan saklı Markof modelleriyle birlikte kullanılabilen 2 yöntem önermektedir. Bir önceki model gibi bu model de her kelimeye ait olası etiketlere ihtiyaç duyar. Tezdeki son model gürültülü kanal modelidir ve bu model gürültülü kanal ve alınan mesajı kullanarak esas gönderilmek istenen mesajı bulmayı amaçlar. Bu modelde her bağlam bir kanal, her kelime alınan mesaj ve kelimeye ait etiket ise gönderilmek istenen esas mesajdır. Tezin son kısmında yukarıda bahsi geçen modeller farklı özelliklerdeki etikeleme problemlerine uygulanmıştır. İlk iki model öğreticisiz sözcük türü bulma problemine uygulanmıştır. Olasılıksal oylama modeli ise Türkçe ekbiçim belirsizliği giderme problemi üzerinde denenmiştir. Saklı Markof modeline dayanan yöntemler ise öğreticili sözcük türü bulma problemine uygulanmıştır. Son olarak gürültülü kanal modeli kelime anlam belirsizliği giderme problemi üzerinde denenmiştir.

This thesis introduces a new paradigmatic representation of word contexts. Paradigmatic representations of word context are constructed from the potential substitutes of a word, in contrast to syntagmatic representations, which are constructed from the properties of neighboring words. The potential substitutes are calculated by using a statistical language model that is trained on raw text without any annotation or supervision. Thus, each context is represented as a distribution of substitute words. This thesis introduces models with different properties that can incorporate the new paradigmatic representation, and dis- cusses the applications of these models to the tagging task in natural language processing (NLP).In a standard NLP tagging task, the goal is to build a model in which the input is a sequence of observed words, and the output, depending on the level of supervision, is a sequence of cluster-ids or predefined tags. We define 5 different models with different properties and supervision requirements. The first model ignores the identity of the word, and clusters the substitute distributions without requiring supervision at any level. The second model represents the co-occurrences of words with their substitute words, and thus incorporates the word identity and context information at the same time. To construct the co-occurrence representation, this model discretizes the substitute distribution. The third model uses probabilistic voting to estimate the distribution of tags in a given context. Unlike the first and second models, this model requires the availability of a word-tag dictionary which can provide all possible tags of each given word. The fourth model proposes two extensions to the standard HMM-based tagging models in which both the word identity and the dependence between consecutive tags are taken into consideration. The last one introduces a generative probabilistic model, the noisy channel model, for the tagging tasks in which the word-tag frequencies are available. In this model, each context C is modeled as a distinct channel through which the speaker intends to transmit a particular tag T using a possibly ambiguous word W . To reconstruct the intended message (T ), the hearer uses the distribution of possible tags in the given context Pr(TC) and the possible words that can express each tag Pr(W T ).The models are applied and analyzed on NLP tagging tasks with different characteristics. The first two models are tested on unsupervised part-of-speech (POS) induction in which the objective is to cluster syntactically similar words into the same group. The probabilistic voting model is tested on the morphological disambiguation of Turkish, with the objective of disambiguating the correct morphological parse of a word, given the available parses. The HMM-based model is applied to the part-of-speech tagging of English, with the objective of determining the correct POS tag of a word, given the available tags. Finally, the last model is tested on the word-sense disambiguation of English, with the objective of determining the correct sense of a word, given the word-sense frequencies.