Multiword expression detection using word vector representations

Abstract

Çok sözcüklü ifadeler iki ve ya daha fazla sözcüğün geleneksel olarak dilde bir araya geldiği ifadelerdir. Çok sözcüklü ifadelerin çoğunda, kelimeler yeni bir anlam oluşturmak için bir araya gelirken kendi anlamlarını kaybederler. Son yapılan doğal dil işleme çalışmalarında, kelimelerin/kelime kombinasyonlarının anlamı sözcük temsilleri ile ifade edilir. Bu yaklaşımda,komşu sözcüklerin verilen hedef kelime ile ilgili bilgiyi taşıdığı kabul edilir.Bu tez çalışmasının amacı, Türkçe'de çok sözcüklü ifadelerin tespitinde sözcük temsillerinin kullanımını araştırmaktır. Kelimeler çok sözcüklü ifadeler oluşturmak için bir araya geldiğinde vektör temsillerinde anlam değişikliği ya da kaybı olduğu kabul edilir.Bu tezde, çok sözcüklü ifade adaylarının ve adayları oluşturan sözcüklerin sözcük temsil vektörleri (gövde ve yüzeysel form) beş farklı temsil yöntemi ile oluşturulmuştur. Çok sözcüklü ifade adaylarının vektör temsili on farklı sınıflandırıcıya girdi olarak verilmiştir. Sınıflandırma performansı 5-katlı çapraz doğrulama yöntemiyle F1-skoru kullanılarak ölçülmüştür. Deneylerde gövdelemenin çok sözcüklü ifade çıkarımında performansı geliştirmediği görülmüştür. Bununla beraber, çok sözcüklü ifade tespiti deneylerinde diğer yöntemlerden sürekli olarak üstün olan bir sınıflandırma yöntemi olmadığı gözlenmiştir.

Multiword expressions (MWE) are statements in which two or more words are combined traditionally in language. In most of multiword expressions, words combine losing/changing their own meanings in order to create a new one. In recent natural language processing studies, the meanings/senses of the words/word combinations are expressed by word vector representations (word embeddings). In vector representation, it is assumed that the neighbouring words hold the information regarding to the given target word in language.The aim of this thesis is to explore the use of word representations in multiword expression detection in Turkish. We assumed that as the words combine to build up an MWE, they modify or lose their meanings resulting with a change in the vector representation.In this thesis, word vectors of MWE candidates (both stemmed and surface forms)and composing words are built up by five different representation methods. The vector representation of MWE candidates are given as inputs to ten different types of classifiers. The classification performance is measured by F1 score with 5-fold cross validation. The experimental results showed that stemming does not improve the performance of MWE extraction when vector representations are used. In addition, it is observed that there exists no classification method that outperforms the others continuously in MWE detection experiments.