Helping metonymy recognition and treatment through named entity recognition

Abstract

İnternet ve bilgisayar kullanımı insanların hayatında gittikçe daya büyük bir yer kap-lamaya başlamıştır. Özellikle Web 2.0'la birlikte kullanıcılara içerik yaratma ve değiş-tirme imkanın da sağlanması, insanların araştırmalarını ansiklopedi ve kitaplar yerineinternet üzerinden yapmaya teşvik etmektedir. Bu denli dijitalleşme bilgisayarlardakiverilerin boyutunun son yirmi yılda tahmin edilemeyecek kadar büyük boyutlara ulaş-masını sağlamıştır. Veri hacmindeki bu büyüme verilerin otomatik işlenmesinin ne ka-dar önemli ve elzem bir hale geldiğini kuşkusuz ortaya koymaktadır.Bilgisayar ve internet üzerindeki veriler yapılandırılmamış verilerdir. Diğer bir deyişledoğal dil olarak adlandırılan, bireylerin kullandığı insan dilidir. Dolayısıyla bu verilerinsanlar için anlam taşırken bilgisayarlar için anlamsızdır. Bilgisayarların bu verileriotomatik işleyebilmesi için anlaması şarttır. Bilgisayarların insan dilini anlaması ve çö-zümlemesi için yapılandırılmamış bu verilerin yapılandırılmış bir hale getirilmesi gerek-mektedir. Yapılandırılmamış verilerin yapılandırılması ile ilgilenen bilim dalına DoğalDil İşleme (Natural Language Processing - NLP) adı verilir. Doğal Dil İşleme yapayzeka ve dilbilim çalışma alanlarının alt kategorisidir.Adlandırımış Varlık Tanıma (Named Entity Recognition - NER) ve Kelime AnlamdaAnlam Ayrımı(Word Sense Disambiguation - WSD) birçok alt dalı bulunan Doğal Dilİşlemenin ana görevlerinden ikisidir. Adlandırılmış Varlık Tanıma, bir metinde geçenanlamlı kabul edilebilecek kelime ve kelime gruplarını tanıyarak sınıflandırma ve özüt-leme işlemidir. Sınıflandırılmak istenen sözcük öbekleri çalışılan alana göre değişikliklergöstermektedir; örneğin bu öbekleri yüzdeler, tarihler, mesafeler, kişi isimleri, yer isim-leri, firma isimleri vs şeklinde çeşitlendirmek mümkündür. Kelime Anlamda AnlamAyrımı ise Doğal Dil İşlemenin açık sorunlarından birisidir. Kelime Anlamda AnlamAyrımı bir kelimenin, birden fazla anlamı olması halinde, bir cümle içerisinde hangianlamında kullanıldığını tespit etmeye yarayan çalışma alanıdır. WSD kelimelerin söz-lük anlamları, bir diğer deyişle gerçek anlamları arasında araştırma yapar. WSD'nabenzer ve alt kategorisi olarak kabul edilebilecek bir diğer çalışma ise Figüratif Dil İş-leme (Figurative Language Processing)'dir. Figüratif Dil İşlemenin amacı kelimelerin ve sözcüklerin sözlük anlamları dışında mecazi kullanımlarını tespit etmektir.Bizim üze-rinde çalıştığımız proje Adlandırılmış Varlık Tanıma yardımıyla ad aktarması (mecaz-ımürsel) tanıma ve çözümleme projesidir. Ad aktarması benzetme amacı güdülmeden,varolan bir ilişkiye referans vererek bir kavramın başka bir kavram yerine kullanıl-masıyla oluşan mecazdır. Ad aktarması tanıma ve çözümleme çalışmaları denetimli,denetimsiz ve istatistiksel metotlar kullanılarak gerçekleştirilir. Ad aktarması çalışma-ları genelilkle Seçmesel Kısılama İhlalleri (Selectional Restriction Violations – SRVs)ve dilgisi kurallarında aykırılıklar incelenerek yapılır. Projemiz üç bölüme ayrılmıştır.Bunlardan birincisi, mevcut etiketleme araçları kullanılarak ad aktarması çözümlemesiyapılacak metnin ön işlemesini yapmaktır. İkinci bölümde ön işlemesi yapılmış, etiket-lenmiş metne seçmesel kısıtlama ihlalleri ve dilbilgisi kuralları gözetilerek oluşturduğu-muz kural tabanlı algoritma uygulanır. Bu uygulama verilen bir adlandırılmış varlığınad aktarması olup olmadığı tespit etmeye çalışır. Üçüncü ve son kısımda ise eğer sonuçad aktarması ise bu ad aktarmasının türünü belirlemek, bir diğer deyişle gizli kavramıbulmaktır.

Internet and computers has become more and more important in human life. Especiallywith Web 2.0, the permission given to surfers of not only reading but also changingthe content has encouraged humans to change their habits of explorations. Nowadaysmankind use internet instead of encyclopaedias and books. This undeniable growth ofdigitalism put forth the importance of automatically processing of the data. Automati-cally processing the content means turning unstructured data into structured data. Byunstructured data we connote human language – natural language data. This treat-ment is necessary for computers to understand the natural language content. NaturalLanguage Processing (NLP) is the discipline behind this process. NLP is a subcategoryof artificial intelligence and computer linguistics.Named Entity Recognition (NER) and Word Sense Disambiguation (WSD) is two ofthe major tasks of NLP. NER is the classification and extraction process of word(s)considered significant in a text. This significant word(s) can differ according to field.For example, this entities may be percentages, dates as well as person names, locationnames and company names, etc. WSD is an open problem in NLP. It consists ofidentifying the sense of a word, when having multiple meaning, in a sentence. WSDtries to identify litteral expressions of a word, not figurative expressions. FigurativeLanguage Processing is the study similar and all but subfield of WSD. FigurativeLanguage Processing concentrates on determining figurative expressions except litteralexpressions.Our project is based on metonymy recognition and resolution through named entityrecognition. Metonymy is a figure of speech which consists by using a concept b to referto concept a, without intending analogy. The existing methods of metonymy resolutiondepends on supervised and unsupervised methods as well as statistical approaches. Thecommonly used approaches are catching the Selectional Restriction Violations (SRVs)and deviations from grammatical rules. We consider our project having three parts.First part is to pre-process the given text. Pre-processing is necessary for further treatment. Pre-processing consists of lemma-tization, part-of-speech tagging, NER tagging, dependency tagging and WSD treat-ment. The second part is metonymy recognition, in other words detections of possiblemetonymies. Metonymy recognition is realized via named entities' SRVs. It is doneby a rule based algorithm. The last and the third part is metonymy resolution whichconsists of determining metonymic relation.