Analysis of natural language sentences using natural language processing methods

Abstract

oz DOĞAL DİL CÜMLELERİNİN DOĞAL DİL İŞLEME METODLARI KULLANILARAK ANALİZİ BOLAT, SAADETTİN Yüksek Lisans, Bilgisayar Mühendisliği Bölümü Tez Yöneticisi: Yrd. Doç. Dr. Ali Rıza Aşkun Mart, 2005 Bu çalışmada gerçeğe dayalı kısa cevap ve tanımlar içeren web-tabanlı soru-cevap sistemi geliştirilmiştir. Söz konusu sistemde web 'in sunmuş olduğu geniş yelpazeli belgelerden ve bu belgelerin sağladığı bilgi bolluğundan faydalanılmıştır. Doğru cevabı bulmak için atılan ilk adım, sorulan sorunun ne tür cevap gerektiğinin belirlenmesidir. Sistem, elle hazırlanmış kalıplan kullanarak analiz ve sınıflandırma yapmaktadır. Bu kalıplar soru kelimeleri, İngilizce dil bilgisi ve diğer anahtar kelimeler kullanılarak geliştirilmiştir. Tarama sonucu elde edilen verilerin analizi olası cevap alt dizgisini içeren cümle fîltrelenerek puanlandmlmasıdır. En yüksek skorlu beş cevap, olası doğru cevaplar olarak geri döndürülür.Geliştirilen sistem, AnswerBus soru-cevaplama sistemi ile karşılaştırıldığında bir çok ortak yaklaşım içerdiği görülmektedir. Ancak, elde edilen veriler değerlendirildiğinde geliştirilen sistemin daha etkili ve verimli olduğu görülmektedir. Anahtar Sözcükler: Doğal dil işleme, web-tabanlı soru cevaplama sistemleri vı

ABSTRACT ANALYSIS OF NATURAL LANGUAGE SENTENCES USING NATURAL LANGUAGE PROCESSING METHODS BOLAT, SAADETTİN M.Sc, Department of Computer Engineering Supervisor: Asst. Prof. Dr. Ali Rıza Aşkun March, 2005 The aim of this study is to develop a Web-based Question Answering System, which primarily focuses on open domain fact-based short answer questions and also some definition questions. The system takes the advantage of Web which contains enormous amount of documents available online and the redundancy (multiple answer occurrences) available in the Web documents. In order to find a correct answer to a question, the first step is to determine the type of answer that the question asks for. The system analyzes and classifies the questions according to the hand-made question analysis templates. These question analysis templates are based on the question words, English grammar and some other keywords in the questions. It first creates possible sentence substrings and then search engine specific queries. To analyze the retrieved search results, the system applies a series of filters to each sentence containing the iiicandidate answer and a score is given to each sentence. Among all candidate sentences, top 5 ranked sentences containing the answers are returned as possible answers. The performance of our system has been compared to the AnswerBus question answering system which is an online, publicly accessible system on the Web, and similar to our approach in several aspects. According to the evaluation results, our system appeared better than AnswerBus in terms of accuracy. Keywords: Natural Language Processing, Web-based Question Answering System IV