Evaluation of turkish text information retrieval using relational databases versus information retrieval systems

Abstract

Günümüzde birçok uygulama çeşitli nedenlerden dolayı tam metin arama özelliklerine ihtiyaç duymaktadir. Geneneksel olarak tam metin arama Bilgi Erşimi (BE) alanına girmesine rağmen, birçok İlişkisel Veritabanı Yönetim Sistemi (İVTYS) sağlayıcıları da tam metin arama özelliklerini ürünlerine eklemeye başlamışlardır.Bu tezde Bilgi Erişimi Sistemlerinin ve İlişkiseş Veri Tabanı Sistemlerinin metin geri getirme performanslarının yanısıra geri getirme ve dizin oluşturma sırasındaki hızlarıda karşılaştırılmıştır. Bu karşılaştırma işlemi Türkçe için hazırlanmış olan içinde 408,305 döküman ve 72 test sorgusu içeren Text REtrieval Conference (TREC) benzeri bir döküman kolleksiyonu üzerinde yapılmıştır. Dillere özgü işlemelerin farklı sistemler üzerindeki etkileri incelenmiştir. Ayrıca çeşitli sorgu uzunluklarının ve sorgu işleçlerinin geri getirim performansı üzerindeki etkileri de incelenmiştir. Dillere özgü ön işlemelerin bütün sistemlerin geri getirim performanslarını artırdığı bulunmuştur. İlişkisel veritabanları genel olarak uzun sorgularda yavaş çalışmaktadır.

Many of today's applications have a need for full-text search capabilities for various reasons. Although full-text search has traditionally been the domain of Information Retrieval (IR), nowadays popular Relational Database Management Systems (RDBMS) started to implement functionalities that support full-text indexing and searching.The present thesis covers a comparison of the text retrieval performances of relational databases and IR Systems, as well as a comparison of the execution times during indexing and retrieval tasks over a Text REtrieval Conference (TREC)-like test collection for Turkish that contains 408,305 documents and 72 ad hoc queries. The effects of language specific processing for different systems are investigated. Also the effects of different query lengths and operators on retrieval performance are investigated. It is found that language specific preprocessing improves retrieval performance for all systems. Relational Databases are generally slower with longer queries.