Automatic performance evaluation of information retrieval systems using data fusion
- Global styles
- Apa
- Bibtex
- Chicago Fullnote
- Help
Abstract
ÖZET VERİ BİRLEŞTİRME YÖNTEMLERİ KULLANARAK BİLGİ ERİŞİM SİSTEMLERİNİN PERFORMANSININ OTOMATİK OLARAK DEĞERLENDİRİLMESİ Rabia Nuray Bilgisayar Mühendisliği, Yüksek Lisans Tez Yöneticisi: Prof. Dr. H. Al tay Güvenir Ağustos, 2003 Deneysel olarak bir bilgi erişim sisteminin (arama motorunun) etkinliğinin ölçümü belgeler, bir sorgu kümesi ve her sorguya ilişkin bir küme belgeden oluşan bir test koleksiyonu gerektirir. İnsanlar tarafından yapılan değerlendirmeleri pahalı ve özneldir. Buna ek olarak veri tabanları ve kullanıcıların ilgi alanları çok çabuk değişmektedir. Bu nedenle arama motorlarının performansını otomatik olarak değerlendirecek bir yönteme büyük gereksinim duyulmaktadır. Ayrıca son çalışmalar insan değerlendirmelerindeki faklılığın sistemlerin bağıl performansını etkilemediğini göstermiştir. Bu gözlemlere dayanarak, bu tezde veri birleştirme yöntemlerini kullanarak insan değerlendirmelerini otomatik değerlendirmeler ile değiştirmeyi öneriyor, kullanıyor, ve yeni bir yöntem sunuyoruz ve bu yöntemin birçok Text Retrieval Conference (TREC)' de uygulamasının sonuçlarını gerçek insan değerlendirmeleri ile anlamlı ve pozitif uyuşumunu ayrıntılı gösteren istatistiksel değerlendirmelerini gösteriyoruz. Bu tezin önemli katkıları şunlardır: (1) veri birleştirme algoritmalarını literatürde ilk defa kullana bir otomatik değerlendirme yöntemi (2) özdevinimli yöntem ile insan değerlendirmeleri arasında yüksek uyuşum amaçlayan sistem seçme yöntemleri (3) önerilen bu yöntemin bulduğu duyarlık değerlerinin gerçek duyarlık değerlerine güçlü uyuşumunun olduğu gerçeğinden kaynaklanan birkaç farklı pratik faydalar ve yeniliklerdir. Anahtar Sözcükler: otomatik performans değerlendirme, veri birleştirme, bilgi erişim sistemleri, sosyal refahlık fonksiyonları, sistem performans tahmini, TREC. iv ABSTRACT AUTOMATIC PERFORMANCE EVALUATION OF INFORMATION RETRIEVAL SYSTEMS USING DATA FUSION Rabia Nuray M.S. in Computer Engineering Supervisor: Prof. Dr. jh. Altay Güvenir August, 200b The empirical investigation of the effectiveness of information retrieval systems (search engines) requires a test collection composed of a set of documents, a set of query topics and a set of relevance judgments indicating which documents are relevant to which topics. The human relevance judgments are expensive and subjective. In addition to this databases and user interests change quickly. Hence there is a great need of automatic way of evaluating the performance of search engines. Furthermore, recent studies show that differences in human relevance assessments do not affect the relative performance of information retrieval systems. Based on these observations, in this thesis, we propose and use data fusion to replace human relevance judgments and introduce an automatic evaluation method and provide its comprehensive statistical assessment with several Text Retrieval Conference (TREC) systems which shows that the method results correlates positively and significantly with the actual human based evaluations. The major contributions of this thesis are: (1) an automatic information retrieval performance evaluation method that uses data fusion algorithms for the first time in the literature, (2) system selection methods for data fusion aiming even higher correlation among automatic and human-based results, (3) several practical implications stemming from the fact that the automatic precision values are strongly correlated with those of actual information retrieval systems. Keywords: automatic performance evaluation, data fusion, information retrieval system, social welfare functions, system performance prediction, TREC. in
Collections