Web arama motorlarında performans değerlendirmesi

Abstract

Bilginin basılı ortamdan elektronik ortama taşınmaya başlandığı günümüzde Internet, çok hızlı artan içeriği ve dünyanın her yanından ulaşılabilmesiyle önemli bir konuma sahiptir. Bu bağlamda, Internet üzerindeki bilgi kaynaklarına erişmek amacıyla kullanlan arama motorlarının performanslarının ne düzeyde olduğu, kullanıcı ihtiyaçlarına cevap verip vermediği, kapsamlarının yeterli olup olmadığı gibi sorular da sık sık gündeme gelmektedir. Bu çalışmada, Alta Vista, Excite, HotBot, Infoseek ve Northern Light adlı arama motorlarının bilgi erişim performansları `kesin isabet` (precision), `göreli erişim isabeti` (relative recall), erişilen ilk 10 ve ilk 20 sonuç arasındaki farklılıklar ve çakışma (overlap) oranlan yönünden değerlendirilmiştir. Değerlendirme, adı geçen arama motorlarının 11 soruya karşılık eriştikleri ilk 20 siteye/belgeye dayanılarak gerçekleştirilmiştir. Değerlendirme sonunda Alta Vista, Excite, HotBot ve Infoseek'in ortalama kesin isabet performanslarının %50 civarında, Northern Light'ın ise %64 olduğu görülmüştür. Ancak beş arama motorunun ortalama kesin isabet oranları arasında istatistiksel açıdan anlamlı bir farklılık olmadığı ortaya çıkmıştır. Öte yandan, adı geçen arama motorlarının ortalama göreli erişim isabeti performansları %14 ile %31 arasında değişmektedir (Infoseek %14, HotBot %21, Excite %23, Alta Vista %24, Northern Light %31). Yapılan testler sonucunda, Infoseek ve Northern Light'ın ortalama göreli erişim isabeti oranları arasındaki farkın istatistiksel olarak anlamlı olduğu görülmüştür. Beş arama motoru tarafından erişilen ilgili belgeler arasındaki çakışma oranı ise %11'dir. Sonuç olarak, arama motorlarının ortalama kesin isabet ve göreli erişim isabeti oranlarının düşük olduğu görülmektedir. Arama motorlarının ortalama kesin isabet oranları birbirlerine benzerlik göstermektedir. Ortalama göreli erişim isabeti oranları açısından ise Infoseek ve Northern Light arasında istatistiksel açıdan anlamlı bir farklılık olduğu belirlenmiştir. Arama motorları aynı konu alanlarında farklı belgeler dizinlediklerinden ve farklı veri tabanlarına sahip olduklarından erişilen ilgili belgeler arasındaki çakışma oranının düşük olduğu ortaya çıkmıştır.

As the information is increasingly moved from printed media to the electronic equivalents in today's world, the Internet has become an indispensable information source with its proliferating contents and accessibility from all over the world. In this context, such questions as the performances of the search engines and if they can meet the users' needs are studied. In this study, information retrieval performances of the five search engines (Alta Vista, Excite, HotBot, Infoseek and the Northern Light) are evaluated in terms of precision, recall, differences between the first 10 and first 20 retrieved results and overlap. The evaluation is based on the first 20 retrieved results of 1 1 queries. As a result of evaluation, it was found that the average precision performances of Alta Vista, Excite, HotBot and Infoseek are around 50% while it is 64% for the Northern Light. However, no statistical significance in terms of average precision ratio among the search engines is observed. On the other hand, the average relative recall ratios of these engines vary between 14% and 31% (Infoseek 14%, HotBot 21%, Excite 23%, Alta Vista 24%, Northern Light 31%). Tests showed that there is a statistical significance between Infoseek and the Northern Light in terms of their average relative recall ratios. The overlap among the relevant documents which are retrieved by all five search engines is 1 1 %. In conclusion, the average recall and precision performances of search engines are low. Search engines are similar to each other in terms of their average precision and recall ratios with the exception of Infoseek and the Northern Light which they differ in average recall performances. Also, it is observed that the overlap ratio among the retrieved results by all five search engines is low, as they index different documents in different subject areas.