Evaluation of web image search engines

Abstract

Günümüzde internetde bir çok resim var ve bu sayı her geçen gün hızla artıyor. Çok çeşitli resimleri internetde insanlar paylaşıyorlar. Yığın halini oluşturmuş bu resimleri uygun bir görsellikte sunmak önemli bir araştırma konusu olmuştur. Çoğu arama motoru için resim arama önemli bir özellik olmuştur. Bu özelliği kullanan bazı arama motorları; Google, Yahoo ve Bing... İnternetde milyonlarca web sayfası ve belki daha fazlasında resim var. Resim arama motorları kullanıcıların internetde resimlerin içeriklerine göre arama yapmalarına izin verir. Resimler, içlerinde çok değerli bilgiler saklar. Tek tek dökümanlara gidip bilgi aramaktansa bazen resmin içindeki bilgilerden aranan konuya daha hızlı ulaşılabilinir. Döküman arama motorlarının çalışma yapıları, algoritmaları daha ayrıntılı olarak biliniyor. Bununla beraber, resim arama motorlarının çalışma şekli ve metotları umumî değil. Buna ilaveten, resim arama motorlarının dayanıklılığı veya zayıf noktaları çok araştırılmamış. Bu tezde, resim arama motorlarının bazı metotlarının çalışmasını keşfetmeye çalıştık ve onların güçlü ve zayıf yönlerini anlamaya çalıştık. Farklı yönlerden Google ve Bing resim arama motorlarını değerlendirdik. Resim arama motorları için çok önemli problemlerden birisi; aranan sorgu için dönen resimlerin doğruluk oranlarıdır. Hem popular, hem de az popüler sorgular için resim arama sonuçlarının doğruluklarını inceledik. Aynı zamanda döküman arama ile resim aramalarının doğruluk değerlerini karşılaştırdık. Bunlara ek olarak, değerlendirdiğimiz iki resim arama motorları herhangi bir içerik analizi yapıp yapmadıklarını inceledik. Ayrıca resim arama motorlarının alakasız sonuçlar vermesinin bazı sebeplerini araştırdık. Farklı konular için çeşitli sorgu kümeleri belirledik. Bunları her iki resim arama motorlarının regüler sayfalarına el ile girdik. Aynı zamanda, dönen sonuçların ilgililiğini el ile değerlendirdik.

There are many images on the public web and this number is increasing every day. People share many kinds of images. Retrieving relevant images among this huge image collection is a challenging task. Therefore, Image Search has become popular feature in many search engines, including Google, Bing and Yahoo. On the web, there are billions of web pages and images. Image search engines aim to retrieve relevant images for submitted queries by its users. Images contain very valuable information. Sometimes, using this information is easier than going through many web pages. Main algorithms of document search engines are known pretty well. However, the algorithms of image search engines are less clear and they are not public. In addition, the strengths and weaknesses of image search engines are not studied much. In this thesis, we try to uncover some of the methods used by web image search engines and try to figure out some of their strengths and weaknesses. We evaluate various aspects of Google and Bing Image Search Engines. A very important problem for image search engines is the relevancy of retrieved images for submitted queries. We investigate the precision of image search results for both popular and less popular entities. We also compare the precision values of document search and image search. In addition, we investigate whether these two image search engines employ any content based image retrieval methods. Moreover we investigate some of the reasons for image search engines to return irrelevant results. We determined various kinds of query sets for different topics and submitted them to these two image search engines manually using their regular web interfaces. We also evaluated the returned results manually for relevancy.