İnsan hesaplama ve bilgisayar oyunları ile resim etiketleme

Abstract

Kullanılan yazılım, donanım ve ilgili teknikler her ne kadar çok gelişmiş olsa da bilgisayar ile otomatik resim tanımlama problemine kesin bir çözüm bulunamamıştır. Bu konuda yaşanılan sorun ve zorlukları azaltmaya yardımcı olabilmek için insanın beyin gücünü ve yüksek algı kapasitesini kullanan yarı otomatik yeni yaklaşımlar geliştirilmekte ve denenmektedir. Bu yaklaşımlardan biri insan hesaplama yaklaşımıdır, ve otomatik olarak çözülemeyecek bir problemi bir oyun içine yedirerek problemin insan zekası ile çözülmesi prensibine dayanır. Böylelikle, insanların boş zamanlarını hem eğlenerek geçirmeleri, hem de zor bir problemin çözümüne katkı yapmaları eş zamanlı sağlanmış olmaktadır. Bu yaklaşımla geliştirilmiş bazı resim etiketleme oyunları şunlardır: görüntülerde nesnelerin yerini belirlemeye yardımcı Peekaboom, internet sitelerinin erişilebilirliğine yardım etmek için resimlerin bilgilerini toplayan Phetch, Verbosity ve ESP game. Bu tez kapsamında resim etiketleme problemini insan hesaplama yöntemi ile çözen benzer bir sistem tasarlanmış ve gerçekleştirilmiştir. Hesaplamada insan unsuru devrede olduğu için resim etiketleme kültürden kültüre farklılık arzeder. Geliştirilen sistem bu nedenle yerel kültüre ait resim kütüphanelerini etiketlemek için kullanılmış ve sistemin performans değerlendirmesi yapılmıştır.

Despite the recent advances in software, hardware and related techniques, no satisfactory solution to date has been developed for fully automated image labeling problem. Hence, to ease the problem, the recent work in the literature studied semi-automated approaches which mostly depend on leveraging the computational power of human brain. Human computation is one of such approaches, and based on the principle of injecting hard (for computers) problems into computer games. Clearly, while entertaining with such games, people are essentially contributing to the solution of the respective hard problem. There are several computer games developed at solving image labeling problem, including Peekaboom, Phetch, Verbosity and ESP game. In the context of this thesis, yet another human computation based image labeling system is designed and implemented. Since the computation is human-centric, image labeling differs from culture to culture. For this reason, the system is used to label images belonging to the local culture. The work also presents the performance evaluation of the system.