A multi-instance based learning system for scene recognition

Abstract

Sahne tanıma problemi, bilgisayarlı görünün sıklıkla çalışılan alanlarından biridir. Bu problemin amacı, gözlenen bir resmin çekildiği ortama ait etiketin bulunmasıdır. Resmin içerisindeki genel mekansal düzenlemeler, nesnelerin gözlenmesi ve bunların konumları gibi çeşitli görsel ipuçları bir sahnenin kategorize edilmesine yardımcı olabilir. Ayrıca, birbirine çok benzeyen sahneler fotoğraflanmaları sırasındaki bakış açılarına göre görsel olarak çeşitlilik gösterebilirler. Bu tip yerleşim değişikliklerini ele almak adına, bu tezde çoklu alan seçimi tabanlı bir yaklaşım önerilmektedir.Bu amaçla, öncelikle aynı sahnenin resimlerine ait paylaşılan ve temsil edici büyük alanların elde edilmesine dair yeni bir yöntem önerilmektedir. Daha sonra bu alanlar bir çoklu örnekle öğrenme sisteminde değerlendirilmektedir. Böylelikle, sahneye ait genel yapının yakalanması amaçlanmaktadır. Ayrıca bu genel yapı, yerel yapının ayırt edici parçalar cinsinden kodlandığı yerel bir yaklaşım ile birleştirilmektedir. Ek olarak son dönemde popüler olan derin sinir ağları kullanılarak daha önce elde edilen büyük alanlar ifade edilmekte ve bu gösterim hem çoklu örnekle öğrenme sistemi ile, hem de VLAD gösterimi ile kodlanmaktadır. Hem genel ve yerel yapıdan, hem de çeşitli kodlama yöntemlerinden gelen bilgilerin birleştirilmesi amacı ile gözetimli bir sonradan birleştirme yöntemi sunulmaktadır. Birleştirmenin, farklı yöntemlere ait bilgilerin tamamlayıcı yapısını ortaya çıkardığı, sahne tanıma probleminde sıklıkla kullanılan MIT-İç mekan, 15-Sahne and UIUC-Spor veri kümeleri üzerinde yapılan deneyler ile gösterilmiştir.

Scene recognition is a frequently-studied topic of computer vision. The aim in scene recognition is to predict the general environment label of a given image. Various visual elements contribute to the characterization of a scene, such as its spatial layout, the associated object instances and their positions. In addition, due to the variations in photographic arrangements, similar scenes can be photographed from quite different angles. In order to capture such intrinsic characteristics, in this thesis, we introduce a multi-region classification approach for scene recognition. For this purpose, we first introduce a novel way of extracting large image regions, which are expected to be representative and possibly shared among the images of a scene. We utilize these candidate image regions within a multiple instance learning framework. In this way, we aim to capture the global structure of a given scene. This global representation is then combined with a local representation, where local structures are encoded using a discriminative parts approach. Furthermore, we use recently popular deep network structures to represent our large regions and encode these via both multiple instance learning and VLAD representation. In order to merge information from both global and local characteristics and also from different encodings, a supervised late fusion method is performed and shown to capture complementary information in the experiments performed on commonly used scene recognition datasets MIT-Indoor, 15-Scenes and UIUC-Sports.