Video concept classification and retrieval

Abstract

Video içerikleri içerisinde arama ve geri getirme bilgisayarlı görme alanındayükselen bir konudur. Bu alandaki zorluklar iki başlık altında toplanabilir; videoimgeleri içerisindeki anlamsal bilginin çıkarımı kolay bir iş değildir ve videoiçeriklerini analiz edebilmek için yüksek verimlilikteki algoritmalara ihtiyaçduyulmaktadır. Bu alanda çalışan araştırmacılar anlamsal bilginin çıkarılmasıkonusuna 20 yılı aşkın bir süredir eğilmektedir ve bu alandaki iyileştirmelere halaihtiyaç duyulmaktadır. Son yıllarda bilgisayar mimarilerinin verimliliğinde yaşananartışlar hem algoritmaların başarımlarını hem de karmaşıklıklarını artırmıştır ki buda efektif algoritma seçimine yeni bir boyut kazandırmaktadır. Bu tezçalışmasında, amacımız video verileri içindeki görsel kavramların arama ve gerigetirme uygulamalarına yönelik sınıflandırılmasıdır. Bu amaç doğrultusunda görselkavram sınıflandırma ve geri getirme bazlı bir sistem öneriyoruz. Günümüzdeçokça tercih edilen iki görsel sınıflandırma yaklaşımını sistemimize entegreediyoruz; `Kelime Kümesi` yaklaşımı ve `Evrişimsel Sinir Ağları` yaklaşımı. Bunaek olarak, kelime kümesi temsili ve evrişimsel sinir ağları aşamalarındaoptimizasyonlar yaparak, öğrenme algoritmalarının başarımlarını artırıyoruz. Gerigetirme için kavram ve örnek tabanlı sorgulama yöntemlerinin gösteriminiyapıyoruz ve literatürde en çok tercih edilen Oxford Buildings ve Paris verikümeleri üzerinde sonuçlarımızı görselliyoruz. Sonuçlar gösteriyor ki, kelimekümesi temsili ve evrişimsel sinir ağları aşamalarında yapılan optimizasyonlaryüksek performans artışlarını olası kılmaktadır ve derin öğrenme tabanlı metodlarkelime kümesi yaklaşımından daha iyi sonuçlar vermektedir.

Search and retrieval in video content is a trending topic in computer vision.Difficulties of this research topic is two folds; extracting semantic information fromstructure of video images is not a simple task and demanding nature of videocontent requires efficient algorithms. Semantic information extraction is challengedby researchers for more than two decades, yet new improvements are stillwelcome by the community. Recent burst of efficient computer hardwarearchitectures has exploited both accuracy and complexity of many algorithmsadding a new dimension to the efficient algorithm selection. In this thesis, our goalis to classify visual concepts in video data for content-based search and retrievalapplications. To this end, we introduce a complete visual concept classificationand retrieval system. We use two state-of-the-art methods, namely `Bag-of-Words`(BoW) and `Convolutional Neural Network` (CNN) architecture for visual conceptclassification. The performance of the classifiers is further improved by optimizingthe processing pipeline steps. For retrieval, we provide concept- and content-based querying of video data and perform evaluations on Oxford Buildings andParis datasets. Results show that, a substantial performance gain is possible byoptimizing processing pipelines of the classifiers and deep learning basedmethods outperform the BoW.