Robust content-based copy detection and information theoretic indexing strategies

Abstract

Günümüzde her bir dakikada 100 saatlik video YouTube'a yüklenmektedir. 2015'in sonu itibariyle 500 milyar saat video, Internet televizyonculuğu, ısmarlama video ve sosyal ağlar gibi çeşitli kaynaklardan seyredilebilir olacaktır. Bunun sonucunda da telif haklarının yönetimi, sayısız kopya ve içerik keşfi gibi önemli ve kaçınılmaz sorunlar ortaya çıkacaktır. Elbette, bu problemler içerik sahipleri ve video içerik veritabanı sağlayıcıları için muazzam kayıplara sebep olurken kullanıcıların memnuniyetini de azaltacaktır. Bu bağlamda, bahsedilen bu problemlerin çözümünde etkili kopya video seziminden yararlanılabilir. İçerik tabanlı kopya sezimi, aktif kopya sezimi yöntemi olan gizli damgalamaya karşı geçerli bir seçenek olarak ortaya çıkmaktadır.Bu tezde, bir içerik tabanlı kopya sezimi sisteminin yapıtaşları incelenmiştir. Öncelikle, uzamsal bilgiden bağımsız görsel öznitelikleri kullanan özgün uzamsal-zamansal global temsil yöntemi önerilmiştir. Bu yöntem, yerel ilgi noktaları temelli sezim yöntemi ile geliştirilmiş ve global temsil yaklaşımlarına üstünlüğü kapsamlı benzetimler ile gösterilmiştir. Bununla birlikte yerel öznitelik yaklaşımlarının etkinliği video içerisinden çıkarılan ilgisiz ve gereksiz özniteliklerden dolayı sınırlanmaktadır. Ayrıca, büyük ölçekte dizin büyüklüğü ve denk düşen hafıza kayda değer bir darboğaz oluşturmaktadır. Dizin büyüklüğünün azaltılması ve bu sırada referans öznitelik veritabanının ayırt ediciliğinin arttırılması için bilgi teorisine dayalı indeksleme yöntemi önerilmiştir ve sunulan entropi kestirimi ile geliştirilmiştir. Bu kestiricinin sade frekansçı tekniklere göre daha gürbüz sonuçlar ürettiği gösterilmiştir. Ayrıca, kapsamlı deneyler önerilen yöntemin referans özniteliklerin yalnızca bir bölümünün endekslenmesiyle aynı kestirim başarımı ve hatta bazı değişimlerde tam indeksleme ile daha önce elde edilemeyen $0.00$ Düzgelenmiş Kestirim Maliyet Oranı (DKMO) elde edilmiştir. Bu temel üzerinde genişletilerek, zamansal hacim içerisindeki yerel özniteliklerin dağılımının kullanılması için bir yöntem geliştirilmiştir. Bu yaklaşım ile çoğu değişim için zamansal bilginin kullanılmadığı yönteme göre DKMO'da /%31 ile /%83 arasında iyileşme gözlemlenmiştir. Son olarak, bir video karesi içerisindeki birden fazla özniteliğin bağımlılığının işlenebilmesi için /emph{etkileşim bilgisinin} esasları tartışılmış ve içerik tabanlı kopya sezimi için görsel öbek temsili yöntemi getirilmiştir. Deneysel değerlendirmeler önerilen görsel öbek gösteriminin ve çok-değişkenli öznitelik seçimi yaklaşımlarının en gelişkin yöntemler ile rekabet edebildiğini göstermiştir.

Today, 100 hours of video is uploaded /emph{every minute} to YouTube. By the end of 2015, 500 billion hours of video will be viewable from wide range of sources such as on demand video, Internet-based television and social networks. As a result important and unavoidable problems arise; management of the copyrights, numerous duplicates and content discovery. Obviously these problems may generate tremendous loss for content owners and broadcasting/hosting companies while diminishing user satisfaction. Accordingly, efficient duplicate video detection can be utilized for the solution of the aforementioned problems. Content Based Copy Detection (CBCD) emerges as a viable choice against active duplicate detection methodology of watermarking.In this thesis, building blocks of a content-based copy detection system are investigated. A novel spatio-temporal global representation is initially proposed that exploits visual features independent of the spatial information. This system is improved by a local interest point-based detection pipeline and it is shown to outperform global representation approaches through extensive simulations. On the other hand, it is observed that accuracy of local feature approaches is often limited by the presence of uninformative and redundant features extracted from the frame. Moreover, at large scale index size and corresponding amount of memory becomes a significant bottleneck. In order to decrease the index size while increasing the discriminativeness of the reference feature database, a novel information theoretic indexing method is proposed and improved further by the introduced entropy estimator. This estimator is shown to yield more robust results compared to naïve frequentist techniques. Furthermore, in comprehensive experiments using the proposed method, it has been shown that only with a fraction of the reference features same detection performance and even for some transformations $0.00$ Normalized Detection Cost Rate (NDCR) is achieved, which was not possible previously with full indexing. Extending this foundation, another method to exploit distributions of local features in a temporal volume is also provided. With this temporal approach, for most of the transformations $31/%$ to $83/%$ improvement on NDCR is observed. Finally, in order to capture the dependence of multiple features in a given frame fundamentals of /emph{interaction information} is discussed and a visual phrase representation for content-based copy detection is introduced. Experimental evaluations show that the proposed visual phrase representation and multivariate feature selection approaches are competing with the state-of-the-art.