CUDA based real time implementation ofregion covariance descriptors

Abstract

Bilgisayarlı görü uygulamalarında kullanılan yöntemlerin çalışma süreleri gerçek zamanlı uygulamalar için (Örnek:Video İşleme) kritiktir.Uygulanan yöntemlerin gerçek zamanlı performans gösterebilmesi ve başka görevlerin de yerine getirilebilmesi gerekmektedir.Bir algoritmanın saniyede 30 görüntü ve üzerinde uygulanabilmesi gerçek zamanlı video işleme uygulamaları için yeterlidir.Bilgisayarlı görü uygulamalarında işlenen veri en az 2 boyutlu olduğundan algoritma çalışma süresi çoğunlukla veri boyutunun karesi ile orantılı olarak değişmektedir.İşlenen verinin üzerinde çalışılabilmesi için görüntüler bilgisayar tarafından anlamlandırılabilmelidir.Bu noktada görüntü tanımlayıcılar (image features) önemli rol oynar.Görüntü üzerindeki nitelikler çıkartılarak bilgisayar tarafından görüntülerin sınıflandırma,tanıma,karşılaştırma işlemlerinin yapılabilmesi mümkün olmaktadır.Bu tez çalışmasında başarısı kanıtlanmış bir görüntü tanımlayıcı olan fakat işlenen veriye bağlı olarak yavaş çalışma zamanı olan alan kovaryans tanımlayıcıların (region covariance descriptor) gerçek zamanlı uygulamalarda kullanılabilmesi için paralel olarak hesaplanması gerçekleştirilmiştir.Çalışmada GPU üzerinde bir paralel uygulama amaçlanmıştır.Alan kovaryans tanımlayıcılarının hesaplanması ve karşılaştırılması GPU üzerinde paralel bir şekilde yapılarak hem işlemi saniyede 30 görüntü işlenebilecek çalışma süresine getirmek hem de asenkron olarak CPU da başka işlemler yapılabilmesi mümkün olmuştur. Nesne tanımlama ve görüntü sınıflandırma uygulaması olarak literatüre kazandırılan alan kovaryans matrisleri görüntü üzerindeki renk tonları,gradyanlar gibi basit özniteliklerin ortak değişimlerini tanımlayıcı olarak kullanarak güçlü tanımlayıcılar elde etmemize olanak tanımaktadır.Alan kovaryans matrisleri görüntü yumuşatma,nesne takibi problemlerinde de başarılı bir şekilde uygulanmıştır.Alan kovaryans matrisleri Öklid uzayında yer almadığından vektör uzaklık ölçme yöntemleri bu matrisleri karşılaştırmada kullanılamamaktadır. Kovaryans matrisleri simetrik pozitif tanımlı matrisler olduğundan iki matrisin ortak eigen değerlerinin hesaplanması gibi karmaşık hesaplamalar gerektiren bir simetrik pozitif tanımlı matris karşılaştırma yöntemi kullanılmaktadır. Bu işlem ise hesaplama açısından karmaşık olduğundan hem GPU da hesaplanması zor hem de çalışma süresi uzundur. Literatür araştırması sonucu, kovaryans matrisleri karşılaştırmak için hem GPU da hesaplanması mümkün hem de geleneksel karşılaştırma yönteminden daha hızlı çalışan bir yöntem uygulanmıştır.Çalışmada bahsi geçen hesaplama yöntemlerinin paralel uygulanabilirliği,GPU üzerinde çalışma sürelerine etkileri ve verimlilikleri tartışılmıştır.Bu tez çalışmasının ana katkılarından biri de literatürde var olan GPU üzerinde CUDA tabanlı integral görüntü hesaplama yöntemine alternatif olarak daha hızlı calışan ve daha az hafıza kullanılan bir yöntemin önerilmesidir. Önerilen yöntem iki çalışma arasındaki donanımsal herhangi bir gelişmeye bağlı değildir.

Computation time of computer vision applications is critical for real-time applications such as video processing. While applied methods achieve real-time performance, it is also vital to allow processors to work on other tasks. In order to use in real time video processing tasks, an algorithm should achieve 30 frames per second. In computer vision, the input data mostly consists of two dimensions thus running time of most applications are proportional to the square of input size.To allow a computer system to process images, the computer must be able to understand the image. Image descriptors play an important role to help computers with understanding of images. Extracting features from image, classification, recognition, comparison of images becomes possible by using these features with image descriptors. In this study, a parallel implementation of a robust image descriptor called Region Covariance Descriptor on GPU using CUDA is given. While the serial algorithm is not enough for real-time processing, applied parallel implementation achieves real-time performance.In this study, parallel and asynchronous computation of region covariance descriptors on GPU both allows CPU to perform other tasks and achieves 30 images to be processed in a second. Region Covariance Descriptor which is introduced in object recognition and image classification application at first makes it possible to use covariance of basic image features like color, gradients as a robust descriptor. This descriptor is also applied to several image filtering and object tracking problems as well. As region covariance descriptors do not live in Euclidean space, traditional vector distance measurements methods can not be used to compare them. Instead, a symmetric positive definite matrix comparison method which is based on generalized eigenvalue of two matrices is used to compare covariance matrix. But because this method is complex, porting the algorithm to GPU is difficult and execution time takes longer. After our reviews on existing methods, we have replaced traditional covariance matrix comparison method with a metric which is robust, easy and fast to compute on GPU. In this study analysis of these two distance metric calculation methods is also discussed.One of the main contributions of this work is that in this study an existing CUDA based integral image computation on GPU is replaced by a novel approach which works faster and uses less memory than the existing method. We should note that the proposed approach does not leverage any development in hardware between two works.