Real time skeletonization on fpga with a hand tracking application

Abstract

Günlük yaşamda trafik görüntüleme sistemlerinden medikal uygulamalara kadar çok geniş bir alanda görüntü işleme algoritmalarından yararlanılmaktadır. Bu sistemlerin temel fonksiyonları, hareketli nesnenin tespit edilmesi, tanınması ve takip edilmesi olarak listelenebilir. Literatürde, nesnenin iskeletini çıkararak ona ait özelliklerin belirlenmesi tanımlama ve takip uygulamalarının gerçekleştirilmesinde sıklıkla kullanılmaktadır. İskeletleştirme tekniği verinin gereksiz kısımlarını atarak nesneye ait özellikleri çok daha az bir veriyle tanımlar. Bu açıdan kaynak tüketimi ve hız açısından avantaj sağlayan bir ön –işleme adımıdır. Bu çalışmada ise, iskeletleştirme tekniği gerçek zamanlı çalışma gereksinimlerini sağlayacak şekilde FPGA üzerinde gerçeklenmiştir. Literatürde bulunan iskeletleştirme algoritmalarının büyük bir kısmı mükemmel iskelet tanımına yakın sonuçlar elde etmek için gerçek zamanlı çalışma gereksinimlerini sağlayamayacak kompleks matematiksel yöntemler kullanmaktadır. Bu nedenle gerçek zamanlı çalışma hızını yakalayabilecek ve FPGA'de gerçeklemeye uygun bir algoritma seçilmiş ve algoritmaya elde edilen iskeletin performansını arttırıcı eklemeler yapılmıştır. Genişletilmiş algoritma, FPGA'de paralelleştirilerek gerçeklenmiş ve sistemin saniyede işlediği görüntü sayısı arttırılmıştır. Hem algoritma hem de donanım tasarımı literatürde bu tarz sistemlerin karşılaştırılmasında en çok kullanılan parametrelere göre değerlendirilerek algoritmik performansı ve gerçekleme performansı açısından karşılaştırılabilir bir çalışma hazırlanmıştır. Ayrıca, tasarlanan iskelet bulma sistemi uzaktan televizyon kontrolünü sağlayan bir el takip uygulamasında test edilmiştir.

People benefit from various systems based on image processing technology throughout their daily routine. Main functions of such systems include object detection, matching, tracking, etc. Skeletonization forms the backbone of many tracking and matching applications. Skeletonization converts most of the original foreground pixels to background pixels while preserving the skeletal residue on the binary image by eliminating the redundant part. Thus, the shape is represented with small amount of data and analysis of the shape requires less time and resource. In this study a real time skeletonization system is implemented on FPGA. The computational complexity of the skeletonization algorithms highly increases to reach a performance close to perfect skeleton. This complexity makes it impossible for the systems to cope with real time requirements. Thus, in this work an FPGA suitable algorithm is elected for the implementation and the algorithm is extended by adding new rules to improve the performace of the output skeletons. A fully parallelized architecture is proposed to implement the extended skeleton extraction algorithm on FPGA. Performance of the novel algorithm is evaluated according to the widely acknowledged performance measures for skeletonization research. Resource utilization and timing performance of the FPGA implementation are investigated for comparison with similar systems in literature. Also, the performance of the system is observed on a hand tracking application.