Hadoop tabanlı büyük ölçekli görüntü işleme altyapısı

Abstract

Hadoop Dağıtık Dosya Sistemi (Hadoop Distributed File System (HDFS)) büyük boyutlu veriyi saklama ve işlemede yaygın olarak kullanılmaktadır. HDFS paralel işleme için MapReduce programlama modelini kullanır.Bu tez ile sunulan çalışma kapsamında MapReduce modeli ile görüntü dosyalarının işlenebilmesi için yeni bir Hadoop eklentisi (plugin) geliştirilmiştir. Eklenti, görüntü ile ilgili girdi ve çıktı dosya formatları ve girdi dosyalarından kayıtları oluşturan yeni sınıfları içerir. HDFS özellikle az sayıda büyük boyutlu dosyalarla çalışması için tasarlanmıştır. Dolayısıyla, önerilen teknik, HDFS'de büyük miktarda küçük boyutlu görüntü dosyası kullanımından kaynaklanan performans kayıplarını önlemek için, imgelerin birleştirilerek büyük boyutlu dosyalara dönüştürülmesini temel almıştır. Böylelikle, her bir işleyici çok sayıda imgeyi tek çalışma döngüsünde işleyebilir hale gelir.Önerilen tekniğin etkinliği dağıtık görüntü dosyaları üzerinde yüz saptama (face detection) uygulama senaryosu ile kanıtlanmıştır. Başarısı kanıtlanmış olan bu teknikler araştırmacılar ve uygulama geliştiriciler için bu konuda referans olma niteliği taşımaktadır.

Hadoop Distributed File System (HDFS) is widely used in large-scale data storage and processing. HDFS uses MapReduce programming model for parallel processing.A novel Hadoop plugin to process image files with MapReduce model is developed in the work presented in this thesis. The plugin introduces image related I/O formats and novel classes for creating records from input files. HDFS is especially designed to work with small number of large size files. Therefore, the proposed technique is based on merging multiple small size files into one large file to prevent the performance loss stemming from working with large number of small size files. In that way, each task becomes capable of processing multiple images in a single run cycle.The effectiveness of the proposed technique is proven by an application scenario for face detection on distributed image files. This successfull technique and developed plugin may become a reference for researchers and developers in this field.