Real-time image mosaicing and stabilization in unmanned aerial vehicle surveillance

Abstract

Kamera taşıyan mini İnsansız Hava Araçları (İHA) ile yapılan hava gözlemlerinin dünya çapında yaygınlığı artmaktadır. Buna karşı yüksek titreşimler ve hızlı hareketler, bu araçlarda kullanılabilecek cihazlar üzerindeki büyüklük ve ağırlık sınırlamaları ile birleşerek etkili İHA gözlemleri için bir sınır oluşturmaktadır. Bu probleme çözüm getirmek için görüntü stabilizasyonu ve mozaiklemesi üzerine çeşitli çalışmalar olmasına karşı, bu çalışmaların çoğu deneysel aşamada olup hareket sınırlamaları ya da IHA üzerine ek donanım yerleştirilmesini gerektirmektedir. Donanımdan bağımsız, gerçek operasyon koşullarında çalışacak bir çözüm üretmek amacıyla, yeni bir gerçek zamanlı hava görüntüsü stabilizasyonu ve mozaiklemesi sistemi geliştirilmiştir. Sistem Türk ordusunun kırsal operasyonlarda kullandığı ana İHA olan Baykar mini İHA için geliştirilmiş ve deneyseller çalışma ile sınırlı kalmayıp gerçek İHA gözlem görevlerini geliştirecek şekilde tasarlanmıştır. Geliştirilen metotlar Mobil Yer Kontrol İstasyonu yazılımı ile birleştirilip çeşitli birliklere dağıtılmıştır. Gerekli standartları yakalamak amacıyla, gerçek dünya koşullarında gerçek zamanlı çalışmayı etkileyen faktörler incelenmiştir. Uçuş esnasında karşılaşılan görüntülerin sınıflandırılması ve kızıl ötesi ile gün ışığı görüntüler arasındaki farklar araştırılmıştır. En ileri resim eşleştirme algoritmalarını kapsayan bir inceleme yapılmış ve seçilen algoritmalar kapalı alan deneyleri ve uçuş testleri ile denenmiştir. Dayanıklı, isabetli bir gerçek zamanlı mozaikleme ve stabilizasyon algoritmasına ulaşabilmek için gerekli olan optimizasyonlar ve modifikasyonlar yapılmıştır. Çeşitli yaklaşımlar arasında karşılaştırmalar, ?Yer Verisi? olarak basılmış yüksek çözünürlüklü görüntüleri ve konumlandırma aracı olarak 5 eksenli CNC kullanan yeni bir mozaik kalitesi ölçüm metodu yararlanılarak yapılmıştır. Sonuç olarak geliştirilen metotlar mini İHA gözlemi etkinliğini şu an ki sınırlarının ötesine arttırabilmekte ve Yer Kontrol İstasyonu bulunan temel İHA yapılandırmasına uygulanabilmektedir.

Using mini Unmanned Aerial Vehicles (UAVs) equipped with camera for aerial surveillance is an gaining popularity worldwide. However severe vibrations and fast movements coupled with size and weight constraints presents a limit for effectiveness of UAV surveillance. Although there are several studies investigating image stabilization and mosaicing to provide a solution to this problem, most of them are at experimental phase requiring movement constraints or additional hardware installed on UAV. In order to provide a hardware independent solution to work at actual operational conditions, a novel real-time aerial image stabilization and mosaicing system is developed. System is developed for Baykar mini IHA which is the main UAV used by Turkish Military on rural operations. In order to achieve required standards, factors affecting the performance of real-time operation in real-world conditions were analyzed. Classifications of scenery encountered during flights and differences between infrared and day light images were investigated. A survey on current state of art registration algorithms is conducted and selected algorithms are tested in both in-door experiments and flight tests. Necessary optimizations and modifications are done in order to achieve a robust, accurate, real-time mosaicing and stabilization algorithm. Comparisons of several different approaches are done by using a novel mosaic quality measurement method employing printed high resolution images for ?Ground Data? and 5 axis CNC for positioning. Resultant methods are able to increase effectiveness of mini UAV surveillance beyond its current limitations and can be applied to any basic UAV configuration having a Ground Control Station computer.