Fotometrik stereo tabanlı 3 boyutlu yüz tanıma

Abstract

Literatürde 2B ve 3B yüz tanıma ile ilgili birçok çalışma bulunmaktadır. 2B yüz tanıma teknikleri pozdan, aydınlanmadan, yüz ifadelerinden ve makyajdan olumsuz etkilenmektedir. 3B yüz tanıma teknikleri poz, aydınlanma ve makyajdan bağımsız çalışabilmekte, diğer problemlere de kısmi çözüm getirmektedir. Gerçek uygulamalarda 3B tarayıcılarla 3B yüzlerin elde edilmesi pratik olarak gerçekleştirilememektedir. Fotometrik stereo ile farklı yönlerden aydınlatılmış en az üç adet 2B yüz görüntüsü kullanılarak 3B yüz verileri oluşturulabilmektedir. Bu yöntem, 3B yüz verilerinin hızlı bir şekilde üretilmesini sağlayan maliyet verimli ve kullanışlı yöntemlerden birisidir. Bu tezde 2B görüntülerden fotometrik stereo ile oluşturulmuş 3B veriler kullanılarak 3B yüz tanıma sistemi önerilmiştir. Yapılan deneylerde 64 farklı aydınlanma yönü altında görüntülenmiş 38 bireyin görüntülerinin bulunduğu Yale B ve genişletilmiş Yale B yüz veritabanları kullanılmıştır. Bütün 2B yüz görüntüleri maskelenerek 3B veri oluşturma işleminden önce yüz dışı bölgeler ve 3B oluşturma işleminde hata oluşturabilecek saç gibi öğeler çıkarılmıştır. Her bireyin 2B görüntülerinden deneysel olarak farklı aydınlatma açılarına sahip 3'lü 10 grup oluşturulmuş ve bu görüntüler kullanılarak 3B test yüz verileri elde edilmiştir. Ek olarak genetik algoritma ile 3B referans görüntüye yakın 3B test verisinin üretilebileceği farklı aydınlatma açılarına sahip 3'lü 5 grup seçilmiş, bu gruplar kullanılarak da 3B test yüz verileri elde edilmiştir. Yüz tanıma safhasında çeşitli algoritmalar bu 3B yüz verileri ile test edilmiştir. İlk olarak farkların karesinin toplamının karekökü ve 2B ilinti doğrudan yükseklik haritası üzerinde denenmiştir. Sonra yükseklik haritası nokta bulutuna dönüştürülerek iteratif en yakın nokta metodu uygulanmıştır. Yüzey normalleri ise test ve referans yüzlerin normalleri arasındaki açıların ortalaması alınarak yüz tanımada kullanılmıştır. Yüzey özelliklerinin tanımlanmasını sağlayan temel yüzey eğrilikleri ve türevleri; ortalama, Gaussian, eğilmişlik ve şekil indisi de yüz tanıma işleminde kullanılmıştır. Şekil indisi haritalarından SIFT tanımlayıcıları çıkarıldıktan sonra bu tanımlayıcıları eşleştirme yöntemi de yüz tanıma safhasında kullanılmıştır. Deneysel sonuçlar incelendiğinde şekil indisi haritalarının ilintisi ve farkları yöntemlerinin %99 üzerinde tanıma sonucu verdiği gözlenmiştir. Ek olarak yüz tanıma, yüzlerin herhangi bir kısmının olmadığı durumlarda herhangi bir kayıtlama işlemi uygulamadan şekil indisi haritalarından SIFT tanımlayıcılarını eşleştirme yöntemi kullanılarak yapılmıştır. Elde edilen sonuçlara göre ağız bölgesi ve burun ucunun olduğu bölge diğer yüz bölgelerine göre daha başarılı sonuçlar vermiştir. Son olarak yüz parçaları bazı açılarda döndürülerek de test edilmiştir. Sonuçlar incelendiğinde şekil indisi haritalarından çıkarılan SIFT tanımlayıcılarını eşleştirme yönteminin 90 derecelik dönmelere karşı çok az miktarda etkilendiği görülmüştür.

There are many studies about 2D and 3D face recognition in the literature. 2D face recognition techniques are adversely affected by pose, illumination, expression and make up. 3D face recognition techniques are invariant to posing, illumination and make up. These techniques also solve partially other problems. Reconstruction of 3D face image is practically difficult with 3D scanners in real applications. 3D face images can be acquired with photometric stereo method that uses at least three images that are captured under different illumination conditions. This method is a useful and cost-efficient method that produces 3D face image quickly. In this thesis, easy to use and successful 3D face recognition system that uses 3D face images reconstructed from 2D images using photometric stereo technique is proposed. Yale B and extended Yale B face databases that contain 38 people face images that are captured under 64 illumination directions are used in the experimental studies. All 2D face images have been masked before 3D face reconstruction thus external zone of face and regions that can be created computational errors such as hair have been discarded. 10 image groups were empirically organized with combination of three different 2D images with different illumination directions and 3D test face data has been produced using these images. 5 image groups that 3D data can be produced close to reference 3D image were also selected with combination of three different 2D images with different illumination directions by using Genetic algorithm and 3D test face data has also been produced using these 5 groups. Different face recognition algorithms were tested with these 3D face data in face recognition phase. Firstly, square root of sum of square of differences and 2B correlation methods were implemented directly on height map. Next, ICP algorithm was implemented after converting height map to point cloud. Face surface normal was used by calculating mean of angles between normal of test and reference faces for face recognition. Principal curvatures and their derivatives; mean, Gaussian, curvedness and shape index that described of surface features were used in face recognition process. After SIFT descriptors were extracted from shape index map, these descriptors were matched for recognition phase. When the experimental results were examined, difference and correlation between shape index maps methods achieved over %99 recognition rate. In addition, face recognition were performed with matching SIFT descriptors that were extracted from shape index map without any registration operation in case of absence of some part of the face. According to the results obtained, mouth and nose tip part of the face gave better recognition results than the other face parts. Lastly, recognition tests were made by rotating face parts in some angles. When test results were analyzed, it could be seen that matching SIFT descriptors that were extracted from shape index map were affected little by 90 degree rotations.