Face recognition using eigenfaces

Abstract

Özet Özyüz Yöntemi İle Yüz Tanıma Bu tezde, yüz tanıma problemi üzerinde araştırma yapılarak, kullanılan temel yöntemler incelenmiştir. Yüz tanımada kullanılan yöntemlerden biri olan, özyüz (eigenface) yöntemi ile bir yüz tanıma sistemi geliştirilerek, sistemin işlevselliği deneysel sonuçlar ile gözlemlenmiştir. Yüz tanıma günümüzde önemini hızla arttırmakta olan bir uygulama konusu haline gelmektedir. Mevcut yüzlerden elde edilecek bir veri dabanı üzerinde otomatik olarak yapılacak tanımaların, suçluların teşhisi sırasında, emniyet görevlilerinin işini ne kadar kolaylaştıracağı açıktır. Yüz tanıma problemi için bir bilgisayar modeli kurmak oldukça zordur. Bu zorluk, yüzlerin çok boyutlu, karmaşık ve anlamlı görsel objeler olmalarından kaynaklanmaktadır. Oysa insan beyni, bir an gördüğü bir yüzü yıllar sonra bile yaşlanma, saç uzaması, sakal bırakma gibi değişimlere rağmen, bir kaç saniye içerisinde hatırlayabilmektedir. İnsan beynindeki bu üst düzey yetenek, yüz tanıma esnasında bilginin en iyi ve en kısa şekilde kodlandığı gerçeğini ortaya çıkarmaktadır. Yapılan araştırma sonucu, bilgisayar yardımı ile yapılan yüz tanıma çalışmalarında iki temel yöntem izlendiği tespit edlimiştir. Bu yöntemlerden birincisi, yüz ürezinde yer alan, göz, ağız, burun gibi organların geometrik özelliklerinden elde edilen bilgiler ile bir özellik vektörü oluşturulmasına, tanıma işleminin de, benzer şekilde elde edilmiş vektörlerin karşılıştırılması ile yapılması ilkesine dayanmaktadır. Özellik vektörlerinin elde edilmesi sırasında aşağıda belirtilen üç temel ilişki dikkate alınmaktadır:. Birinci derece özellikler. Bunlar, yüz üzerinde yer alan organların birbirlerinden bağımsız nicel özelliklerinden oluşur. Göz çukurlarının çevre uzunluğu, dudakların uzunlukları bu tür özelliklerdendir.. İkinci derece özellikler. Birinci derece özelliklerin de kullanılarak, organların birbirleri ile ilişkilerinden elde edilen özelliklerdir. Gözlerin ve ağızın, burundan uzaklıkları gibi.. Yüksek dereceden özellikler. Yaşlanma etkileri gibi genellikle nicel olmayan, yüzün bütününü ilgilendiren özelliklerdir. Elde edilmeleri çok zor olduğunda, tanıma işleminde genellikle kullanılmazlar. ıxGeometrik özelliklerin elde edilmesi sırasında, Yuille tarafından geliştirilmiş olan, esnek göz ve ağız şablonları ile, aktif hat (active contour) yöntemleri kullanılmaktadır. Şablonlar yüz üzerinde gezdirilerek, bazı enerji fonksiyonları minimize edilmeye çalışılır. Enerji fonksiyonu minumum değerini aldığında, göz yada ağız tam olarak saptamış demektir. Yüz tanımada kullanılan ikinci temel yöntem ise, temel bileşen analiz! (principal component analysis) adını ile anılmaktadır. Bilgi teorisi temellerinin esas alındığı bu yaklaşımlarda, yüzleri en az bilgi ve en iyi şekilde ifade etme yoluna gidilmektedir. Yüzler ifade edilirken, göz, ağız gibi organlar bağımsız olarak düşünülmemekte, elde edilen kodlamada, onlara ait bazı ayırt edici özellikler de yer alabilmektedir. Bu tezde geliştirilen yüz tanıma sistemi de, temel bileşen analizi yöntemlerinden biri olan, özyüz yöntemine dayanmaktadır. Kullanılan yöntem, yüz tanıma problemine iki boyutlu bir tanıma problemi olarak yaklaşmakta ve yüzler arasındaki farklılıkları en iyi ortaya çıkaran bir yüz uzayının (face space) özvektörlerinin, yani özyüzlerin elde edilerek,diğer yüzlerin, bu özvektörlerin bir lineer kombinasyonu ile ifade edilmesi ilkesine dayanmaktadır. Özyüzler, eğitim kümesinde yer alan yüzlerin temel bileşenlerini (principal components) oluşturmaktadır. Tanıma olayı yeni bir yüzün, elde edilen bu özyüzler tarafından gerilen yüz uzayına projeksiyonu ile gerçeklenmektedir. Projeksiyon sonucu elde edilen konum, sisteme tanıtılmış yüzlerin bu yüz uzayındaki konumları ile karşılaştırılır. Yeteri kadar yakın olan bireyler varsa, bu, yeni yüz sisteme daha önce tanıtılmış demektir. Aksi halde, istenirse bu yeni yüzün, yüz uzayındaki konumu saklanarak, sistemin yeni yüzü öğrenmesi sağlanabilir. Geliştirilen yüz tanıma sisteminde özyüz yaklaşımının tercih edilme nedeni; yöntemin yüzün geometrisinden bağımsız olması, gerçeklenmesinin kolay olması, özel donanım kullanılmadan bile gerçek zamanda çalışabilmesi ve sistemin yeni yüzleri tanır hale gelmesinin, yani tanımayı öğrenmesinin diğer yöntemlere göre çok daha kolay ve hızlı olmasıdır. Genel olarak, gürbüz (robust) bir yüz tanıma sistemi, kendisine daha önce öğretilmiş bir yüzü, aşağıda belirtilen koşullar altında bile doğru tanıyabilmelidir:. Işık kaynağının şiddetinin ve konumunun değişmesi.. Kafa pozisyonunun ve büyüklüğünün değişmesi.. Arka planının (face background) değişmesi.. Sayısallaştırılmaya ait gürültülerin bulunması.. Gözlük, sakal, bıyık, maske gibi detayların bulunması. Tasarlanan Sistem Kullanılan yönteme matematiksel terimler kullanarak açıklık getirmek istersek, yüzlerin dağılımını temsil eden temel bileşenlerin bulunması amaçlanmaktadır. Bir başka deyişle, yüzlerin dağılımından elde edilecek kovaryans matrisinin özvektörlerinin bulunması hedeflenmektedir. Bu özvektörler, yüzler arasındakifarklılıkları temsil eden bir grup özellik olarak düşünülebilir. Her bir özvektör, az yada çok bir yüze yakınsadığından, bu hayalete benzeyen yüzlerin `özyüz` adı ile anılması uygun görülmüştür. Şekil 2 de örnek özyüzler görülmektedir. Eğitim kümesinde (training set) yer alan herbir yüz, bu özyüzlerin bir lineer kombinasyonu olarak ifade edilebilir. Özyüzlerin sayısı, eğitim kümesinde yer alan yüzlerin sayısına eşittir. Ancak, özdeğeri en büyük olanlar yani dağılıma en çok katkıda bulunanlar seçilerek bir yakınsama yapılabilir. Özyüzlerin, yüz tanımada kullanılması, Sirovich ve Kirby 'nin yüzleri en etkin şekilde temsil etmek amacıyla yaptığı bir çalışmadan esinlenilmiştir. Bu çalışmadan etkilenerek, daha önce M. Turk ve A. Pentland bir yüz tanıma çalışması yapmıştı. Biz de bu tezde, onların izlediği yolu takip ettik. Tasarlanan yüz tanıma sisteminde, bir eğitim kümesi üzerinden özyüzler bulunarak, her bir yüz için bir özellik vektörü elde edilmektedir. Tanıma işlemi daha sonra, bu özellik vektörlerinin karşılaştırılması haline dönüşmektedir. Yüz tanıma süreci aşağıda belirtildiği gibi gelişmektedir:. Eldeki yüz resimleri normalize edildikten sonra yüz veri tabanına eklenir.. Normalize edilen bu resimlerden özyüzlerin oluşturulacağı bir eğitim kümesi seçilir. En yüksek özdeğere sahip olan M adet özyüz, özellik vektörlerinin eldesinde kullanılır. Özyüzler tanıma aşamasında kullanılmak üzere saklanırlar.. Veri tabanında bulunan herbir yüz için, bu M adet özyüz kullanılarak M boyutlu bir özellik vektörü elde edilir.. Yeni bir resim sisteme verildiğinde, önce normalize edilir ve daha sonra saklanmış olan M adet özyüz kullanılarak Özellik vektörü elde edilir.. Elde edilen bu özellik vektörü, veri tabanında yer alan yüzlerinkiler ile belli bir eşik (threshold) içerisinde karşılaştırılır. Eşik içine düşen en az bir resim varsa, yüz tanınmış demektir.' Aksi halde bulunan bu özellik vektörü ile birlikte, yeni resim veri tabanına eklenerek öğrenme işlemi gerçekleştirilir. Özyüzlerin Elde Edilmesi Özyüzler, eğitim kümesinde yer alan resimlerin oluşturduğu dağılıma ait kovaryans matrisinin özvektörleridir. Eğitim kümesinde yer alan resimleri rpr2,..,TM olarak sembolize edelim. Bu kümede yer alan resimlerin ortalaması *F = - T rn olarak elde edilir. Şekil 1 de örnek bir çalışma kümesi ve ona ait ortalama resim görülmektedir. Her bir resimin ortalamadan farkını, O, = Tj - *F vektörü ile ifade edelim. Elde edilen bu vektörler üzerinden, verinin dağılımını en iyi ifade eden M adet ortonormal u` vektörü bulunmak XIistenmektedir. Bu u` vektörlerinin herbiri aşağıda tanımı verilen Xk katsayılarını maksimum yapacak şekilde seçilir. Un vektörleri, ortonormallik koşulunu olan (2) yi sağlamalıdırlar. `'`'-** -{i'`/*} (2) Uk vektörleri ve Xk sabitleri, aşağıda tanımı verilen kovaryans matrisi C nin sırasıyla, özvektörleri ve özdeğerleridir. C = ^I>X = A4' (3) A =[*&...*`] (4) Dikkat edilecek olursa, C matrisi, N x N lik resimlerden oluşan bir eğitim kümesi için, N 2xN 2 boyutundadır. Pratikte kullanılan resim boyutları için bu büyüklükte bir matrisin özvektörlerinin hesaplanması oldukça zordur. Eğitim kümesinde yer alan resimlerin sayısının, resimlerin boyutundan çok daha küçük olduğunu (M <N2) düşünürsek, N 2 den ziyade, M-1 adet anlamlı özvektörün olduğu ortaya çıkar. Bu durumda, diğer özvektörlerin özdeğerleri sıfır olacaktır. M x M lik bir matris özdeğerlerinin elde edilmesi yüz tanıma problemi için yeterli olmaktadır. Bu amaçla, M x M boyutunda olan bir L matrisi L = A 7 A, her bir elemanı Lmn = <P^ O,, olacak şekilde oluşturulur. Dikkat edilirse, L matrisi köşegene göre simetriktir. Daha sonra, bu L matrisinin v, ile gösterilen M adet özvektörü elde edilir. Bu v, özvektörlerinin yardımı ile, gerçek özvektörler için aşağıda belirtilen yakınsama yapılır: t M `/=2>*°*- 1 = 1 M (5) k=/ Özyüzler kullanılarak herhangi bir yüz resimine ait özellik vektörü O7 aşağıda belirtildiği gibi bulunabilir: wk=urk(r-V) (6) ÜT =[wlw2...wM] (7) Herhangi bir resim, yüz uzayına yapılacak aşağıda belirtilen projeksiyon ile yaklaşık olarak tekrar elde edilebilir: XIIr = Y + 2,=1 w,.ui (8) Örnek eğitim kümesinden elde edilen özyüzler tarafından gerilen yüz uzayına yapılan, bu tip bir projeksiyon Şekil 3 de görülmektedir. Deneysel Sonuçlar Geliştirilen sistemi test etmek amacıyla, 14 değişik kişinin çeşitli pozlarından oluşan toplam 70 adet yüz resimi içeren bir test veri tabanı kurulmuştur. Bu resimlerin bazılarında, ışık kaynağı ve kafaların pozisyonları değiştirilerek çeşitli varyasyonlar sağlanmıştır. Ayrıca gözlük, maske, bıyık gibi detayların, tanıma performansına etkilerini incelemek amacıyla bazı resimlere adı geçen bu detaylar yapay olarak ilave edilmiştir. Yapılan testlerde, doğru tanıma oranı ile eşik değerinin ters orantılı olduğu ortaya çıkmıştır. Eşik değeri arttırıldığında ıska (miss) oluşma sayısı azalmakta ancak, resimler hatalı tanınabilmektedir. Buna paralel olarak, özyüz adedinin tanıma performansına etkisi incelenmiştir. Doğru tanıma oranının, özyüz sayısı ile doğru orantılı olduğu tespit edilmiştir. Bunun nedeni, özyüzlerin sayısı arttığında, özellik vektörlerindeki bileşenlerin sayısının artmasıdır. Bu ise, resimlerin daha iyi temsil edilmesine neden olmaktadır. Tanıma performasının en çok kafa pozisyonunun değişiminden etkilendiği gözlenmiştir. Işık kaynağında meydana gelen değişimler sistem üzerinde daha az etkili olmaktadır. Yüzlerde meydana gelen gözlük, maske, bıyık gibi küçük değişimler ise, tanıma performansı etkilememektedir. İleriye Yönelik Düşünceler İleride, aşağıda belirtilen konular üzerinde çalışarak, sistemin daha da iyi bir hale getirilmesi amaçlanmaktadır:. Arka plan tespiti. Yüzün arka planının tespit edilip, çıkartılarak gerçek yüz bilgisi ile çalışılmanın sağlanması.. Kamera ve tarayıcı desteği. Şu anki sistem, yüz resimlerini sadece diskten alabilmektedir. Kamera ve tarayıcı desteği eklenerek, sisteme daha fazla esneklik kazand ı rı labilinir.. Yapay sinir ağı kullanımı. Mevcut yapıda sinir ağı kullanılmamıştır. Ancak, sinir ağlarının bu tip uygulamalardaki başarısı artmakta olduğundan, sisteme bir sinir ağı yapısı uyarlanabilir.. İstemci/Sunucu mimari. Geliştirilen sistem tek kullanıcıya yöneliktir. Daha etkin bir çalışma için, sistem çok kullanıcılı hale getirilerek, veri tabanının bir sunucu üzerinde oluşturulması düşünülmektedir. X111(a) (b) Şekil 1. (a) Örnek eğitim kümesi, (b) Ortalama resim. -ı r '``W1 I Şekil 2. Örnek eğitim kümesinden elde edilmiş özyüzler. XIVŞekil 3. (a) Orijinal resim, (b) Maske takılmış hali. (c) Maskeli resimin yüz uzayına projeksiyonu ile elde edilen yeni resim. XV

Abstract In this thesis, a research was done to find out the different approaches to the face recognition problem. It has been observed that these different approaches fall into two major categories that are given below:. Feature based recognition, which is based on the extraction of the properties of individual organs located on a face such as eyes, nose and mouth, as well as their relationships with each other. Feature vectors describing the characteristics of face images are evaluated by using deformable templates and active contour models, where excessive geometry and the minimization of energy functions are involved.. Principal component analysis, based on information theory concepts, seek a computational model that best describes a face, by extracting the most relevant information contained in that face. Eigenfaces approach is a principal component analysis method, in which a small set of characteristic pictures are used to describe the variation between face images. Goal is to find out the eigenvectors (eigenfaces) of the covariance matrix of the distribution, spanned by a training set of face images. Later, every face image is represented by a linear combination of these eigenvectors. Evaluation of these eigenvectors are quite difficult for typical image sizes but, an approximation that is suitable for practical purposes is also presented. Recognition is performed by projecting a new image into the subspace spanned by the eigenfaces and then classifying the face by comparing its position in face space with the positions of known individuals. A face recognition system, based on the eigenfaces approach is proposed. Eigenfaces approach seems to be an adequate method to be used in face recognition due to its simplicity, speed and learning capability. Experimental results are given to demonstrate the viability of the proposed face recognition method. V1U