5. Uluslararası leri Teknolojiler Sempozyumu (IATS’09), 13-15 Mayıs 2009, Karabük, Türkiye BBA YÖNTEM NDE TANH VE GAUSS FONKS YONLARI KULLANILARAK YÜZ TANIMA VER ML L KLER N N KAR ILA TIRILMASI FACE RECOGNITION PERFORMANCE COMPARISONS BY USING TANH AND GAUSS FUNCTIONS IN THE ICA METHOD I ıl Yazara, * , Hasan Serhan Yavuzb ve Mehmet Atıf Çayc a, * b TAI/TUSA , Ankara, Türkiye, E-posta: iyazar@tai.com.tr Eski ehir Osmangazi Üniversitesi, Eski ehir, Türkiye, E-posta: hsyavuz@ogu.edu.tr c Eski ehir Osmangazi Üniversitesi, Eski ehir, Türkiye, E-posta: acay@ogu.edu.tr Özet 1. Giri Bu çalı mada, ba ımsız bile en analizi algoritmalarından olan FastICA algoritmasının sa lamlı ı bazı yüz tanıma uygulamaları üzerinde ara tırılmı tır. Algoritmada, ba ımsız bile enleri tahmin etmede kullanılan tanh ve gauss fonksiyonlarının verimlili i, Yale ve ORL yüz veritabanları kullanılarak kar ıla tırılmı tır. Deneylerde ba ımsız bile en analizinin birinci yapısı kullanılmı tır. lk önce her bir veritabanından rastgele seçilen görüntülerle 10 farklı e itim ve test setleri olu turulmu , sonra da bu setler üzerinde görüntü tanıma deneyleri gerçekle tirilmi tir. Her bir tahmin edici fonksiyon için hesaplanan test kümesi do ru tanıma oranlarının ortalaması, do ru tanıma oranı olarak tablola tırılmı tır. Sonuçta gauss fonksiyonunun her iki veritabanında da tanh fonksiyonuna göre daha yüksek tanıma oranları verdi i görülmü tür. Bu yüzden, yüz tanıma uygulamaları için FastICA algoritmasında tanh fonksiyonunun yerine gauss fonksiyonunun kullanımı önerilmi tir. Genel olarak yüz tanıma uygulamaları, bireylerin sayısal yüz görüntüleri ile e itilen bir sisteme, sistemde kayıtlı olan bir bireyin e itimde kullanılmayan yeni bir yüz görüntüsü verildi inde kimlik tespitinin yapıldı ı uygulamalar olarak tanımlanabilir. Bu uygulamalarda yüz görüntülerinin hangi özniteliklerinin kullanıldı ı önemlidir. Özniteliklerin ba arılı seçimi do ru tanıma oranını arttırmaktadır. Yüz görüntüleri söz konusu oldu unda göz, ka , a ız, çene, burun gibi özellikler di er yüz özelliklerinden ba ımsız olan birinci derece özniteliklerdir. Birinci derece özelliklerin konumu ile yüz ekli arasındaki özellikler ikinci derece olarak tanımlanmaktadır. Saç rengi, kırı ıklık, ben bulunması gibi ileri düzeydeki bilgiler ise yüksek derecedeki öznitelikler olarak adlandırılır [1]. Yüz tanıma uygulamalarında gereken bilginin büyük bir bölümü yüksek dereceli özelliklerde gizlidir [2]. Anahtar kelimeler: Yüz tanıma, ba ımsız bile en analizi, görüntü i leme. Abstract In this paper, the robustness of FastICA algorithm, one of the indepent component analysis algorithms, has been studied on some face recognition applications. In the algorithm, the efficiencies of tanh and gauss functions which were used for estimating the independent components have been tested by using Yale and ORL face image databases. Structure-1 type of the independent component analysis has been used in the experiments. First, 10 training and test sets were created by randomly selected images from face image databases, then recognition experiments have been performed on these sets. As the correct recognition rate, the average of the correct recognition accuracies of the test sets have been tabulated for each estimating functions. Finally, it was observed that the results according to gauss function gave higher recognition rates than the tanh function for both databases. That’s why the usage of gauss function instead of tanh fuction in FastICA algorithm has been recommended for face recognition applications. Keywords: Face recognition, independent component analysis, image processing. © IATS’09, Karabük Üniversitesi, Karabük, Türkiye Görüntü tanıma uygulamalarında kullanılan klasik yöntemlerden temel bile en analizi (TBA) yöntemini temel alan yöntemlerde yüksek dereceden özniteliklerle ilgilenilmez. Ba ımsız Bile en Analizi (BBA), çok de i kenli veri kümesinde do rusal olan ancak ortogonal olmayan koordinat sistemini bulmaya yarayan yeni bir yöntemdir. Giri verisinin bulunan koordinat sistemi üzerindeki izdü ümlerini birbirinden ba ımsız hale getirir ve aralarındaki ili kiyi minimum seviyeye indirir [3]. BBA’da ba ımsız bile enler do rusal veya do rusal olmayan bilinmeyen bir karı tırma mekanizması ile karı tırılarak gözlem de erlerini olu tururlar [4-5]. BBA’nın amacı kaynaklar arasındaki ili kiyi azaltan do rusal bir dönü üm yapmaktır [3]. Bunun için kullanılan Fastica, Infomax, Jade, Radical gibi çe itli algoritmalar vardır [6]. Bütün algoritmalarda dönü üm için farklı yakla ımlar kullanılmaktadır. Bu çalı mada, ba ımsız bile en analizi algoritmalarından olan FastICA algoritmasının verimlili i Yale ve ORL yüz veritabanları kullanılarak ara tırılmı tır. Algoritmada, ba ımsız bile enleri tahmin etmede tanh ve gauss fonksiyonları kullanılarak yüz tanıma deneyleri yapılmı ve do ru tanıma oranları tablola tırılmı tır. Çalı ma dört bölümden olu maktadır. kinci bölümde ba ımsız bile en analizi yöntemine de inilmi tir. Üçüncü bölümde yapılan yüz tanıma deneyleri ve sonuçları yer almaktadır. Son bölümde ise sonuçlardan elde edilen yorumlar ve öneriler verilmi tir. Yazar, I., Yavuz, H.S. ve Çay, M.A. 2. Ba ımsız Bile en Analizi Ba ımsız bile en analizi yöntemi, çok de i kenli veri kümesinde saklı olan yapıları belirleyen istatistiksel bir yöntemdir. BBA yönteminde, ba ımsız bile en olarak tanımlanan saklı faktörler, bilinmeyen bir karı tırma matrisi ile karı tırılarak gözlem verilerini olu tururlar. Gözlem vektörü x, kaynak vektörü s ve karı tırma matirisi A ile gösterildi inde temel katı ım modeli (1)’deki gibi verilir. BBA yöntemindeki amaç gözlem vektörü kullanılarak, bilinmeyen A ve s de erlerinin tahmin edilmesidir [7]. (1) x = As Do rusal BBA’da karı tırma matrisinin kare, kaynakların Normal (Gaussian) olmayan bir da ılıma sahip oldu u kabul edilir. BBA’da ba ımsız bile enlerin hesaplanması için yüksek dereceden bilgilerin bilinmesi gerekmektedir. Verilerin Normal da ılıma uygun oldu u varsayıldı ında bu bilgiler sıfırdır. Bu yüzden BBA, Normal da ılıma sahip verilerde sonuç vermemektedir. Karı tırma matrisinin kare kabul edilmesi, kaynak sayısı ile ba ımsız bile en sayısının e it olması demektir. Bu varsayım ayrı tırma matrisinin tahminini kolayla tırmaktadır. Çünkü karı tırma matrisinin tersi alınarak (2)’deki gibi ayrı tırma matrisi bulunur [7]. s = Wx, W = A −1 (2) Burada W, ayrı tırma matrisidir. BBA’da amaç kaynaklar arasındaki istatistiksel ba ımlılı ı minimize edecek ekilde W matrisinin bulunmasıdır. BBA’da yaygın olarak kullanılan 2 farklı mimari yapı vardır [2]. Birinci yapıda görüntüler de i kenleri, piksel de erleri de deneme de erlerini temsil etmektedir. Bu yakla ım, görüntülerin ba ımsızlı ına veya görüntü fonksiyonlarının ba ımsızlı ına duyarlıdır. Bu yakla ıma göre bir görüntüdeki bir pikselin de eri bir di er görüntüdeki aynı pikselin de erinden tahmin edilemiyorsa, bu iki görüntü birbirinden ba ımsız demektir. kinci yapıda birinci durumun transpozu alınır. Bu durumda piksel de erleri de i ken, görüntüler ise deneme olur. Bu yakla ım da, piksellerin ba ımsızlı ına veya piksel fonksiyonlarının ba ımsızlı ına duyarlıdır. Bu yakla ıma göre aynı görüntü içindeki birbirine benzer piksellerden birinin de eri di eri kullanılarak tahmin edilemiyorsa pikseller birbirinden ba ımsız demektir. Bu çalı mada BBA’nın birinci yapısı kullanılmı tır. Bu yakla ım a a ıdaki gibi özetlenebilir. Örüntü tanıma probleminin e itim a amasında M adet x ∈ ℜN vektör örne i oldu u kabul edilsin. Veri örnekleri bir matrisin satırlarını olu turacak biçimde yerle tirilerek gözlem matrisi X ∈ ℜM ×N elde edilir. Gözlem verisinin sıfır ortalamalı olabilmesi için gözlem vekörlerinin ortalamasının her bir gözlem vektöründen çıkarılması gerekmektedir. Kendisinden veri ortalaması çıkarılarak elde edilen vektörler bir matrisin satırlarını olu turacak biçimde yerle tirildi inde ise sıfır ortalamalı gözlem matrisi olu turulur. Burada matris sembolünün X ∈ ℜ M ×N üzerindeki tilda i areti, matrisin sıfır ortalamalı vektörlerden olu turuldu unu belirtmektedir. Bir sonraki a amada beyazlatma i lemi gerçekle tirilir. Beyazlatma i lemiyle hızlı yakınsama sa lanmaktadır. BBA’da beyazlatma i lemi için yaygın olarak TBA yöntemi kullanılmaktadır. Böylece beyazlatma i leminin yanında boyut indirgeme de sa lanmı olur [8]. Temel bile enler için öncelikle (3) e itli i kullanılarak kovaryans matrisi bulunur. C = XXT (3) Kovaryans matrisi C’ye Cv = λ v e itli inden özde erözvektör ayrı tırması yapılır. Kovaryans matrisi yarı-kesin (semi-definite) artı bir matris oldu u için özvektörleri pozitiftir. Özde erler büyükten küçü e dizilecek biçimde sıralanarak diyagonal bir D matrisinin içine yerle tirilir. Özde erlere kar ılık gelen özvektörler de E matrisini olu turdu u kabul edildi inde beyazlatma matrisi B (4) e itli indeki gibi, beyazlatılmı veri matrisi z ise (5) e itli inde verildi i gibi bulunabilir [7,9]. − 1 B = ED 2ET (4) z = BX (5) Beyazlatma i lemi tamamlandıktan sonraki a ama W matrisinin tahmin edilmesi a amasıdır. Çe itli BBA algoritmalarında W matrisinin tahmini için farklı yöntemler kullanılmaktadır. Ba ımsız bile enlerin tahmin edilmesinde herhangi bir algoritma n vektörle çalı tırılmalıdır. Farklı vektörlerin aynı maksimaya yakınsamasını önlemek için n vektör ortogonalle tirilmelidir [7]. “Deflationary orthogonalization” algoritması ba ımsız bile en tahmininde kullanılan FastICA algoritmalarından biridir. Bu algoritma W ayrı tırma matrisini a a ıdaki adımları izleyerek tahmin eder [7]. ADIM 1: Veri sıfır ortalamalı olacak ekilde merkezile tir. ADIM 2: Veriyi beyazla tır, z matrisini bul. ADIM 3:Tahmin edilmesi istenen ba ımsız bile en sayısını (m) belirle, p 1, ADIM 4: w p ’ye birim norm olan bir ba langıç de eri ver. (örn: rasgele) ADIM 5: w p E{zg( E {zg ( w Tp z )} − E {g '( wTp z )} w , do rusal olmayan g fonksiyonu a a ıdakilerden biri olarak seçilebilir: g ( y ) = tanh ( a1y ) ; 1 ≤ a1 ≤ 2, ( ) g ( y ) = y exp − y 2 2 , 3 g (y ) = y . p −1 ADIM 6: w p wp − (w T p ) wj wj j =1 ADIM 7: w p wp wp ADIM 8: E er w p yakınsamadıysa ADIM 5’e geri dön. ADIM 9: p p+1, e er p ≤ m ise, ADIM 4’e geri dön. De ilse dur. Algoritmada kullanılan g fonksiyonunun seçimi, sistemin verimlili i açısından önem ta ımaktadır [6]. Bu çalı mada, tanh ve gauss fonksiyonlarının sa lamlı ı, Yale ve ORL yüz veritabanları üzerinde yapılan yüz tanıma deneyleriyle ara tırılmı tır. Yazar, I., Yavuz, H.S. ve Çay, M.A. 3. Yüz Tanıma Deneyleri BBA yöntemi temel alınarak yapılan yüz tanıma uygulamalarında Yale [10] ve ORL [11] veritabanları kullanılmı tır. Görüntü tanıma deneylerinde tüm veritabanları için, veritabanını olu turan görüntülerden rastgele seçilen yarısı e itim kümesinde, di er yarısı test kümesinde kullanılmı tır [12]. Rastgele seçim i lemi 10 kez tekrarlanmı ve toplamda 10’ar adet e itim ve test kümeleri elde edilmi tir. Her bir tahmin edici fonksiyon için hesaplanan test kümesi do ru tanıma oranlarının ortalaması, do ru tanıma oranı olarak tablola tırılmı tır. Sınıflandırma a amasında, hangi sınıfa ait oldu u bilinmeyen test vektörünün öncelikle W ayrı tırma matrisine izdü ürülerek özniteli i çıkarılır. Bu öznitelikler, e itim a amasında kullanılan görüntünün özniteli i ile kar ıla tırılır. En yakın kom u sınıflandırıcısı prensipine göre test vektörü özniteli i, e itim vektörlerinin özniteliklerinin hangisine Öklid uzaklı ı cinsinden en yakınsa test vektörü o sınıfa atanır. Yale veritabanında ba ımsız bile en tahminde gauss fonksiyonunun kullanımı, tanh fonksiyonunun kullanımından daha ba arılı do ru tanıma oranları vermi tir. Ayrıca, gauss fonksiyonu ile birlikte kullanılan bile en sayısı da, tanh fonksiyonuna göre daha azdır. 3.2. ORL Veritabanı Deneyleri ORL veritabanı, 40 farklı ki iden alınan 10 farklı görüntü ile toplamda 400 görüntüden olu an bir veritabanıdır. Veritabanı, 40 ki iden farklı zaman dilimlerinde farklı aydınlanma ko ulları, farklı yüz ifadeleri, farklı yüz detaylarına ba lı olarak alınan görüntülerden olu maktadır. Deneylerde kullanılan ORL veritabanında görüntü boyutları 56×46’ya indirgenecek biçimde bir öni leme yapılmı tır. Görüntülerden rastgele seçilen 5’i e itim kümesi, geriye kalan 5’i ise test kümesinde kullanılmı tır. ORL veritabanından kullanılan bazı görüntüler ekil 2’de verilmi tir. 3.1. Yale Veritabanı Deneyleri Yale yüz veritabanı, 15 farklı ki iden alınan 11 farklı görüntü ile toplamda 165 görüntüden olu an bir veritabanıdır. Veritabanı merkezden aydınlanmı , sa dan aydınlanmı , soldan aydınlanmı , gözlüklü, gözlüksüz, normal, uykulu, a kın, mutlu, üzgün, göz kırpmı görüntülerden olu maktadır. Deneyde e itim ve test kümesinin e it sayıda eleman içermesi için bireylerin 10 pozu kullanılmı tır. Görüntülere, insanların gözleri yakla ık olarak aynı yerle kelerde konumlandırılacak biçimde öni leme yapılmı ve hesap yükünün hafiflemesi için a a ı örnekleme uygulanarak boyutları 46×36’ya indirgenmi tir. Yale veritabanından kullanılan bazı örnek görüntüler ekil 1’de verilmi tir. ekil 2. ORL veritabanından rastgele seçilen 3 bireyin görüntüleri. ORL veritabanı test kümesi do ru tanıma yüzdeleri, tanh ve gauss fonksiyonları için ayrı ayrı bile en sayısı 10’dan ba latılıp onar onar artırılarak 200 temel bile ene kadar 10 test kümesi için hesaplanmı tır. Ortalamada en yüksek tanıma oranı veren bile en sayısı ile ilgili bile ene kar ılık gelen do ru tanıma oranı Çizelge 2’de gösterilmi tir. Çizelge 2. ORL veritabanı BBA deney sonuçları Fonksiyon tanh gauss ekil 1. Yale veritabanından rastgele seçilen 3 bireyin görüntüleri. Kullanılan BBA algoritması, FastICA, “deflationary fixed point algorithm” tabanlıdır [13]. Yale veritabanında, bu algoritma, do rusal olmayan iki fonksiyon olan tanh ve gauss için ayrı ayrı uygulanmı tır. Her iki fonksiyon için her veritabanında 75 adet ba ımsız bile en hesaplanmı tır. Ortalamada en yüksek test kümesi do ru tanıma oranını veren bile enin sonuçları Çizelge 1’de gösterilmi tir. Çizelge 1. Yale veritabanı BBA deney sonuçları Fonksiyon tanh gauss Ba ımsız bile en sayısı 60 30 Test seti do ru tanıma oranı (%) 68,27 70,40 Ba ımsız bile en sayısı 170 40 Test seti do ru tanıma oranı (%) 69,40 81,35 ORL veritabanı üzerinde yapılan yüz tanıma deneylerinde BBA yönteminde gauss fonksiyonunun ba arımı tanh fonksiyonunun ba arımından daha yüksek oldu u görülmü tür. Kullanılan ba ımsız bile en sayısı da tanh fonksiyonuna göre oldukça azdır. 4. Sonuç ve Öneriler Bu çalı mada, ba ımsız bile en analizi algoritmalarından olan FastICA algoritmasının verimlili i bazı yüz tanıma uygulamaları üzerinde ara tırılmı tır. BBA algoritmasında ba ımsız bile enleri tahmin etmede kullanılan ve do rusal olmayan tanh ve gauss fonksiyonları kullanılarak Yale ve ORL yüz veritabanları üzerinde görüntü tanıma deneyleri gerçekle tirilmi tir. Deneyler sonucunda gauss fonksiyonu hem ba ımsız bile en sayısı bakımından hem de do ru tanıma oranları bakımından her iki veritabanında da tanh fonksiyonuna göre daha iyi sonuçlar vermi tir. Ba ımsız Yazar, I., Yavuz, H.S. ve Çay, M.A. bile en sayısının azlı ı, görüntü tanıma algoritmasının hesap yükünü azaltmaktadır. Çizelge 1 ve Çizelge 2 incelendi inde gauss fonksiyonunun tanh fonksiyonuna göre % 50’den daha az sayıda bile enle daha ba arılı do ru tanıma oranları verdi i görülmektedir. Bu yüzden, BBA yönteminde kullanılan ve do rusal olmayan gauss fonksiyonunun bundan sonraki yüz tanıma uygulamalarında kullanılmasının hem hesap yükünün hafifli i bakımından, hem de do ru tanıma oranları bakımından daha etkin sonuçlar verece i dü ünülmektedir. Bu çalı mada, BBA algoritmasında birinci yapı olan, görüntülerin satır vektörü olarak alındı ı yöntem kullanılmı tır. Bu çalı manın devamında, ele alınan bu iki fonksiyonun verimlili inin, BBA algoritmasındaki ikinci yapıyı da kullanarak verimlilik açısından hem kendi içinde hem de TBA gibi di er yöntemlerle kar ıla tırmalarının yapılması dü ünülmektedir. Kaynaklar [1] Yaman, B., Özyüz kullanılarak yüz tanıma, Yüksek Lisans Tezi, Sakarya Üniversitesi Fen Bilimleri Enstitüsü, 109 s., 2006. [2] Bartlett, M.S., Movellan J.R. and Sejnowski, T.J., Face recognition by independent component analysis, IEEE Transactions on Neural Networks, Vol.13, 6, 14501464, 2002. [3] Koçyi it, Y., Korürek, M., EMG i aretlerini dalgacık dönü ümü ve bulanık mantık sınıflayıcı kullanarak sınıflama, TÜ Dergisi - Mühendislik Serisi, Cilt.4, 3, 25-31, 2005. [4] Hyvarinen, A., Survey on independent component analysis, Neural Computation Surveys, Vol.2, 94-128, 1999. [5] Hyvarinen A. and Oja, E., Independent component analysis: algorithms and applications, Neural Networks, 13(4-5), 411-430, 2000. [6] Gadhok, N. and Kinsner, W., A study of outliers for robust independent component analysis, in: Canadian Conference on Electrical and Computer Engineering , Vol. 3, 1421-1425, 2004. [7] Hyvarinen, A., Karhunen J. and Oja, E., Independent component analysis, John Wiley and Sons Inc., 2001. [8] Sezer, O.G., Superresolution techniques for face recognition from video, M.S. Thesis, Bo aziçi University, 49 p., 2003. [9] Hyvarinen, A., One-unit contrast functions for independent component analysis: a statistical analysis, Proceedings of IEEE Neural Networks for Signal Processing Workshop, Vol. 1, 388-397, 1997. [10] http://cvc.yale.edu/projects/yalefaces/yalefaces.html [11] http://www.cl.cam.ac.uk/research/dtg/attarchive/ facedatabase.html [12] Watanabe, S., Lambert, P.F., Kulikowski, C.A., Buxton J.L. and Walker, R., Evaluation and selection of variables in pattern recognition, Computing and Information Sciences II, 91-122, 1967. [13] http://www.cis.hut.fi/projects/ica/fastica/