Yapay sinir ağları ile konuşmacı doğrulama sistemleri için saldırı tespiti

Abstract

Kimlik kartları, manyetik kartlar gibi geleneksel ve eski şifreleme yöntemlerinin doğurduğu bazı olumsuz sonuçlar kişi veya kurumları alternatif şifreleme yöntemleri arayışına yöneltmiştir. Bir bireyin yüz, parmak izi, iris, avuç içi damar haritası, retina gibi fizyolojik veya yürüyüş biçimi, imza şekli, sesi gibi davranışsal özelliklerine biyometri denir. Biyometrik verileri kullanarak kimlik tespiti yapmayı hedefleyen sistemler ise, biyometrik doğrulama sistemleri olarak adlandırılır. Ses sinyalinin barındırdığı birçok kullanışlı bilgi ve bu bilgilerden elde edilen benzersiz çıktılar, verilen bir ses sinyalinin iddia edilen kişiye ait olup olmadığının tespit edilmesini hedefleyen, konuşmacı doğrulama (KD) sistemlerini cazip bir biyometrik sistem haline getirmiştir. KD sistemlerinin kullanımının yaygınlaşması, sistemleri yanıltma çabalarını da beraberinde getirmiştir. Saldırgan diye adlandırılan bir kişi, KD sistemlerini yanıltmak için birçok yöntem kullanabilir. Bu yöntemlerden en basit, fakat bir o kadar da etkili olanı tekrar oynatma (TO) saldırısıdır. TO saldırısı daha önceden kaydedilmiş bir ses kaydının, KD sisteminin algılayıcı, mikrofon seviyesinden tekrar oynatılmasıdır. KD sistemlerinin güvenilirliğini ciddi bir şekilde tehdit ettiği yapılan çalışmalarda gösterilen TO saldırıları, bu tez çalışmanın temel konusudur. Bu tez çalışmasında, KD sistemlerinde yaygın olarak kullanılan mel-frekansı kepstrum katsayıları, Otomatik Konuşmacı Doğrulama Yanıltma Saldırıları ve Karşı Önlemler (ASVspoof 2017) yarışmasında başarısı kanıtlanan sabit Q kepstral katsayıları ve uzun dönem ortalama spektrum (UDOS) öznitelikleri kullanılmıştır. Deneyler sırasında ASVspoof 2017 yarışması için hazırlanan veri tabanı kullanılmıştır. Sınıflandırıcı olarak ise, Gauss karışım modelinin yanı sıra; son yıllarda hemen her alanda kullanımı yaygınlaşan yapay sinir ağları (YSA) yaklaşımı esas alınmıştır. Bu tez çalışmasında, bahsedilen öznitelik ve sınıflandırıcılardan oluşan TO saldırı tespit sistemlerinin oluşturulması ve bu sistemlerin performanslarının detaylı olarak karşılaştırılması yapılmıştır.UDOS özniteliklerinin, YSA yaklaşımı kullanılarak sınıflandırılması en iyi saldırı tespit sistemi olmuştur. Bu sistem geliştirme ve değerlendirme kümesi verileri için sırasıyla; %4,10 ve %20,77 eşit hata oranı üretmiştir. Ayrıca, alt-band frekans analizi yapılmış ve yüksek frekans bölgesinin tekrar saldırısı oluşturma senaryosunda en çok etkilenen bölge olduğu; yani yüksek frekans bölgesi analizinin TO saldırısı tespitinde önemli bir rol oynadığı gösterilmiştir. Ortalama ve varyans normalizasyonu işleminin ise etkili bir yöntem olup olmadığı da araştırılmış; etkili bir yöntem olmadığı gözlemlenmiştir.

Some negative consequences of traditional and old authentication methods such as ID cards and magnetic cards have led people or institutions to search for alternative authentication methods. Physiological characteristics of an individual such as face, fingerprint, iris, palm vein map and retina or behavioral characteristics such as walking pattern, signature form, sound are called as biometrics. So systems that aim to identify of an indivudual using his/her biometrics are referred to as biometric verification systems. Since speech signal conveys many useful information which yields unique outputs from these information, automatic speaker verification systems (ASV) which aims to determine whether a given speech signal belongs to the claimed person or not, have become an attractive biometric system.The widespread use of the ASV system has led to efforts to spoof the systems. A person called a fraud may use many methods to spoof ASV systems. The simplest of these methods yet the most effective is the replay attack. The replay attack can be described as re-playing a previously recorded speech of a target/genuine speaker to the ASV system from the sensor, the microphone level. The main focus of this dissertation is replay attack which is proved in many studies that have seriously threatened the reliability of ASV systems. In this dissertation study, the mel frerquency cepstral coefficients (MFCC) widely used in ASV systems, constant Q cepstral coefficients (CQCC) that is shown its succes in Automatic Speaker verification Spoofing and Countermasures Challenge (ASVspoof 2017) competition and long-term average spectrum (LTAS) are used. The experiments were conducted using the database prepared for ASVspoof 2017 competition. As a classifier, besides Gaussian mixture model (GMM); artificial neural network (ANN) approach has been used since it is in almost all areas in recent years. In this thesis, replay attack detection system that consist of classifers and features that mention are developed and compared in detail.The best anti-spoofing system has been LTAS features when classified using ANN. This system has produced 4,10% and 20,77% equal error rate (EER) for the development and the evaluation dataset, respectively. In addition, sub-band frequency analysis is performed and found that the high frequency region is the most affected region in the relay attack scenario; it has been shown that high frequency region analysis plays an important role in the detection of replay attack. It was also investigated whether the mean and variance normalization procedure were effective methods during experimental studies and was observed that there was no effective method.