Yüz görüntülerinden geometrik öznitelikler çıkarılarak çocuklardaki dikkat eksikliği ve hiperaktivite bozukluğunun denetimli öğrenme algoritmalarıyla tespiti ve analizi

Abstract

Amaç: Tezin amacı yüz görüntülerinden geometrik öznitelikler çıkarılarak çocuklardaki dikkat eksikliği ve hiperaktivite bozukluğunun denetimli makine öğrenme algoritmaları ile tespiti ve literatürde yaygın olarak kullanılan sınıflandırma algoritmalarının başarı oranlarının analizidir. Bu amaç doğrultusunda yüz görüntü verilerinin toplanacağı ve analizlerin yapılacağı bilgisayarlı görü tabanlı mobil uygulama sistemi geliştirilmiştir.Yöntem: Bu çalışma kapsamında ilk olarak yüz görüntülerinden geometrik öznitelikler çıkarılmıştır. Yüz üzerindeki farklı bölgelerde bulunan iki boyutlu noktalar Facenet modeli kullanılarak elde edilmiştir. Sonrasında yüz hizalama ağı kullanılarak iki boyutlu noktalar yüz görüntülerinden 3 boyutlu yüz görüntüleri ve yüz üzerindeki noktalar elde edilmiştir. Elde edilen noktalar arasında uzunluk ve oranlar öznitelik vektörleri olarak belirlenmiştir. K-Best, rasgele karar ormanları, modelden seçim ve T-Test yöntemleri ile öznitelik seçimi gerçekleştirilmiştir. K en yakın komşu, naive bayes ve destek vektör makineleri yöntemleri sınıflandırma aşamasında kullanılmıştır. İnternet ortamından elde edilen yüz görüntülerinden veri seti oluşturulmuştur. Bilgisayarlı görü tabanlı algoritmaların ve makine öğrenmesi yöntemlerinin kullanıldığı bir mobil uygulama geliştirilmiştir. Bulgular: Öznitelik vektörleri arasında en yüksek başarı yüzdesi, yüz üzerindeki tüm uzunlukların kullanıldığı 2 boyutlu öznitelik vektörünün rastgele karar ormanları öznitelik seçimi yöntemi ile beraber destek vektör makineleri algoritmasının uygulandığı analiz sonucunda %80 doğruluk elde edilmiştir. 3 boyutlu öznitelik vektörü için destek vektör makineleri ile %65 doğruluk elde edilmiştir. Öznitelik sayısının düşük olduğu veri setlerinde k en yakın komşu ve modelden seçim algoritmalarının beraber kullanılması, öznitelik sayısının yüksek olduğu veri setlerinde ise destek vektör makineleri ve rastgele karar ağaçları algoritmalarının beraber kullanımının başarı sonucunu artıracağı söylenebilir.Sonuç: Sınıflandırma işlemlerinden elde edilen veriler doğrultusunda öznitelik seçiminin sınıflandırma işlemine olumlu etkilerinin olduğu görülmüştür. Yüzden çıkarılan geometrik öznitelikler ile dikkat eksikliği ve hiperaktivite bozukluğu hastalığı arasında bir korelasyon olduğu gözlemlenmiştir.

Purpose: The aim of the thesis is to determine the attention deficit hyperactivity disorder in children with supervised machine learning algorithms by extracting the geometric features from the facial images and to analyze the success rates of the classification algorithms commonly used in the literature. For this purpose, a computer vision based mobile application system has been developed to collect and analyze facial image data.Method: In this study, firstly, geometric features were extracted from face images. Two-dimensional points located in different regions on the face were obtained using the Facenet model. Then, using the face alignment mesh, 3D face images and points on the face were obtained from two-dimensional dot face images. The lengths and ratios between the obtained points were determined as feature vectors. Feature selection was carried out using K-Best, random decision forests, model selection and T-Test methods. K nearest neighbor, naive bayes and support vector machine methods are used in the classification phase. A data set was created from face images obtained from the internet. A mobile application has been developed in which computer vision-based algorithms and machine learning methods are used.Findings: The highest percentage of success among the feature vectors, the random decision forest feature selection method of the 2-dimensional feature vector in which all the lengths on the face are used and the support vector machines algorithm were applied together with 80% accuracy. For the 3D feature vector, 65% accuracy was obtained with the support vector machines. It can be said that the use of k nearest neighbor and model selection algorithms together in data sets with low number of features, and the use of support vector machines and random decision tree algorithms together in datasets with high number of features will increase the success result.Results: According to the data obtained from the classification processes, it has been seen that feature selection has positive effects on the classification process. It has been observed that there is a correlation between geometric features extracted from the face and attention deficit hyperactivity disorder disease.