Görüntü manipülasyonlarının derin öğrenme yaklaşımı ile belirlenmesi

Abstract

Makine öğrenmesinin popüler bir alt dalı olan derin öğrenme yaklaşımları, günden güne artan bir ilgiyle birçok alanda kullanılmaktadır. Derin öğrenme yaklaşımları; görüntü işleme, nesne tanıma, sinyal işleme gibi birçok alanda oldukça başarılı bir şekilde kullanılmaktadır. Benzer şekilde; insansız hava araçları, bilgisayarlı görüntüleme, akıllı telefon gibi alanlarda da etkili bir şekilde kullanılmaktadır.Günümüzde bu teknolojilerin çok çeşitli uygulamaları mevcuttur. Ancak bu uygulamalardan bazıları tehdit veya tehlike arz etmektedir. Bu tez çalışmasında, görüntü manipülasyonlarını tespitinde derin öğrenme tabanlı yöntemlerden olan Evrişimsel Sinir Ağları (ESA)'nın farklı mimarileri kullanılarak sınıflandırma problemi çözülmeye çalışılmıştır. Özellikle, görüntü manipülasyonları türlerinden olan ve son yıllarda kullanımı yaygınlaşan yüz manipülasyonu (deepfake) tespiti üzerinde durulmuştur. Bu kapsamda yeni bir deepfake veri seti oluşturulmuştur.Önerilen yöntemlerde, genel olarak derin öznitelik çıkarımı tabanlı kullanılmıştır. Görüntü manipülasyonlarının tespiti amacıyla farklı derin öğrenme mimarileri kullanılmıştır. Önceden eğitilmiş bazı derin öğrenme mimarileri görüntülerin sınıflandırılması probleminde kullanılmıştır. Ayrıca yeni bir derin öğrenme mimarisi görüntü manipülasyonlarının tespiti için sunulmuştur. Önerilen yöntemler, aynı veri setlerini kullanan mevcut yöntemlere göre daha iyi bir doğruluk performansı sergilemiştir.

Deep Learning approaches, which are popular sub-branch of machine learning, are used in many fields with increasing interest day by day. It has been successfully applied in many areas such as image processing, object recognition and signal processing. Similarly, it is also used effectively in areas such as unmanned aerial vehicles, computer imaging and smart phones.Nowadays, these technologies have a wide variety of applications. However, some of these applications offer a threat or danger. In this thesis, the classification problem has been tried to be solved by using different architectures of Convolutional Neural Networks (CNN), which is one of the deep learning-based methods to detect image manipulations. In particular, face manipulation (deepfake) detection, which is one of the types of image manipulations and has become widespread in recent years, has been emphasized. In this context, a new deepfake dataset was created.In the proposed methods, studies have been carried out with deep features-based approaches in general. Different deep learning architectures have been used to detect image manipulations. Some pre-trained deep learning architectures have been used in the image classification problem. Also, a new deep learning architecture is presented for detection of image manipulations. The proposed methods showed better accuracy performance than existing methods using the same datasets.