Transfer learning effects on image steganalysis with pre-trained deep residual neural network model

Abstract

Steganaliz, genelde resimler olmak üzere dijital bir taşıyıcıda gizlenen gömülü mesajları açığa çıkarmak için kullanılan teknikleri araştırır. Son yıllarda görüntü steganalizinde araştırma ve geliştirme çalışmaları daha fazla çekicilik kazanmıştır. Görüntü steganalizi alanında makine öğrenmesi teknikleri uzun yıllardır kullanılmasına rağmen derin öğrenme yeni bir paradigmadır. Derin öğrenme işleminin başarısının temeli modelin yeterli mik- tarda eğitilmesine ve yüksek kaliteli, çeşitli ve büyük orandaki veri setine bağlıdır. Eğitim işleminde veri setinde kalite, çeşitlilik ve miktar bağlamında eksiklik olması durumunda derin öğrenme metotlarından transfer öğrenme etkili bir çözüm olarak ortaya çıkmak- tadır. Transfer öğrenmede eğitilmemiş bir model daha önceden eğitilmiş bir modelden ve onun veri setinden faydalanır. Temel işlev eğitilmiş modelin parametrelerini eğitilmemiş modele transfer etmektir. Böylelikle, görüntü steganalizi için derin öğrenme modelinin başarısı artırılmaktadır. Bu çalışmamızda, transfer öğrenme metodu ile eğitilmiş ve eği- tilmemiş iki model serisini karşılaştırıyoruz. Modelin eğitimi işleminde optimizasyon metodu olarak deneysel AdamW optimizasyon metodu seçilmiştir. Eğitim, test, değer- lendirme ve F1 skorlama karşılaştırması kolay tespit edilebilenden zor tespit edilebilen farklı steganografi yük değerleri ile eğitilen modeller üzerinden gerçekleştirilmiştir. Bu çalışmamızda ayrı ayrı olarak örtülü-stego görüntülerin ve örtülmemiş-cover görüntülerin tespit edilmesinde hata oranını azaltmanın ve başarı oranını artırmanın olası en iyi yol- larını araştırdık. Sonuçlar transfer öğrenme metodunun uygulandığı modelin her farklı oranda yüklenmiş veri setlerindeki örtülü-stego görüntülerin tespit edilmesinde normal eğitilmiş modele göre daha başarılı olduğunu göstermiştir.

Steganalysis researches for the techniques used to reveal the embedded messages that is hidden in a digital medium -in most cases in images. The research and development activities in Image Steganalysis has gained more traction in recent years. Although machine learning techniques have been used for many years Deep Learning is a new paradigm for the Image Steganalysis domain. The success of the deep learning process is based on the training of the model for a sufficient amount of and with a high quality, diverse and large-scale data set. When the training process lacks dataset in terms of quality, variety and quantity, Transfer Learning emerges as an effective solution from Deep Learning methods. In Transfer Learning, an untrained model benefits from a pre- viously trained model and its dataset. Base function is defined to transfer the parameters from the trained model to the untrained model. Hence, it would increase the success of deep learning model on Image Steganalysis. In this work, we compare the results of two series of models that are trained both with and without Transfer Learning method. The optimization method of the model training process is selected as experimental AdamW optimization method. Comparison of training, testing, evaluating and F1 scoring are based on the models trained with different steganography payload values which starts from easy to hard to detect. We investigated for the best possible ways of increasing the success rate and decreasing the error rate on detecting stego images and cover images separately with this study. Results showed that transfer learning applied model is more successful on detecting stego images on every different rated payload dataset compared to the normal trained model.