Modern techniques in forensic analysis of multimedia signals

Abstract

Günümüz bilgi çağında, dijital kayıtların çok kolay bir şekilde manipüle edilebilir ya da yapay olarak oluşturulabilir olması, dijital kayıt dosyalarının adli analizini önemli bir araştırma konusu haline getirmiştir. Bu kapsamda, ENF (Electric Network Frequency - elektrik şebeke frekansı) ve PRNU (Photo Response Non Uniformity - ışığa olan emsalsiz sensör tepkisi) en çok ilgilenilen araştırma konuları arasındadır. ENF, elektrik şebekesi geriliminin frekansı olup, talep edilen ve harcanan güç arasındaki dengesizliğe bağlı olarak zaman içinde sürekli dalgalanmalar yapar. ENF, belirli koşullarda ses ve video kayıtlarına istemsiz olarak eklenmekte olup, bu kayıtlardan ENF sinyalinin kestirimi yapılabilir. ENF, kayıt süresi doğrulama, içerik doğrulama, videolarda ses ve görüntü senkronizasyonu, elektrik şebekesi tanımlama gibi çeşitli adli analiz işlemlerinde kullanılabilir. PRNU, her sensörün ışığa karşı olan emsalsiz tepkisi olup sensör üretiminde kullanılan silikon levhanın homojen olmayan yapısından ve üretim sürecindeki önlenemeyen kusurlardan meydana gelir. Aynı levhadan üretilen aynı marka ve model kamera sensörlerinin bile PRNU bileşenlerinin farklı olması, PRNU'nun emsalsiz sensör parmak izi olarak değerlendirilmesini sağlar. PRNU, çekilen her imge ve video çerçevesine istemsiz olarak eklenmekte olup, bu görüntülerden PRNU gürültüsünün kestirimi yapılabilir. PRNU temel olarak imge ve videoların kaydedildiği kaynak cihazın tanımlanmasında kullanılır. Bu tez çalışması kapsamında, ses ve video dosyalarının ENF tabanlı adli analizi üzerine kapsamlı bir çalışma yapılmış olup, videolarda ENF varlık/yokluk tespiti, `rolling shutter` mekanizması ile örneklenen videoların her bir çerçevesindeki bekleme süresine bağlı olarak ENF gücünün ve temel ENF harmoniğinin frekansının nasıl değiştiği, video çerçevelerindeki bu bekleme süresinin kestirimi, yine `rolling shutter` mekanizması ile örneklenen videoların kayıt zamanının doğrulanması gibi bir dizi yeni yöntem geliştirilmiş ve sunulmuştur. Bu tezde ayrıca, sorgulanan sosyal medya video çiftlerinin aynı kamera ile kaydedilip kaydedilmediği konusunda PRNU tabanlı karşılaştırmalı bir analiz sunulmuştur.

Media forensics has become a research field of great importance in the information age as digital recordings can straightforwardly be edited, manipulated, or artificially created. The forensic criterias ENF (Electric Network Frequency) and PRNU (Photo Response Non Uniformity) are among the most interested research fields. ENF is voltage frequency of mains electricity, and it shows a continuous fluctuation in time depending on the gap between demanded and supplied power. ENF is intrinsically integrated into audio and video recordings in certain conditions, and it can be estimated from these recordings. ENF can be used for various forensic tasks including time-of-recording verification, media authentication, multimedia synchronization and power grid identification. PRNU is distinct response of each photo-sensor to light caused by non-homogeneous structure of silicon wafers and unavoidable defects in the manufacturing process. This unique characteristic of each camera sensor, even of those produced from the same wafer, and hence of the same brand and model, makes PRNU to be treated as a sensor fingerprint. PRNU noise is inherently integrated into each exposed image or video frame and can be estimated from them. PRNU can be used mainly for identification of the source device by which a given image or video is recorded. In this thesis, we provide a comprehensive study on ENF based audio and video forensics and present a number of novel methods including: proposal of ENF presence detection algorithm for video; creation of a model for where the frequency of the primary video ENF harmonic is shifted, and how the captured ENF's power is attenuated owing to the idle period in rolling shutter mechanism; development of a new method for idle period extraction; exploration of a new technique for time-of-recording verification task for rolling shutter exposed videos. We also provide a comparative analysis on PRNU based source camera attribution for social media video pairs.