Spam filtering using big data and deep learning

Abstract

İstenmeyen (spam) e-postalar veya diğer oltalama (phishing) gibi sahte e-postalar, küresel ağ aracılığıyla hassas kişisel bilgi toplamayı amaçlayan veya illegal işlem yapmaya yönelik zararlı e-postalar olarak düşünülür. İnternette dolaşan birçok e-postanın içinde istenmeyen içerik bulunur ya da bu tür aldatıcı e-postalar oltalama gibi diğer sahte e-postalara benzer. Bu davranışın asıl amacı kullanıcıya fiilen zarar vermek veya toplumdan haksız çıkar sağlamak olduğundan, bu istenmeyen e-postalar aracılığıyla yapılan, kullanıcıların / müşterilerin kimlik bilgilerine yetkisiz erişimin önlenmesini derhal tespit etmek ve bu tespit için başarılı sınıflandırma yöntemleri kullanmak önemli rol oynamaktadır. İnternetteki milyarlarca e-postayı göz önünde bulundurursak, e-postaların temiz ya da sahte olup olmadığının otomatik olarak sınıflandırılması önemli bir sorundur. Bu tezde, e-postaların sahte olup olmadığıyla ilgili sınıflandırma yapmak için denetimli makine öğrenmesi ve özel olarak derin öğrenme metotları kullandık. Sonuçlarımızın da belirttiği gibi, derin öğrenmenin e-posta sınıflandırması yapmada %96 başarı oranıyla kayda değer bir etkisi vardır.

Spam e-mails and other fake, falsified e-mails like phishing are considered as spam e-mails, which aim to collect sensitive personal information about the users via network or behave against authority in an illegal way. Most of the e-mails around the Internet contain spam context or other relevant spam like context such as phishing e-mails. Since the main purpose of this behavior is to harm Internet users financially or benefit from the community maliciously, it is vital to detect these spam e-mails immediately to prevent unauthorized access to email users' credentials. To detect spam e-mails, using successful machine learning and classification methods are therefore important for timely processing of emails. Considering the billions of e-mails on the internet, automatic classification of emails as spam or not spam is an important problem. In this thesis, we studied supervised machine learning and specifically `deep learning` methods to classify emails. Our results indicate that deep learning is very promising in terms of successful classification of emails with an accuracy of up to 96%.