Log analysis with anomaly detection

Abstract

Sunucu kütükleri için veride anormallik yakalam getireceği faydalar sebebiyle çok önemli bir veri işleme görevidir. Anormallik yakalama için farklı türlerde yöntemler kullanılabilir: gözetimli, yarı gözetimli ve gözetimsiz. Benzer şekilde, her bir tür için farklı yöntemler bulunmaktadır. Bu çalışmada, herkese açık bir Hadoop Dağıtık Dosya Sisitemi (HDFS) verisi dört adet anormallik yakalama yöntemi kullanılmış ve başarımları karşılaştırılmıştır. Ötekilerinin yanında SVM anormallik yakalamada en başarılı yöntem olarak ortaya çıkmıştır.

Detection of anomalies in the data is an important data analysis job for server logs as they will reveal many benefits. Different types of methods can be used for anomaly detection: supervised, semi-supervised, and supervised anomaly detection. Similarly different algorithms exist for each category.In this work, four anomaly detection algorithms are utilized and their performance metrics are compared for public Hadoop Distributed File System (HDFS) data. Among the others, thesupport vector machines are identified as the best method for anomaly detection.