In-memory (hafıza içi) veri tabanı sistemlerinde akıllı log analizi

Abstract

Veri, tüm zaman ve çağlarda hep değerli olmuş, bilimin ilerlemesine ve toplumların gelişmesine öncülük etmiştir. İçinde bulunduğumuz Bilgi ve Teknoloji Çağı'nda, verinin değeri her geçen gün daha da önem kazanmaya başlamıştır. Günümüzde veriyi son derece önemli hale getiren en temel hususlardan birisi de, verilerin hızlı bir şekilde işlenebilmesi ve daha iyi analiz edilebilmesi olmuştur. Analiz sonucunda daha anlamlı veriler üretilmiş ve böylece verilerin çok daha etkin bir şekilde kullanılabilmesi sağlanmıştır.Bu çalışmada, uygulama ve sistemlerin işleyişi sürecinde oluşan log verilerinin In-Memory Veri Tabanı sistemlerinde tutulması, YSA algoritmalarından SOM (kendi kendine organizasyonlu öğrenme) algoritması kullanılarak tutulan verilerin analiz edilmesi ve sistemdeki anomali durumlarının tespit edilmesi yaklaşımı esas alınmıştır. Anomali tespiti amaçlı veri analizlerinde, denetimli öğrenen (supervised) YSA algoritmalarının tek başına yeterli olmayacağı, denetimsiz öğrenen (unsupervised) YSA algoritmalarının da kullanılmasının gerektiği görüşü beyan edilmiştir. Diğer yandan büyük boyutlu verilerin analiz çalışmalarının hızlı yapılabilmesi için, In-Memory (Hafıza İçi) veri tabanı sistemlerinin kullanılmasının gerekliliğine değinilmiştir. Konuyla ilgili geliştirilen prototip uygulama detaylıca anlatılmıştır. Uygulamada, In-Memory veri tabanı tablolarında tutulan, BT sitemlerindeki Windows sunuculara ait olan ve WMI üzerinden alınan uygulama log verileri kullanılmıştır. Öncelikle SOM algoritması kullanılarak veriler analiz edilmiştir, sonra da çıktı verileri baz alınarak anomali tespiti yapılmış ve anomali seviyeleri derecelendirilmiştir.

Data of all time and ages have always been valuable; it has pioneered the development of the progress of science and society. In the information and technology age we live in, the value of data is gaining more importance every day. Today, one of the most fundamental issues that make the extremely important data, the data can be processed quickly and has to be better analyzed. More meaningful data on analysis results produced and thus, the data can be used much more efficiently.In this study, data of logs that occur in the operation process of the system and application in the In-Memory Database Systems keeping ANN algorithms SOM (Self Organizing learning) analyzing the data held using the algorithm and approach to the detection of anomalies with the system is based. Anomaly detection for the analysis of data, supervised learning (supervised) ANN algorithms will not be sufficient alone, unsupervised learning (unsupervised) neural network has declared its opinion that the requirements of the use. For rapid analysis of large volumes of data on the other hand, In-Memory has been given for the use of database systems. Developed a prototype application is described in detail on the subject. In practice, In-Memory database held in the table belonging to a Windows server in the IT system and application log data received via WMI is used. First SOM data were analyzed using the algorithm, then it made based on the anomaly detection output data and abnormality is rated levels.