Real-time event correlation and alarm rule mining models for complex event processing systems

Abstract

DÜnya, her iki gÜnde bir 2003 yılına kadar ürettiği veri miktarı kadar veri oluşturmaktadır.Gelişen veri akışları son birkaç sene içerisinde üretilen verinin büyümesindeki enönemli etkendir. Gerçek zamanlı olarak yapılan veri akışı analizi, şu an gerçekleşenlerhakkında yararlı bilgi edinilmesini sağlayan en hızlı ve en etkili yol olması, organizasyonların ortaya çıkan problemler için hızlıca aksiyon almalarına ya da yeni trendleri keşferek kendi performanslarını arttırmalarına yardımcı olmaktadır. Gerçek zamanlıveri akışı analizi, sensör ağları, ağ izlenmesindeki ölçümler, mobil trafik yönetimi,web gezintisindeki tıklama akışları, mobil arama detay kayıtları, sosyal medya iletileri/günlükleri ve benzeri daha birçok uygulamalardan üretilen verinin yönetiminiyapmak için gereklidir. Veri akışı analizi zordur ¸cünkü veri akışları geçici olarak sıralı, hızla değişen, yığın ve potansiyel olarak sonsuzdurlar. Veri akışı madenciliğindeki bu zorluklarla başa çıkabilmek için bu tezde iki çalışma yapılmıştır. Her iki çalışmada yüksek miktardaki veri akışını, son kullanıcılar için anlamlı ve aksiyon alınabilirşekilde sunmaktadır. Birinci çalışmada, toplu taşımada kullanılan otobüslerin gerçekGPS veri akışı çiftleri üzerinde ?olay ilişkilerinin? bulumasıdır. Diğeri ise ?zamangüvenilirliği? olarak adlandırılan yeni alarm ardışıl kural madenciliği parametresidir.Bu parametre kayıt edilen kurallar için pencere zamanı sağlar ve aynı zamandaüretilmiş kuralların doğru bir şekilde azaltılması üzerinde etkisi vardır.

World is creating the same quantity of data every two days, as it created from upuntil 2003. Evolving data streams are key factor for the growth of data created overthe last few years. Streaming data analysis in real-time is becoming the fastest andmost effective way to get useful information from what is happening right now, thusallowing organizations to take action quickly when problems occur or to detect newtrends to improve their performance. Data stream analytics is needed to manage thedata currently produced from applications such as sensor networks, measurements innetwork monitoring, mobile traffic management, web click streams, mobile call detailrecords,social media posts/blogs and many others. Stream data analytics is hardbecause data are temporally ordered, fast changing, massive and potentially infinite.In order to cope with the challenges of data stream mining, in this thesis two maincontributions are discussed. Both of them summarize the high volume streamingdata and present meaningful, actionable information to end users. The first one isfinding ?event correlations? over the data stream pairs on real GPS data of publictransportation buses. The second one is alarm sequence rule mining, with a newparameter called ?time confidence?, that helps automatically set time-window valuesfor registered rules and also reduces the generated alarm rule count.