Application of text mining on IT incident management systems

Abstract

Bilgisayar sistemlerinde saklanan veri hacmi gün geçtikçe hızlı bir şekilde artmakta ve veri boyutu arttıkça veriyi yorumlaması için bilgisayar sistemlerine duyulan ihtiyaç da aynı şekilde artmaktadır. Verinin bir anlam içermesi için yorumlanıp bir bilgiye ulaşılması gerekiyor. Günümüzde bilgiye ulaşmak için makine öğrenmesi teknikleri üzerinde oldukça yoğun çalışmalar yapılmaktadır. Bir makine öğrenmesi yöntemi olan metin sınıflandırma da metin içeren dökümanların içeriğinden bir bilgiye veya sonuca çıkmayı hedeflemektedir.Bu çalışmada metin sınıflandırma yöntemlerinin BT hizmet yönetimi, özellikle de olay yönetimi, sistemlerindeki metin içerikli kayıtları sınıflandırmak için kullanımı değerlendirilmiştir. Günümüzde, şirket içi veya şirket dışı olsun, BT hizmeti sağlayan şirketlerde BT hizmet yönetimi son derece önem arz eden bir konu haline gelmiştir ve bunun için dünya çapında geçerli belirli standartlar takip edilmektedir. ITIL, dünya çapında geçerli olan BT hizmet yönetimlerinden biridir ve ITIL çerçevesine göre yapılandırma öğeleri, yani BT hizmeti vermek için gerekli olan bileşenlerin tamamı, ve olaylar birbiriyle ilişkilendirilmelidir. Genel olarak kullanılmakta olan BT hizmet yönetimi sistemlerinde bu ilişkilendirme işlemi BT teknisyenlerinin eforlarıyla, elle yapılmaktadır. Yapılan deneylerde elle yapılan bu ilişkilendirme işleminin metin sınıflandırma metotları yardımıyla otomatik bir hale getirilmesi hedeflenmiştir.Çalışma kapsamındaki uygulamalarda aynı BT hizmet yönetimi sisteminden elde edilen üç farklı veri kümesi kullanılmıştır. Buradaki amaç aynı sınıflandırma metotlarının farklı veri kümelerinde nasıl performans gösterdiklerini gözlemlemektir. Sınıflandırma metodu olarak Naïve Bayes Multinomial, k-En Yakın Komşu, Destekçi Vektör Makineleri ve C4.5 karar ağacı sınıflandırıcıları kullanılmıştır ve bu metotlar farklı önişleme aşamalarıyla birlikte çalıştırılarak önişleme aşamasının sonuca etkisi değerlendirilmiştir.Sınıflandırma işlemleri sonucunda her veri kümesinden kabul edilebilir bir performans elde edilmiştir fakat örnek olarak B veri kümesinden maksimum 64.41% doğruluk elde edilmiştir ve bu derece gerekli bir implementasyon olarak değil; ancak bir öneri sunma fonksiyonu gibi ek bir fayda sağlayacak fonksiyon olarak değerlendirilebilir.Uygulama sonuçlarından çıkan bir başka yorum ise Destekçi Vektör Makineleri sınıflandırıcısının B veri kümesi gibi daha komplike veri kümelerinde bile kabul edilebilecek bir sonuç sağladığıdır. Öte yandan Naïve Bayes Multinomial ve k-En Yakın Komşu algoritmalarının veri kümesindeki değişikliklere veya gürültüye daha hassas oldukları gözlemlenmiştir.Öğrenme süreleri açısından ise yapılan değerlendirmede ise C4.5 karar ağacı metodunun öğrenme aşamasının son derece uzun sürebildiği ve Naïve Bayes Multinomial, k-En Yakın Komşu algoritmalarının istatistiksel ve mesafe ölçümleri sayesinde öğrenme aşamasında zaman harcamadığı gözlemlenmiştir.

With the increase of data stored in computer systems worldwide, gaining knowledge from data became more computer dependent. Data alone is not very valuable unless there's knowledge extracted from data. This is the reason that machine learning has become a quite important topic recently. Text classification is a machine learning task which aims on classifying documents based on their content and that is the method used in this study.This study focuses on the task of classifying documents on the IT service management, mainly incident management, tools. IT service management and incident management is a hot topic in every company which serves IT services and they require human effort to manage. In ITIL framework for IT service management, it's always useful to link the incidents with configuration items, in other words the assets or components necessary to deliver IT services, and this task is managed manually by IT support technicians in many IT service management tools. The aim of the study is to remove this manual linking step by applying text classification methods and instead to provide an automatic assignment of CI's to incidents.Four text classification methods, Naïve Bayes Multinomial, k-Nearest Neighbor, Support Vector Machine and C4.5 decision tree classifiers, are used on three different sets of incidents extracted from the same database by using different filters. The impact of some pre-processing steps is compared on different sizes of datasets.It's possible to conclude from the experiments that this study achieved an acceptable accuracy on all sizes of datasets though some methods, like SVM on Dataset B, may only be used as nice-to-have as the results are not perfect. Using a model with 64.41% accuracy as a primary solution might cause time and value loss.Another conclusion from the experimental results is that SVM performs well even in such complex datasets while the classifiers like Naïve Bayes Multinomial and kNN are very sensitive to noise.Learning speed of each classifier in the evaluations has been monitored and proved that C4.5 could be problematic from speed perspective on complex datasets. Naïve Bayes Multinomial and kNN, however, does not require any time to learn because of their distance and probability approaches.