A method for product defectiveness prediction with process enactment data in a small software organization

Abstract

Kalite yönetiminin bir parçası olarak ürün hatalılığı tahmini kurumsal şirketlerde olduğu kadar küçük yazılım kurumları için de hayati önem taşır. Hata tahmini ile ilgili pek çok çalışma yürütülmüş olmasına rağmen süreç işletme verisi, toplama zorluğu nedeniyle kullanılamamaktadır. Buna ek olarak süreç işletme verisinin yazılım mühendisliğinde analizi için önerilen ve genel olarak bilinen herhangi bir yaklaşım yoktur.Biz bu çalışmada, süreç işletme verisinin hata tahmini için uygulanabilirliğini gösteren bir metot geliştirdik ve ?Süreç işletme verisinin kullanımı hata tahmini için yararlı mıdır??, ?Süreç işletme verisini nasıl kullanabiliriz?? ve ?Bizim geliştirdiğimiz metot hangi analiz metotlarını destekleyebilir?? sorularını cevapladık. Çoklu durum çalışması tasarımını kullandık ve küçük bir yazılım şirketinde süreç işletme verisinin kullanıldığı ve kullanılmadığı durumlar dahil olmak üzere dört durum çalışması için analizler gerçekleştirdik. Süreç işletme bilgisini içeren verinin gruplaması için istatistiksel yaklaşımlar yerine makine öğrenmesi yaklaşımlarını tercih ettik. Çünkü örüntü tanıma amaçlı olan makine öğrenmesi yöntemlerinin, örüntüye yönelik doğası gereği süreç işletme verisi için elverişli olduğunu değerlendirdik.Yaptığımız durum çalışmaları ile ümit verici sonuçlar elde ettik. Hata açık kalma süresi değerinin tahmini için süreç işletme verisinin kullanımının avantajını göstermek için tahmin modellerinin performanslarını değerlendirdik. Makine öğrenmesi metotlarını uygulamak için yeterli veri noktamız olduğunda ve veri homojen olarak gruplanabildiğinde, süreç işletme verisinin dahil edildiği analiz sonuçlarının, dahil edilmemiş olanlara göre yaklaşık 3% (-10% ile 17% aralığında) daha doğru olduğunu gözlemledik.Anahtar Kelimeler:yazılım hata tahmini, makine öğrenmesi, yazılım ölçümü, hatalılık, yazılım süreç işletme.

As a part of the quality management, product defectiveness prediction is vital for small software organizations as for instutional ones. Although for defect prediction there have been conducted a lot of studies, process enactment data cannot be used because of the difficulty of collection. Additionally, there is no proposed approach known in general for the analysis of process enactmentdata in software engineering.In this study, we developed a method to show the applicability of process enactmentdata for defect prediction and answered ?Is process enactment data beneficial for defect prediction??, ?How can we use process enactment data?? and ?Which approaches and analysis methods can our method support?? questions. We used multiple case study design and conducted case studies including with and without process enactmentdata in a small software development company. We preferred machine learning approaches rather than statistical ones, in order to cluster the data which includes process enactment informationsince we believed that they are convenient with the pattern oriented nature of the data.By the case studies performed, we obtained promising results. We evaluated performance values of prediction models to demonstrate the advantage of using process enactment data for the prediction of defect open duration value. When we have enough data points to apply machine learning methods and the data can be clusteredhomogeneously, we observed approximately 3% (ranging from -10% to %17) more accurate results from analyses including with process enactment data than the without ones.Keywords: software defect prediction, machine learning, software measurement, defectiveness, software process enactment.