Web yazılım projelerinde homojen olmayan Poisson süreci yazılım güvenilirlik modellerinin karşılaştırılması

Abstract

Yazılım güvenilirliği, proje başarısını doğrudan etkileyen önemli kalite faktörlerinden biridir. Yazılım güvenilirliğinin modellenmesi ile bir projenin ne kadar zaman sonra ve ne kadar efor sonucunda kullanıcıya sunulabileceği tahmin edilebilir. Bu da proje kaynak ve takvim planlamasında yardımcı olabilmektedir. Bu amaçla yazılım güvenilirlik modelleri yazılımların olgunluklarını ölçmede sıklıkla kullanılmaktadır. Literatürde yazılım güvenilirlik modellerinin karşılaştırılmasına yönelik birçok çalışma bulunmasına rağmen yazılım türünü dikkate alıp bu kapsamda yazılım güvenilirlik modellerinin karşılaştırılmasının yapılmasına ihtiyaç vardır. Bu çalışma, yazılım güvenilirliğini ölçmek için kullanılan modellerin web yazılımlarındaki performanslarının karşılaştırılmasını hedeflemektedir. Bu amaçla ALTAIR Savunma ve Yazılım Teknolojileri A.Ş. firmasının dört ayrı web yazılım projesinde tutulan olay kayıtları kullanılarak altı ayrı yazılım güvenilirlik modeli karşılaştırılmıştır. Karşılaştırmada kullanılan modeller; Üstel Homojen Olmayan Poisson Süreci Goel Okumoto, Musa Üstel, Büklümlü S Şekilli Homojen Olmayan Poisson Süreci, Geciktirilmiş S Şekilli Homojen Olmayan Poisson Süreci, Yamada ve Pham-Nordmann-Zhang Kesin Olmayan Hata Tespiti (PNZ-IFD) modelleridir.Yazılım güvenilirlik modellerinin uygulanması sırasında en çok olabilirlik tahmin yöntemi kullanılarak hata kayıt verilerine uygun model parametreleri, her bir model ve her bir proje için tahmin edilmiştir. En çok olabilirlik yöntemi ile model parametrelerinin tahmin edilmesi sırasında, elde bulunan hata kayıt verilerinin %100'ünün, %70'inin ve %50'sinin kullanılması durumları olmak üzere üç durum ayrı ayrı incelenmiş ve sonuçları değerlendirilmiştir.Tahmin edilen parametrelerle oluşturulan modellerin projelere uygunluğu hata kareler ortalaması (Mean Square Error, MSE), ortalama bağıl hata (Mean Magnitude Relative Error, MMRE), yüzde bağıl hata sapması (Percentage Relative Error Deviation, PRED) ve dengeli tahmini bağıl hata (Average Balanced Predicted Relative Error, A.BPRE) ölçümleri kullanılarak hesaplanmıştır. Her bir model için dört proje, üç durum (%100, %70, %50) ve dört ölçüm (MSE, MMRE, PRED, A.BPRE) sonucuna göre toplamda 48 farklı ölçüm alınmıştır. Bu 48 ölçüm içerisinden her bir ölçüm için en yüksek başarıya sahip model seçilmiş ve modeller buna göre sıralanmıştır. Çalışma sonucunda Geciktirilmiş S Şekilli Homojen Olmayan Poisson Süreci yazılım güvenilirlik modeli 13 durum ile en çok durumda başarılı model olmuştur. Ancak Yamada ve Üstel Homojen Olmayan Poisson Süreci Goel Okumoto modellerinin birbirlerine benzer hata tahminleri yapıp birbirlerine yakınsadığı düşünülmektedir. Bu nedenle bu iki modelin toplamda 23 durum ile en çok durumda en iyi sonucu veren modeller olması ile kullanılan diğer yazılım güvenilirlik modellerine göre daha iyi modelleme yapacağı düşünülmektedir.

Software Reliability is an important quality factor that effects projects success. By modelling software reliability, it can be estimated when and with how much effort a project can be deployed. Consequently this can contribute to the resource and schedule planning of a project. Therefore, software reliability models are frequently used for measuring the maturity of a software. A number of works exist in the literature that compare software reliability models in terms of their modelling performance, however there is a need of evaluating these reliability models by taking into account software project types. This study aims to compare the performance of software reliability models with respect to web based software projects. In accordance to this purpose, six different software reliability models, namely Exponential Non-Homogenous Poisson Process Goel Okumoto, Musa Exponential, Inflected S Shape Non-Homogenous Poisson Process, Delayed S Shape Non-Homogenous Poisson Process, Yamada Exponential and Pham-Nordmann-Zhang Imperfect Fault Detection (PNZ-IFD), are evaluated by using the event records of four projects developed by the ALTAIR Defence and Software Technologies Company.In the application process of the aforementioned software reliability models the maximum likelihood method is used to estimate the parameters for each model and project. 100%, 70% and 50% of the recorded data is used as input to the maximum likelihood method and these three cases are investigated and commented separately in the research. The goodness of fit and the predictive validity of the models to the project data is tested by calculating Mean Square Error (MSE), Mean Magnitude Relative Error (MMRE), Percentage Relative Error Deviation (PRED) and Average Balanced Predicted Relative Error (A.BPRE) measures. For each model 48 separate cases which are combinations of the three situations (100%, 70% and 50%), four projects and four measures, are investigated. For each case the best model is selected and all models are sorted by their ranks. At the end of the study, it is shown that the Delayed S Shape Non-Homogenous Poisson Process model has displayed the best rankings among the alternatives. However, it is understood that the Exponential Non-Homogenous Poisson Process Goel Okumoto and Yamada models give identical responses and that these two models converge to each other with respect to the project data that has been used. Combined these two models obtain the highest ranking scores and it is concluded that these two models perform better than the other models with respect to web based software.