Statistical measures of evaluate and compare predictive quality of compound poisson software reliability estimation methods

Abstract

ÖZET Günümüzde yazılım güvenirliği modellerini çözmek için kullanılan yazılım güvenirliği tahmin yöntemlerinden pek çoğu parametrik olmayan teknikler içermektedir. Bu yöntemler çoğunlukla daha önceden belirlenmiş bir durma zamanına göre test edilen yazılımın sonunda oluşacak nihai hata sayılarım tahmin etmektedirler. Ancak bu gün gelinen noktada, yazılım güvenirliği çözümleyicileri bu yöntemlerin kalitesi hakkında önceden bilgi sahibi olmak istemektedirler. Şimdiye kadar bu yöntemlerin doğruluğu Ortalama Göreceli Hata, OGH (Average Relative Error (AVRE)), ve Ortalama Kareli Hata, OKH (Mean Squared Error (MSE)), ölçümleri kullanılarak saptanmaya çalışılıyordu. Bu tip ölçümler deterministik olduğundan bu değerler üzerinde istatistiksel testler yapılamamaktadır. Bu çalışmada, yeni Mutlak Göreceli Hata (MGH) ve Kareli Göreceli Hata (KGH) rassal değişkenlerin tanımı yapılmış, hipotez testi için yeni yaklaşımlar bulunarak bazı yazılım güvenirliği yöntemlerinden elde edilen sonuçlar, sıfır göreceli hataya karşılık öngörme kalitesi ölçülerek test edilmiştir. Çalışmada ele alman rassal değişkenler olan Mutlak Göreceli Hata ve Kareli Göreceli Hata'nın uzayan zaman içinde değişimini açıklamak için çoklu regresyon çözümlemesi kullanılmaktadır. Böylece birbirleriyle yanşan Bileşik Poisson ve diğer yazılım güvenirliği tahmin yöntemleri arasında karşılaştırma yapmak için yeni istatistiksel bir yöntem ortaya çıkmaktadır. Bu yeni yöntem kullanılarak bazı yazılım güvenirliği tahmin yöntemleri karşılaştırılmıştır.

IV ABSTRACT Among many software reliability estimation methods to solve for their corresponding software reliability models, a majority constitutes the nonlinear techniques whose solutions often need a convergence criterion as an inherent nature of the nonlinear problem. Each of these estimation methods estimates or predicts the number of failures until a prescribed stopping time in a frame of stochastic process. There comes a time when the software reliability analyst wishes to assess the quality of the estimation method related to the software reliability model under question. However, the accuracy of these methods are conventionally compared via deterministic measures such as Average Relative Error (AVRE) or Mean Squared Error (MSE). These deterministic measures lack of a sense of stochastic or variational comparison of scores since the results are not tested within a statistical hypothesis testing frame to reflect the uncertainty of data. This thesis, therefore not only proposes two new random variables Absolute and Squared Relative Error, and it also reflects some approaches to hypothesis testing of the results obtained from various reliability estimation methods used in software reliability evaluation to facilitate the measurement of predictive quality w.r.t. ideal situation (zero rel. error). Moreover, multiple regression analyses are carried out to explain the variation of the two random variables under study in a longitudinal time-base, i.e., Absolute Relative Error (ARE) and Squared Relative Error (SRE). This opens a new avenue to the comparison of the often used engineering performance scores between two competing models in relation to the true ideal value. In this thesis, some competing software reliability estimation methods are also compared through the proposed algorithms.