Improvement of software system test process through statistical process control

Abstract

Yazılım süreçlerinin gelişiminde istatistiksel metodların kullanılması, süreçleri ve onlara ilişkin nicel analizi iyileştirmek için gereklidir. Bu metodların uygulanabilirliği en uygun olan süreçlerden birisi de doğrulama ve geçerleme sürecidir.Bu çalışmada bir proje kapsamında belirlenen test durumlarına, iki sistem test yöntemi (yol ve düğüm), prospektif (ileriye yönelik) şekilde toplanan veriler üzerinde, yöntemleri karşılaştırmak amacı ile istatistiksel metodlar kullanılarak analiz yapılmıştır. Uygulama sırasında daha önce sekiz çalışmada retrospektif (geriye yönelik) olarak kullanılan SPC-AM yönteminden ve istatistiksel araçlardan yararlanılmıştır.Bu çalışma ile;1.Sistem test süreci için belirlenen ölçümlerin yararını anlamak,2.Kullanılan sistem test yöntemlerinin etkinliğini değerlendirerek daha etkin olan yöntemi belirlemek hedeflenmiştir.Çalışma sonucunda sistem test süreci kapsamında uygulanan test yöntemleri için belirlenen ölçümlerin verileri kümeleme yöntemi ile gruplanarak değerlendirilmiş ve süreç için etkili olabilecek yöntemin belirlenen kısıtlara göre uygunluğu konusunda öneride bulunulmuştur.

Application of statistical methods on software processes is a required capability to improve processes and their quantitative understanding. Verification and Validation process is one of the most applicable process for these statistical methods.In this study, two different testing techniques (path and node coverage) were applied on the defined test cases of a project, and statistical methods were implemented prospectively (looking forward) to compare these two techniques on prospectivelly collected test case data. While implementing these statistical methods, an assessment model (SPC-AM) and statistical tools were used which had been previously implemented for eight different processes retrospectively (looking back).By this study; it is aimed to:1.Understand the use of measurements defined for the system test,2.Identify which test coverage technique would be useful for the validation process by evaluating the effectiveness of two black-box test coverage techniques.As a result; metric data for test coverage techniques was evaluated by applying process clustering, and suggestions were proposed on the effectiveness of the techniques under related circumstances.