Predicting related test case scenarios by source code changes

Abstract

Yazılımda yapılan değişiklikleri doğrulamak için yaygın bir şekilde yazılım testleri kullanılmaktadır; ancak bu aşama yazılım geliştirme yaşam döngüsü (YGYD) içindeki en maliyetli aşamadır. Test senaryosu önceliklendirme (TSÖ) yöntemlerinin amacı, test senaryolarını testin etkinliğini artıracak şekilde bir sıraya koyarak bu maliyeti düşürmektir. Bu şekilde, en faydalı test senaryoları diğerlerinden daha önce çalıştırılarak hataların test sürecinin erken aşamasında yakalanması sağlanmaktadır. Bu çalışmada, manuel kara kutu testlerinin önceliklendirilmesi için yeni bir statik TSÖ yöntemi öneriyoruz. Her test senaryosunun işlevselliğini bulmak için bir konu modelleme (KM) algoritması kullanmaktayız. Bu yaklaşım test senaryolarını ayrıştırma ve sıralama imkanı sunmaktadır. Test edilen yazılımın (TEY) farklı bölümlerini test eden test senaryoları daha öncelikli olmaktadır. Yöntemimizi ticari bir çevrimiçi bankacılık uygulamasının test mühendisleri tarafından sıralanmış test senaryoları ile kıyasladık. Bulduğumuz sonuçlar, yöntemimizin ortalama hata yakalama yüzdesinin (OHYY) daha yüksek olduğunu göstermiştir.

Software testing is commonly used for validating software changes, but it is the most expensive phase of the software development life cycle (SDLC). Test case prioritization (TCP) aims to reduce the cost by scheduling the running order of tests to increase the effectiveness of testing; so that most beneficial test cases are executed first, and faults are detected in the early phases of testing. In the study, we present a novel static TCP technique for manual black-box testing. We use a topic modeling (TM) algorithm to extract the functionalities of each test script. This approach allows differentiating and ranking test cases. Cases those test different parts of the system under test (SUT) get higher ranks. Our approach is compared with the manually prioritized test cases of test engineers in the case study of a commercial online banking project. The comparison shows that the average percentage of fault detection (APFD) rates of our approach is higher than the manual prioritization approach.