Improving models for model-based testing based on exploratory testing

Abstract

Model bazlı test, test edilen sistemin modelleri sayesinde otomatik olarak test senaryoları oluşturulmasını sağlar. Bu modellerin doğruluğu ve tamlığı oluşturulan testsenaryolarının etkinliğini belirler. Genelde manuel olarak oluşturulan modellerdekieksikliklerden dolayı bazı kritik hatalar tespit edilemeyebilir. Pratikte bu hatalartecrübeli test mühendisleri tarafından uygulanan araştırma tabanlı testler ile tespitedilebilmektedir. Bu tezde, araştırma tabanlı test aktivitelerinden elde edilen bilgilerikullanarak test senaryosu oluşturulmasında kullanılan modelleri iyileştirmekiçin bir yöntem ve aracı sunuyoruz. Model iyileştirme aktivitelerinin bir araç iledestekleneceği yarı otomatik bir işleyiş öneriyoruz. Bu araç, araştırma tabanlı testaktiviteleri sırasında kayıt altına alınan yazılım koşum yollarını analiz etmekte vesistem modellerindeki eksiklikleri belirlemektedir. Belirlenen eksiklikler, daha verimlitest senaryoları elde edilebilmesi için modelde yapılması gereken iyileştirmelerkonusunda bir geribesleme sağlamaktadır. Bu yaklaşımımızı, bir Dijital TV sistemininmodel bazlı testi için model geliştirmesi amacıyla, iki endüstriyel vaka çalışmasıkapsamında değerlendirdik. Yaklaşımımızı uyguladıktan sonra, birinci endüstriyelvaka çalışmamız sonucunda, 3 kritik hata bulduk. İkinci endüstriyel vaka çalışmamızsonucunda ise, 4 kritik hata daha bulduk. Bu hatalar ilk olarak oluşturulan testsenaryoları ile bulunamamıştı ve bu hatalar ayrıca tecrübeye dayalı test aktivitelerisüresince de bulunamamıştı.

Model-based testing facilitates automatic generation of test cases by means of models of the system under test. Correctness and completeness of these models determine the effectiveness of the generated test cases. Critical faults can be missed due to omissions in the models, which are primarily created manually. In practice, these faults are usually detected with exploratory testing performed manually by experienced test engineers. In this thesis, we propose an approach for refining system models based on the experience and domain knowledge of these test engineers. Our toolset analyzes the execution traces that are recorded during exploratory testing activities and identifies the omissions in system models. The identified omissions guide the refinement of models to be able to generate more effective test cases. We applied our approach in the context of two industrial case studies to improve the models for model-based testing of a Digital TV system. After applying our approach, three and four critical faults were detected for the first and second case studies, respectively.These faults were not detected by the initial set of test cases and they were also missed during the exploratory testing activities.