Tool support for model based software product line testing

Abstract

Bu tezde bir sistem ailesi için test modellerinin yeniden kullanılmasını kolaylaştıran bir araç tanıtılmaktadır. Test modelleri, bu sistemlerin özelliklerinin kullanım olasılıklarını belirlemek için hiyerarşik Markov zincirleri olarak tanımlanmaktadır. Bu özellikler arasındaki değişkenlik bir ürün özellik modeliyle belgelenmektedir. Ürün özellik modelinde isteğe bağlı ve alternatif özellikler test modellerinde bir dizi duruma eşlenmektedir. Bu durumlar için geçiş olasılıkları seçilen özelliklere göre değiştirilmekte, böylece oluşturulan test durumları yalnızca bu özelliklere odaklanmaktadır. Aracın etkinliğini değerlendirmek için endüstriyel ortamlarda iki kontrollü deney yapılmıştır.Deneyler için dijital TV (DTV) ve kablosuz erişim noktası (WAP) sistemleri kullanılmıştır. Bu sistemler için sırasıyla 10 ve 5 katılımcı, sistem testlerinde ve dolayısıyla deneylerde rol almışlardır. Her katılımcının harcadığı ¸caba, sistemlerin test modellerini güncellerken araç kullanıldığı ve kullanılmadığı durumlarda ölçülmüştür. Aracın maliyetleri önemli ölçüde düşürdüğünü ve sırasıyla 13 DTV ve 11 WAP ürününe sahip küçük ürün ailelerinde bile, araç kullanılarak ürün hattı mühendisliği uygulamasının adapte edilme maliyetinin karşılanarak, toplamda harcanan çabada düşüş olduğu gözlemlenmiştir.

We introduce a tool for automated adaptation of test models to be reused for a product family. Test models are specified in the form of hierarchical Markov chains. Theyrepresent possible usage behavior regarding the features of systems as part of theproduct family. A feature model documents the variability among these features.Optional and alternative features in this model are mapped to a set of states intest models. These features are selected or deselected for each product to be tested.Transition probabilities on the test model are updated by our tool according to these(de)selections. As a result, the test case generation process focuses only on the selected features. We conducted two controlled experiments, both in industrial settings,to evaluate the effectiveness of the tool. We used systems as part of digital TV andwireless access point(WAP) systems. For DTV systems 10 and for wireless accesspoints 5 participants were involved in testing these systems, respectively. We measured the effort spent by each participant for the same set of tasks when our tool isused and when it is not. We observed that the tool reduces costs significantly. Wealso observed that the initial cost for adopting product line testing is amortized evenfor small product families with 13 DTV and 11 WAP products, respectively.