Feedback driven adaptive combinatorial testing

Abstract

Modern yazılım sistemlerinin yapılandırma uzayı ayrıntılı bir şekilde test edilemeyecek kadar geniştir. Örtme dizileri gibi birleşimsel etkileşim test etme yaklaşımları, sistematik olarak yapılandırma uzayını örnek olarak dener ve sadece seçilmiş yapılandırmaları test eder. Birleşimsel etkileşim test etme yaklaşımındaki temel gerekçe, t ya da daha az seçenek ayarlarından kaynaklanan tüm sistem davranışını maliyet-etkin bir şekilde uygulayabilmeleridir. Ancak pratikte çoğu böyle davranışların maskeleme etkilerinden dolayı gerçekten test edilmediğini tahmin etmekteyiz. Bu çalışmada maskeleme etkilerini belirlemek ve bu konu etrafında çalışmaya yönelik bir geribesleme-güdümlü, uyarlamalı, birleşimsel test etme yaklaşımı sunmaktayız. Her iterasyonda, olası maskeleme etkilerini belirleyip, sezgisel olarak onların olası sebeplerini izole etmekteyiz ve daha sonra bir sonraki iterasyonda test edilecek olan önceden maskelenen birleşimlere izin veren yeni örtme dizileri üretmekteyiz. Önerilen yaklaşımın etkinliğini ölçmek için, yaygın bir şekilde kullanılan açık kaynaklı iki tane yazılım sistemi üzerinde yaklaşımımızı değerlendirdik. Sonuçlarımız, maskeleme etkilerinin var olduğunu ve yaklaşımımızın maskeleme etkisi üzerinde çalışmak için umut verici ve etkili bir yol sağladığını öne sürmektedir.

The configuration spaces of modern software systems are too large to test exhaustively. Combinatorial interaction testing (CIT) approaches, such as covering arrays, systematically sample the configuration space and test only the selected configurations. The basic justification for CIT approaches is that they can cost-effectively exercise all system behaviors caused by the settings of t or fewer options. We conjecture, however, that in practice many such behaviors are not actually tested because of masking effects ? failures that perturb execution so as to prevent some behaviors from being exercised. In this work we present a feedback-driven, adaptive, combinatorial testing approach aimed at detecting and working around masking effects. At each iteration we detect potential masking effects, isolate their likely causes, and then generate new covering arrays that allow previously masked combinations to be tested in the subsequent iteration. We empirically assess the effectiveness of the proposed approach on two large widely-used open source software systems. Our results suggest that masking effects do exist and that our approach provides a promising and effcient way to work around them.