Multi-objective regression test-selection in practice: An industrial case study

Abstract

Regresyon testi; yazılım üzerinde yapılan değişikliklerin, yazılımın daha önce çalıştığı doğrulanmış bölümlerine etkisinin olup olmadığının tespiti amacıyla yapılan testlerdir. Ancak yapılan herbir değişiklik sonrasında bütün testlerin tekrar edilmesi hem maliyet etkin değildir hem de özellikle büyük boyutlu projelerde zaman ve kaynak limitlerinden dolayı uygulanamamaktadır. Bu problemin çözülebilmesi ve tekrar edilecek test miktarının optimizasyonu için literatürde bir çok yöntem önerilmiştir. Bu yöntemlerden biri çok amaçlı regresyon test seçimi yaklaşımıdır. Bu tez endüstriyel bir projeye ait regresyon test seçim işleminin çok amaçlı regresyon test seçimi yaklaşımı kullanılarak geliştirilmeye çalışıldığı deneysel bir çalışmadır. Bu çalışmada çok amaçlı regresyon test seçimi yaklaşımı genetik algoritma kullanılarak formüle edilmiş ve çözümlenmiştir. Deneysel çalışma sonuçları çok amaçlı regresyon test seçimi yaklaşımının değişiklerden etkilenen isterlerin tamamını kapsayan ve aynı zamanda on farklı maliyet ve değer kriterine gore optimize edilmiş bir çözüm sağladığını göstermektedir.

Regression testing is testing of previously verified parts of a software system to make sure that software changes do not affect those parts. However running an entire regression test suite after every code change may be costly or even infeasible due to time and resource constraints especially in large-scale software projects. In order to resolve this issue and optimize the number of test cases to be rerun for regression, several techniques have been proposed in the literature. One of these is Multi-Objective Regression Test Optimization (MORTO) approach. This thesis is an `action research`-based empirical study to improve regression test-selection process of an industrial project, in the defence sector, based on the MORTO approach, in which the problem is formulated and solved by using a genetic algorithm. The empirical results demonstrate that this approach yields a more efficient test suite based on a set of five cost objectives, four value objectives and a dependency while providing full requirements coverage.