Web application testing: A systematic literature review

Abstract

Bağlam: Web uygulamaları yaşamımızın bir çok alanını önemli ölçüde etkilemiştir. Bu uygulamalara bağımlı olduğumuz alanlar arttıkça, web uygulamalarının güvenilirliği daha önemli hale gelmiştir. Web uygulamalarını daha güvenilir kılmak için son on yılda araştırmacılar web-tabanlı yazılım uygulamalarını test etmek amacıyla çeşitli teknikler sunmuşlardır. Bu alanda yaptığımız literatür taraması sonucunda 2000 ve 2013 yılları arasında yayınlanmış 193 makale bulunmuştur.Amaç: Web uygulaması testi alanının olgunlaşmaya devam etmesi ve bu alandaki makale sayısının giderek artması göz önünde bulundurulduğunda sistematik olarak bu alandaki yayınları belirlemek, analiz etmek, sınıflandırmak ve bu özelleşmiş alandaki çalışmaların gidişatı ile birlikte çalışmalarda ortaya konan deneysel kanıtlar hakkında genel görüntüyü ortaya çıkarmak önem kazanmıştır.Yöntem: Bu çalışmada web uygulaması testi alanındaki bilgi birikimi ?Sistematik Literatür İnceleme? (Systematic Literature Review - SLR) çalışması ile sistematik olarak gözden geçirilmiştir. Bu çalışma, bu alanda daha önce yapılmış olan sistematik eşleme (Systematic Mapping-SM) çalışmasının devamı ve tamamlayıcısı niteliğindedir. Bu çalışmanın bir parçası olarak üç araştırma soru kümesi ortaya konulmuş, çalışmaların seçim kriterleri tanımlanmış ve bu alandaki deneysel kanıtlardan sonuçlar sentezlenmiştir. Çıktılar: Çalışma havuzumuza web uygulaması testi alanındaki 2000-2013 yılları arasında yayınlanmış 95 makale (bulunan 193 makale içerisinden elenerek) dahil edilmiştir. SLR çalışmamızda çıkardığımız veriler genel erişime açık olacak şekilde web üzerinden erişilebilir durumdadır. Bu çalışma kapsamındaki çıktılarımızın başlıcaları şöyledir: (1) bu alandaki test araçlarının listesi ve yetenekleri, (2) sunulmuş olan test ve hata modelleri, (3) bu alandaki deneysel çalışmaların nasıl tasarlandığı ve raporlandığı, (4) deneysel çalışmalardaki titizlik düzeyi ve endüstriye uygunluk durumu ve (5) bu alandaki deneysel kanıtlar. Sonuç: Web uygulaması testi alanında ortaya çıkan eğilimler ve bu eğilimlerin bu alandaki araştırmacı ve uygulayıcılara etkileri tartışılmıştır. Elde ettiğimiz sonuçlar mevcut web uygulaması test yaklaşımları, hata modelleri, araçlar, metrikler ve deneysel kanıtlar hakkında araştırmacılara genel bir bakış sunmakla birlikte daha fazla ilgi gösterilmesi gereken alanların belirlenmesinde de araştırmacılara yardımcı olabilecektir.Anahtar Kelimeler: Sistematik literature gözden geçirmesi, Web uygulaması, Test

Context: The Web has had a significant impact on all aspects of our society. As our society relies more and more on the Web, the dependability of web applications has become increasingly important. To make these applications more dependable, for the past decade researchers have proposed various techniques for testing web-based software applications. Our literature search for related studies retrieved 193 papers in the area of web application testing, which have appeared between 2000 and 2013.Objective: As this research area matures and the number of related papers increases, it is important to systematically identify, analyze, and classify the publications and provide an overview of the trends and empirical evidence in this specialized field. Method: We systematically review the body of knowledge related to web application testing through a systematic literature review (SLR) study. This SLR is a follow-up and complimentary study to a recent systematic mapping (SM) study that has been conducted in this area. As part of this study, we pose three sets of research questions, define selection and exclusion criteria, and synthesize the empirical evidence in this area. Results: Our pool of studies includes a set of 95 papers (from the 193 retrieved papers) published in the area of web application testing between 2000 and 2013. The data extracted during our SLR study is available through a publicly-accessible online repository. Among our results are the followings: (1) the list of test tools in this area and their capabilities, (2) the types of test models and fault models proposed in this domain, (3) the way the empirical studies in this area have been designed and reported, (4) level of rigor and industrial relevance in empirical studies and (5) the state of empirical evidence. Conclusion: We discuss the emerging trends in web application testing, and discuss the implications for researchers and practitioners in this area. The results of our SLR can help researchers to obtain an overview of existing web application testing approaches, fault models, tools, metrics and empirical evidence, and subsequently identify areas in the field that require more attention from the research community.Keywords: Systematic literature review, Web application, Testing