Reproducing field failures based on semi-formal failure scenario descriptions

Abstract

Yazılım sistemlerinin artan hacmi ve karmaşıklığı nedeniyle bu sistemleri her ayrıntısına kadar test etmek zorlaşmaktadır. Sonuç olarak, bazı hatalar tespit edilemeden kalabilir. Tespit edilmemiş hatalar canlı sistemlerde güvenilirliğe tehdit oluşturabilir. Bu hatalar genellikle sahadan yazılım geliştiricilere raporlanır. Raporlamalar her zaman tam, açık ve biçimsel olmadığı için hatalı kullanım senaryolarını analiz edip yeniden üretmek hatrı sayılır bir zaman ve emek gerektirir. Bu çalışmada, hata ayıklamaya yardımcı olmak amacıyla sahadan bildirilen hatalı senaryoları otomatik olarak yeniden meydana getirmek için özgün bir yaklaşım sunulmaktadır. Yaklaşımımız, anahtar kelime kümesi içeren yarı-yapısal hata senaryolarına dayanmaktadır. Bu açıklamalar otomatik olarak çözümlenerek, geçerli girdi kümeleriyle önceden tanımlanmış test senaryosu şablonlarına eşlenir. Sonrasında, raporlanan hata senaryolarını yeniden üretmek için test senaryoları üretilir ve işletilir. Bu yaklaşım telekomünikasyon sektöründen bir şirkette yapılan bir sanayi vaka çalışması ile değerlendirildi. Sahadan raporlanan birçok hatalı senaryo başarıyla yeniden üretildi. Yaklaşım aynı zamanda şirketin kalite güvence sürecinde benimsenmiştir. Tekrar kullanılabilir test senaryosu şablonlarının bir kerelik hazırlanmasının ve test mühendislerinin eğitimlerinin ardından, raporlanan hataların %40'ı manüel çaba gerektirmeksizin yeniden üretilmiştir.

Due to the increasing size and complexity of software systems, it becomes hard to test these systems exhaustively. As a result, some faults can be left undetected. Undetected faults can lead to failures in deployed systems. Such failures are usu- ally reported from the field back to developers. It requires considerable time and effort to analyze and reproduce the reported failures because their descriptions are not always complete, structured and formal. In this study, a novel approach for automatically reproducing field failures to aid their debugging is introduced. The approach relies on semi-structured failure scenario descriptions that employ a set of keywords. These descriptions are pre-processed and mapped to a set of prede- fined test case templates with valid input sets. Then, test cases are generated and executed to reproduce the reported failure scenarios. The approach is evaluated with an industrial case study performed in a company from telecommunications domain. Many field failures were successfully reproduced. The approach is also adopted in the quality assurance process of the company. After one-time prepa- ration of reusable test case templates and training of test engineers, 40% of the reported failures were reproduced without any manual effort.