Automated software issue triage in large scale industrial contexts

Abstract

Yazılım olay kaydı raporları, kullanıcıların bir yazılım ürününü kullanırken karşılaştıkları sorunları anlattıkları belgelerdir. Bu raporları doğrulama ve atama sürecine ise yazılım olay kaydı triyajı denir. Uygulamada, kayıtların triyajı, uzmanlar veya yazılım geliştiriciler tarafından manuel olarak gerçekleştirilir. Büyük ölçekli endüstriyel bağlamlarda yüzlerce yazılım ürünü mevcuttur ve bu ürünleri kullanırken yaşanan sorunlarla ilgili her gün yüzlerce olay kaydı açılmaktadır. Bu raporların triyajı büyük miktarda insan eforu gerektirmektedir ve kayıtların zamanında çözülememesi müşteri memnuniyetsizliğine neden olmaktadır. Bu tezde, veri madenciliği teknikleri kullanarak süreci otomatikleştirdik ve sistemi devreye alarak edindiğimiz tecrübeleri paylaştık. Otomasyonun pratik etkilerini gözlemlemek ve aktarmakla kalmadık, aynı zamanda kullanıcılarla vaka çalışmaları yürüttük. Ayrıca, yapılan tahminler için teknik olmayan, kullanıcılar tarafından kolaylıkla anlaşılabilecek açıklamaların otomatik olarak nasıl oluşturulacağına ve tahminlerin doğruluğundaki bozulmaların çevrimiçi bir şekilde nasıl tespit edileceğine dair yöntemler geliştirerek değerlendirdik. Sistem performansını iyileştirmek için hatalı atanan olay kayıtlarını inceledik. İlgili kayıtlara çoğunlukla ekran görüntüleri de eklendiğini ve sorunla ilgili kısa veya yetersiz açıklamalar girildiğini tespit ettik. Bu gözlemlere dayanarak, otomasyonun performansının artırılması amacıyla, açıklamalarda eksik bilgi olduğunu otomatik olarak nasıl tespit edebileceğimize ve ekli ekran görüntülerini de ek bir bilgi kaynağı olarak nasıl kullanabileceğimize yönelik çalışmalar yürüttük.

Software issue reports are the documents describing the problems users face when using a software product and software issue triage is the process of validating and assigning these issue reports. In practice, issue triage is carried out manually by experts or developers. In large scale industrial contexts, hundreds of software products exist and hundreds of issue reports are filed every day. It takes a great amount of human effort to triage these reports and failure to solve them on time results in customer dissatisfaction. In this thesis, we automate the issue triage process by using data mining approaches and share our experience gained by deploying the resulting system in a large scale industrial setting. Deployment of such a system presented us not only with an opportunity to observe the practical effects of automation, but also to carry out user studies, both of which have not been done before in this context. Furthermore, we developed and empirically evaluated methods on how to create human-readable, non-technical explanations for the predictions made, and on how to monitor and detect deteriorations in accuracies in an online manner. In our efforts to improve the performance, we analyzed the incorrectly assigned issue reports. We realized that many of them have attachments with them, which are mostly screenshots, and such reports generally have short or insufficient descriptions for the problem. Based on these observations, we further carried out studies on how to ensure that we detect the missing information in the descriptions of issue reports automatically and how we can use the attached screenshots as an additional source of information, in order to improve the performance of the automation.