A software benchmarking methodology for effort estimation

Abstract

Yazılım proje yöneticileri genellikle iş gücü, maliyet ve yazılım geliştirme süresini tahmin etmek için referans veri kümelerini kullanırlar. Bu tahminler proje faaliyetlerinin uygun planlama, izleme, ve kontrolü için kullanılır. İş gücü kestirimi yazılım geliştirme projesinin başarısında önemli bir rol oynamaktadır ve referans veri kümesinin kalitesi yazılım proje iş gücü kestirim sürecinde kritik bir faktördür. Güvenilir bir referans veri kümesi oluşturmak amacıyla, kestirim veri niteliklerinin ve veri özelliklerinin tanımlı olması önemlidir. Öte yandan, çalışmalar referans veri kümelerinin veri özellikleri bu veri kümelerine dayalı çalışmaların yaygınlaştırılması üzerinde etkili olduğunu göstermektedir. Referans veri kümelerin kalitesi sadece toplanan veri niteliğine bağlı değildir, aynı zamanda bu verilerin nasıl toplandığıyla da ilgilidir.Bu tezde, organizasyonlarda iş gücü kestirim amacıyla referans veri kümesine veri toplamak için bir metodoloji önerilmiştir. Bu metodoloji, üç ana bölümden oluşmuştur: referans veri kümesinin ölçüleri, referans veri kümesinin veri toplama süreçleri, referans veri kümesi için veri toplama aracı. Bu yaklaşımda literatürde önceki çalışmaların sonuçlarından da yararlanılmıştır. Metodolojiyi doğrulamak vegeçerlemek amacıyla, iki orta boy yazılım organizasyonundan proje verileri otomatik referans veri kümesi veri toplama aracını kullanarak toplandı. Ayrıca, iş gücü kestirim modelleri oluşturuldu ve bu projelerin verileri ve projelerin farklı özelliklerinin etkisi iş gücü kestirimi için değerlendirildi.

Software project managers usually use benchmarking repositories to estimate effort, cost, and duration of the software development which will be used to appropriately plan, monitor and control the project activities. In addition, precision of benchmarking repositories is a critical factor in software effort estimation process which plays subsequently a critical role in the success of the software development project. In order to construct such a precise benchmarking data repository, it is important to have defined benchmarking data attributes and data characteristics and to have collected project data accordingly. On the other hand, studies show that data characteristics of benchmark data sets have impact on generalizing the studies which are based on using these datasets. Quality of data repository is not only depended on quality of collected data, but also it is related to how these data are collected.In this thesis, a benchmarking methodology is proposed for organizations to collect benchmarking data for effort estimation purposes. This methodology consists ofthree main components: benchmarking measures, benchmarking data collection processes, and benchmarking data collection tool. In this approach results of previous studies from the literature were used too. In order to verify and validate the methodology project data were collected in two middle size software organizations and one small size organization by using automated benchmarking data collection tool. Also, effort estimation models were constructed and evaluated for these projects data and impact of different characteristics of the projects was inspected in effort estimation models.