Performance evaluations of cloud computing platforms

Abstract

Bilgi teknolojileri piyasasında çok çeşitli bulut bilişim çözümleri sunulmaktadır. Bu çalışma, üç farklı firmanın sunduğu genel kullanıma açık ?Hizmet olarak Platform? çözümlerinin performans değerlendirmesi üzerinedir. Seçilen platformlar, CloudFoundry, Heroku ve OpenShift platformlarıdır. Piyasa araştırmaları göstermektedir ki, bulut bilişim hizmetleri çok yakın bir gelecekte, firmaların en çok talep edeceği hizmetlerinden birisi olacaktır. Firmalar, hangi çözümün hangi konuda daha iyi olduğunu bilmek isteyeceklerdir. Diğer çözümlerde olduğu gibi, bulut bilişimde de her konuda en iyi olan bir çözüm bulunmamaktadır. Bu sebeple karşılaştırma, en çok ihtiyaç duyulan işlevler üzerinden yapılmalıdır. Bu çalışmada, işlem gücü, veritabanı işlemleri ve ana hafıza bant genişliği test edilmiş ve birbirleriyle kıyaslanmıştır.Test sonuçları göstermiştir ki platformlar, test edilen her işlevde aynı performansı gösterememektedir. Bir platform, ana veya alt işlevlerden birinde en iyi olabilirken başka bir işlevde en kötü performansı gösterebilmektedir. Bu tez çalışması, ?Hizmet olarak Platform? çözümleri çerçevesinde belirli ana ve alt işlevleri en kritik özellikler olarak sunmaktadır. Ayrıca bu özelliklerin ölçülebilmesi için uygun kıyaslama algoritmalarından oluşan bir set ile birlikte, farklı ihtiyaçları göz önünde tutabilen iki farklı karar verme metodu kullanarak en iyi platformu önermektedir. Bu çalışmadaki temel değerlendirme performans odaklı olduğu için firmaların hizmet ücretleri değerlendirmeye dahil edilmemiştir. Benzer şekilde, kullanıcı dostu olma, desteklenen eklenti ve servisler de, firmaların temel ve ortak ihtiyaçları olmasından ziyade, ?olsa iyi olur? özellikler olarak görülüp değerlendirmeye dahil edilmemiştir.Üç servis için de performans sonuçları, Analitik Hiyerarşi Süreci (AHP) ve Tercihlerin Mantıksal Puanlaması (LSP) metotları kullanılarak karşılaştırılmıştır. Dört farklı senaryo önerilmiş, her biri için AHP ve LSP ile elde edilen sonuçlar sunulmuştur.

There are various cloud computing offers in information technologies market. This study deals with the performance evaluations of three public ?platform as a service? solutions offered by different companies. CloudFoundry, Heroku, and OpenShift are selected for comparison. The market researches show that cloud computing services will be one of the most demanded services for companies in near future. Companies will want to know which solution is good at which function. Similar to the other solutions, there is no silver bullet. Hence, the comparison must be based on the most needed resources. Therefore, computing power, database operations, and main memory bandwidth are tested and compared in this study.Test results show that each platform performed differently in each of the areas. A provider may be the best in one of the functions; however, it may be the worst in another. This thesis proposes the most critical functions and subfunctions for PaaS solutions. It also proposes a suitable set of benchmarking algorithms and suggests the best provider by using two different decision making methods which take different needs into account. Since evaluation is based on the performance, fees are not considered as a criterion. Similarly, user friendliness, supported add-ons and services are nice to have; nevertheless, they are not the basic and common needs of companies.The performance results of three platforms are compared by using Analytic Hierarchy Process (AHP) and Logic Scoring of Preference (LSP). Four different scenarios are presented and evaluation results of AHP and LSP are provided for each.