Comparison on scheduling algorithm in apache hadoop

Abstract

Büyük veri son zamanlarda bilgisayar mühendisliği dalının önemli parçalarından biri olmuştur. Bu veri, astronomi, okyanus bilimi, sağlık, sosyal medya, bankacılık, üretim ve bu gibi birçok alanda üretilerek, dünya genelinde çok hızlı bir şekilde yayılmaktadır. Bunun yanında, çizelgeleme Apache Hadoop'un en önemli parçası durumundadır. Ayrıca tamamlanması için hala daha çok araştırmaya ihtiyaç vardır. Yine de, bu çalışma, diğer çalışmalar için sınıflandırma yapmakla birlikte; sistematik kaynak analizi metodunun kullanmanın sonuçlarını araştırmak, analiz etmek ve karşılaştırmaktadır. Buna ek olarak; bu çalışma için seçilen her bir algoritma düzenleyicisinin ayrı ayrı avantaj ve dezavantajlarını belirtmektedir. İlaveten bu tez, diğerlerine kıyasla Apache Hadoop içerisinde hangi veri çizelgeleyicisinin ve hangi mekanizmaların daha baskın olarak kullanıldığını içermektedir. Bu nedenle, bu içerikler diğer çalışmalarda bulunmamaktadır.

Recently, big data has become one of the important parts of computer engineering. The data goes rapidly increase on our planet it can generate from different kinds of sources, for instance, astronomy, oceanography, healthcare, social media, banking, manufacturing, and many others. However, scheduling considered one of the utmost important parts in Apache Hadoop. Indeed, it needs more study to try to cover it. However, this study is critically classify, for other studies, it is compare, investigate and analyze the result by using systematic literature Review (SLR) methodology. Moreover, it identifies the pros and cons an individually for each scheduler algorithm that selected to make this study. Plus, this thesis covered which mechanisms are being used in the algorithms and which scheduler algorithm dominantly used in Apache Hadoop compare to the others scheduler algorithms it used. Thus, these things were not covered in another study in the literature on computer engineering.