Hybrid job scheduling for improved shared cluster utilization

Abstract

Bu tezde, bilgisayar küme yapıları üzerinde hibrid iş yüklerinin birlikte işlenmesiyle ilgili modeller, sorunlar ve performans kazanımları incelenmektedir. Desteklenen kümeleme teknolojileri arasında MPI, Hadoop-MapReduce ve NoSQL sistemleri bulunmaktadır. Önerilen programlayıcı modeli işletim sistemi seviyesindeki arakatman yazılımların üzerinde ve onları destekleyici niteliktedir. Tezde ilk olarak, MPI,Hadoop ve NoSQL işlerini bir arada programlayabildiğimizi göstermekteyiz.İkinci olarak, farklı özelliklere sahip (CPU vs. Girdi/Çıktı yoğunluklu) işlerin, aynı özelliklere sahip işlere göre (2 adet veya daha fazla CPU yoğunluklu) beraber daha iyi programlanabildiği bulgusu paylaşılmaktadır. Son olarak, bu bulgunun ışığında yeni bir greedy sort-merge programlayıcısı tasarımı anlatılmaktadır. İş tamamlama sürelerinde %37 zamansal kazanım gösterilmektedir, ancak %50 kazanımlar da (2x hızlanma) teorik olarak mümkündür. Bu zamansal kazanımlar kuyrukta yeterince yük olduğu takdirde kümenin kullanım kapasitesini de arttırıcı nitelikte olacaktır. Tezin sonunda, hibrid iş programlama ile sağlanabilecek potansiyel güç-enerji kazanımları da tartışılmaktadır.

In this thesis, We investigate the models and issues as well as performance benefits of hybrid job scheduling over shared physical clusters. Clustering technologies that are compared include MPI, Hadoop-MapReduce and NoSQL systems. Our proposed scheduling model is above the operating system and cluster-middleware level job schedulers and operating system level schedulers and it is complementary to them. First, we demonstrate that we can schedule MPI, Hadoop and NoSQL cluster-level jobs together in a controlled-fashion over the same physical cluster. Second, we find that it is better to schedule cluster jobs with different job characteristics together (CPU vs. I/O intensive) rather than two or more CPU intensive jobs. Third, we describe the design of a greedy sort-merge scheduler that uses the learning outcome of this principle. Up to 37% savings in total job completion times are demonstrated for I/O and CPU-intensive pairs of jobs, but up to 50% savings (or 2x speedup) is theoretically possible. These savings would also be proportional to the cluster utilization improvements, if there are jobs waiting in the queue. At the end of the thesis, we also discuss potential power-energy savings from hybrid job scheduling.