Energy cost optimization in large scale distributed systems by resource allocation techniques

Abstract

Büyük ölçekli dağıtılmıs sistemler güvenilir servis sağlamak ve karmaşık problemlerin çözümü için yüksek miktarlarda hesaplama gücüne ihtiyaç duyarlar. Bubağlamda, bu tarz sistemlerin enerji ihtiyaçları hızlı bir şekilde artmakta ve bu daberaberinde çok yüksek maliyetler getirmektedir. Bu alanlarda daha ileri noktalara gelebilmek icin bu maliyetleri düsürmek bu organizasyonlar için hayati önemtaşımaktadır. Kullanılan toplam enerji miktarını düşürmenin yanı sıra, elektrik fiyatlarında görülen coğrafi ve zamana bağlı değişimlerden faydalanarak elektrik faturalarını düşürmek de mümkün olmaktadır.Tezin ilk kısmında, kullanıcılarn finansal bütçeler belirleyebildiği ve bu sayedekendi kaynaklarının kullanımından doğan finansal yükü sınırlayabilecekleri bir gönüllüişlem ağı sunuyoruz. Kullanıcıların tükettikleri elektrik fiyatının zamana bağlı olarakdeğiştiği varsayımı altında, yaklaşımımızın ilginç bir görev atama problemi oluşturduğunugösterdik. Burada amaç kullanıcıların belirledikleri bütçeleri aşmayacak şekildeişlem ağında yapılan toplam işi maksimuma taşımak. NP zorlukta olan bu problemeçözüm olarak polinom zamanda çalışan sezgisel algoritmalar sunduk ve detaylı simulasyonlarımız sonucunda gönüllü işlem ağında işlenen toplam iş miktarının şu andakullanılmakta olan tekniklere oranla %35 arttırılabileceğini gösterdik.İkinci kısımda, toplu işlerin çözümü için özelleşmiş coğrafi olarak dağıtımlı verimerkezleri modelliyoruz. Elektrik fiyatının mekana ve zamana bağlı olarak değiştiğivarsayımını ve dışardaki havayı kullanan soğutma fırsatlarını göz önüne alarak, enerjimasrafını azaltmayı lineer programlama problemi olarak modelliyoruz. İki sezgiseliş planlama algoritması sunuyoruz ve gerçek sistem kayıtları ve elektrik fiyatlarınıkullandığımız simülasyonların sonucuna göre sunduğumuz algoritmalar toplam enerjimasraflarını iş dengeleme amaçlı algoritmalara oranla %6'ya kadar azaltmaktadır.

Large scale distributed systems require massive amount of computing power toprovide reliable services and to solve computationally complex problems. In that regard, energy needs in these systems are increasing rapidly and that brings substantialcosts. Thus, reducing energy costs of such organizations is crucial to advance in these fields. In addition to explicitly reducing energy consumption, it is also possible tocut down the total electricity bill by exploiting spatial and temporal variations inelectricity prices.In the first part of the thesis, we propose a volunteer computing network wherepeers can set monetary budgets, limiting the financial burden incurred on them duethe usage of their computational resources. Assuming that the price of the electricityconsumed by the peers has temporal variation, we show that our approach leads toan interesting task allocation problem, where the goal is to maximize the amountof work done by the peers without violating the monetary budget constraints set bythe peers. We propose various polynomial time heuristic algorithms to the problem,which is NP-hard, and our extensive simulations show that our approach can increasethe total amount of work done up to 35% compared to an existing baseline.In the second part, we consider a geographically distributed data center networkthat is specialized to run batch jobs with previously determined Service Level Agreements (SLAs). Taking into account the spatial and temporal variations in the electricity prices and free cooling opportunities by utilizing the outside weather, we model theproblem of minimizing the energy cost as a linear programming problem. We proposetwo job scheduling heuristic algorithms and our simulations using real-life workloadtraces and electricity prices demonstrate that the proposed heuristics can decreasethe total energy cost up to 6% compared to a load balancing baseline solution.