Evaluation of last level set-based cache partitioning techniques in terms of performance, power and fairness

Abstract

Son Seviye Önbellek, çok çekirdekli işlemcilerde birçok çekirdek tarafından paylaşılan önemli bir kaynaktır. Kontrolsüz bir sistemde bu kaynak talebe bağlı olarak dağıtılmaktadır. Bu durum, çalışmakta olan tüm uygulamalar için yeterli önbellek alanı bulunmadığında performans yönünden sorunlar doğurabilmektedir. Yüksek sistem performansı elde edebilmek için akıllı paylaştırıcı mekanizmalara ihtiyaç duyulmaktadır. Bu tezde ölçeklenebilir, hassas ve yüksek performanslı, set bazlı bir paylaştırma mekanizması ve ona özel hazırlanmış bir kaynak dağıtma algoritması tarif edilmektedir. Değerlendirmelere göre önerilen mekanizmanın, literatürden alınan Vantage paylaştırma mekanizmasından ortalama %5 daha yüksek komut tamamlama oranı ve adillik sağladığı görülmüştür. Ek olarak, set bazlı paylaştırma potansiyel bir enerji tasarruf yöntemi olarak incelenmiştir. Önerilen set bazlı kaynak dağıtma algoritması ve paylaştırma mekanizmasına yapılan ufak düzenlemelerle ortalama komut tamamlama oranı kaybı %1'in altında iken önbellek tarafından komut başına harcanan enerjide ortalama %28 tasarruf sağlanmıştır.

Last Level Cache is an important resource that is shared among many cores in multi-core processors. In an unmanaged system, this resource is allocated on demand, which may cause performance problems when there is not sufficient cache space for all running applications. In order to achieve higher system performance, smart partitioning mechanisms must be utilized. This thesis describes a scalable, fine-grain and high-performance set-based partitioning mechanism, along with a tailor-made allocation policy. Evaluations yield that the proposed mechanism can provide 5% improvement on average, in terms of throughput and fairness, compared to Vantage partitioner, state-of-the-art in the literature. Additionally, set-based partitioning is investigated as a potential energy-saving technique. Average energy consumed per instruction by the cache is reduced by 28%, while losing less than 1% throughput on average, with minor modificiations in the allocation policy and enforcement scheme of the proposed set-based partitioner.