A unified framework for benchmarking sparse matrix-vector multiplication methods

Abstract

Seyrek matris-vektör çarpımı (SpMV) hesaplama bilimi, çizge analitiği ve makine öğrenmesi de dahil pek çok kullanım alanı olan önemli bir seyrek doğrusal cebir çekirdeğidir. Bu önemi sebebiyle pek çok çalışma SpMV performansını arttırmayı hedeflemektedir. Yapılan çalışmaların çoğu, önerdikleri metotların performansını özel deney ortamlarında değerlendirmektedir. Özel deney ortamlarının kullanılması, değerlendirme sonuçlarının tekrar edilebilirliğini olumsuz etkilemekte ve önerilen metotların mevcut metotlarla kıyaslanmasını zorlaştırmaktadır. Sunduğumuz bu çalışmada, tutarlı deney sonuçları elde etmek için SpMV metotlarını tek bir deney ortamında birleştiren, kolay entegre edilebilir bir performans değerlendirme çerçevesi oluşturarak problemi çözmeyi hedefledik. Bu kavramın bir kanıtı olarak, en gelişmiş CPU ve GPU tabanlı metotlarını sunduğumuz çerçeveye entegre ettik. Geliştirdiğimiz çerçeveyi açık kaynak bir yazılım olarak araştırmacıların kullanımına sunuyoruz.

Sparse matrix-vector multiplication (SpMV) is an important sparse linear algebra kernel that has a wide range of application domains, including computational science, graph analytics, machine learning and many more. Due to its significance, numerous studies have been conducted and are still being proposed to improve the performance of SpMV. Most of the studies evaluate the performance of their method in a custom experimental environment, which weakens the reproducibility of the empirical results, and also makes it hard to compare the proposed method to a wide range of existing methods. In this study, we address this problem by introducing an easy-to-integrate benchmarking framework that is able to unify SpMV methods in a single experimental environment to obtain consistent evaluation results. As a proof-of-concept, we have integrated several state-of-the-art CPU and GPU-based SpMV methods in our framework. We make the framework available as an open-source software for the convenience of researchers.