Load related feature engineering for query execution time prediction

Abstract

Sorguların çalışma süresini tahmin etmek ilişkisel veri tabanları için en zor konulardan biridir ve bu tahminin doğru gerçekleşmesi, veri tabanı yönetimi, kaynak yönetimi, sistemin performansının izlenmesi ve sorguların zamanlamasının yönetimi gibi birçok konuda faydalıdır. Birçok sorgu iyileştiren yazılım, sorguların çalışma süresini tahmin edebilmek için maliyet tabanlı modeller kullanır fakat ilgili problem daha karmaşıktır zira veri tabanı sistemlerinin donanım ve yazılımlarının heterojen olması işlemci ve G/Ç maliyetlerinin ölçümünü çok zor kılmaktadır. İlişkisel veri tabanı üreticileri, yönetimi ve performansı otomatik hale getiren, kendi kendine çalışan veri tabanı sistemleri geliştirmeye çalışmaktadırlar. Bu noktada veri tabanı sorgularının çalışmadan önce ne kadar süreceğini tahmin etmek kilit bir özelliktir. Geçmiş çalışmalar sorgu süresini tahmin edebilmek için sentetik veri kullanmışlardır. Bu nedenle farklı alanlarda yapay öğrenme deneylerini tekrar etmek neredeyse imkânsız hale gelmektedir. Bu makalede, bir ödeme hizmet sağlayıcısının gerçek dünyadaki farklı yükler altındaki verisi kullanılmış ve veri tabanı sorguları zaman pencereleri içerisinde toplanarak üretilen yeni öznitelik kümesi sunulmuştur. Bu sunulan öznitelik kümesi geleneksel sorgu planı öznitelikleriyle karşılaştırılmış ve sonuçlar paylaşılmıştır. İlgili veri yaygın bir veri toplama aracıyla toplanmış bu sayede yapılan yapay öğrenme deneyleri ve oluşturulan modeller çeşitli alanlarda kolayca tekrar edilebilir hale gelmiştir.

Prediction of query execution time is one of the most challenging issues for relational databases and is useful for database administration, resource management, system monitoring and query scheduling. Most of the query optimizers use cost-based models for query execution time prediction but the problem is more complex because the heterogeneity of the database system's hardware platforms and operating systems makes more difficult to measure CPU and I/O costs. The relational database vendors try to implement autonomous databases which automates management and performance thus intelligent query execution time prediction is a key issue. Previous work mostly used synthetical data so that reproducing machine learning experiments are almost impossible for various domains. In this thesis, we use real-world data of a payment service provider with different workloads and we propose new sets of features based on aggregating the database queries and compared them with traditional query plan features. We collected data from a common machine data tool so that reproducing ma-chine learning experiments and building models are easy for various domains.