Zaman Serileri Modelleri İçin Yeni Bir Performans Değerlendirme Yöntemi

Abstract

Bu tezde zaman serilerini tahmin etmeye yönelik geliştirilen modellerin başarısını ölçmede geleneksel metriklerin yetersizliğini tartışarak, yeni bir zaman serisi tahmini hata hesaplama tekniği ve model değerlendirme yöntemi önermekteyiz. Konvansiyonel hata hesaplama metriklerinin zaman serileri modellerinin değerlendirilmesinde yetersiz kalmasının en önemli nedenlerinden biri; tahmin için kullanılan modellerin, bir önceki zamanda gerçekleşen değeri bir sonraki dönemin tahmin değeri olarak aynen veya çok yakın vermesi durumunda MSE, RMSE ve AE gibi yaygın olarak kullanılan metriklerin, bu şekildeki bir yaklaşımın geleceği öngörme yetisinin çok sınırlı olmasına rağmen, güzel sonuçlar veriyor görünmesinde yatmaktadır. Biz, zaman serilerinin performansının klasik yaklaşımlarla elde edilen performans metriklerinin yanında, bu bahsettiğimiz naif ve etkisiz yaklaşıma uzak olması ölçüsünde değerlendirme gereğinden yola çıkarak ikili bir metrik ve model kıyaslama tekniği öneriyoruz. Bu çalışmada, hisse senetleri fiyatlarının tahmin edilmesinde LSTM, GRU, dense ve simpleRNN gibi standart katmanlarla oluşturulmuş derin öğrenme mimarilerinin yanısıra, kendi oluşturduğumuz melez mimarilerin tahmin güçlerini de hesapladık. Bu modeller içinde, kendi önerdiğimiz kıyaslama tekniğini kullanarak en iyi modelin hangisi olduğunu belirledik.

In this thesis, we propose a new time series prediction error calculation technique and model assessment method. We discuss inadequacy of traditional metrics in evaluating success of predictive time series models. One naive but ineffective way of predicting the future is giving out today's realized values as tomorrow's prediction. However, conventional error metrics such as RMSE, MSE and AE etc. seem to give very good results when we employ this kind of a naive approach. Many new models based on machine learning techniques end up mimicking this incompetent behaviour, but earning high marks from conventional metrics. In addition to the performance metrics obtained by classical approaches for the performance of time series, we propose a new metric and model comparison technique, based on the need for an approach which is far from the naive and ineffective approach we have just mentioned. In this study, we calculated the predictive powers of LSTM, GRU, dense, simpleRNN and the hybrid layered architectures that we have created in addition to the standard deep learning architectures such as LSTM, GRU, dense and simpleRNN for estimating stock prices. Among these models, we determined the best model according to our suggested evaluation technique.