A new approach for ensemble based demand forecasting using machine learning methodologies in bigdata environment

Abstract

Artık Yapay Zeka çağında yaşamaktayız ve gerek günlük hayatımızdaki işlerde, gerekse şirketlerin iş proseslerinin bir çoğunda makina öğrenmesi teknolojileri içerilmekte ve daha fazla kullanılmaktadır. Makina öğrenmesi algoritmaları istatiksel problemleri soyutlayarak çözüme kavuşturmamıza yardımcı olmaktadır. Öte yandan tüm endüstrilerde veri çeşitliliği ve veri hacimlerinin de çok yüksek bir hızla artıyor olduğu gözlenmektedir. Veri çeşitliliği ile birlikte yüksek hacimli verilerin bulunduğu ortamlarda hızlı karar verme ihtiyaclarının da ön plana çıkması sonucu, makine öğrenmesi problemleri artık günümüzde Büyük Veri teknolojileri yardımıyla ele alınabilmekte ve çözüme kavuşturulabilmektedir. Bu tezde arttırılmış strateji ile biçimlendirilmiş yeni bir sezgisel topluluk öğrenmesi algoritması önermekte ve gerçek veriler üzerinde de uygulayarak başarısını göstermekteyiz. Algoritmamızın sonuçlarını ve ortak akıl felsefesiyle karar vermeye dayalı zaman serilerinin kullanıldığı talep tahminlemesi metodolojimizin katkılarını da paylaşmaktayız. Daha sonrasında da ileri makina öğrenmesi tekniklerininin talep tahminlemesine uygulanabilirliğini göstermekteyiz. Bu kullandığımız tekniklerin başında ilk aşamada Yapay Sinir Ağları ve Derin Öğrenme uygulaması olan Tekrarlayan Sinir Ağları ve bir başka makina öğrenmesi tekniği olan, kökleri istatistiksel öğrenme teorisine dayanan Destek Vektör Makinaları gelmektedir. Bu yöntemleri de kullanmamızın amacı, tedarik zincirlerinin sonunda kamçı etkisi yapan bozulmuş talep tahminlemesinin doğruluğunu arttırmaktır. Bu yeni yaklaşımımıza derin öğrenmenin de gücünü ekleyerek, bu amaca yönelik olarak da açık kaynak kodlu Spark ortamını kullanmaktayız. Spark, yapısı gereği dağıtık büyük veri platformlarında disk yerine bellek içi çalışma mantığından dolayı daha hızlı işlem yapabilme avantajını sağlayan yenilikçi bir teknoloji sunmaktadır. Bu yeni yaklaşımımızın sağladığı en büyük faydası olarak da ürün kategorisi bazında talep tahminlemesi doğruluklarında son derece yüksek artış olduğu gözlemlenmekte ve deneysel sonuçlar ŞOK Marketlerinin gerçek verileri ile sunulmaktadır. ŞOK Market 5500 civarındaki mağazası ve 1500 aktif ürünü ile Türkiye'nin ileri gelen indirim mağazası zincirlerinden birisidir. Tedarik süreçleri amacıyla talebin tahminlenmesi problemi, maliyetlerin minimize edilmesi, stokların optimize edilmesi ve perakendecilerin yok satmalarını azaltacak maliyet odaklı optimizasyon yaklaşımları aslına baktığımızda perakende sektöründe temel ve kritik bir tedarik zinciri problemi olarak ortaya çıkmaktadır. Perakenciler daha doğru talep tahminlemesi yardımıyla operasyonlarını daha optimum düzeyde yönetebilirler, müşteri satışlarını arttırabilir ve daha yüksek karlılığa ulaşabilirler. Öte yandan yok satmanın diğer kritik bir sonucu da müşteri sadakatindeki azalma neticesinde müşteri kayıplarının artması olarak ortaya çıkabilmektedir. Eğer tüketiciler aradıkları ürünleri raflarda bulamazlar ise, genelde benzer bir ürünü farklı bir kategoriden almaktansa en yakın rakip mağazadan alış veriş yaparak perakendeciyi terk etme eğiliminde olabilmektedirler. Bu tezde özetle önerdiğimiz metodolojinin daha yüksek doğrulukta talep tahminlemesi sonuçlarına ulaştırıyor olduğunu deneysel olarak da göstermiş olmaktayız ve derin öğrenme tekniklerinin gücünü de algoritmamıza ekleyerek sonuçlarımızı pekiştirmekteyiz.

We live in the Artificial Intelligence era and most of applications in our daily life also business processes of companies are being embedded with Machine Learning technologies. Machine Learning algorithms allow us to make abstraction layer of many statistical problems. On the other hand, the variety of data types and data sizes are increasing very rapidly in all industries. These sort of problems are being handled by Big Data technologies. At this thesis, we propose and prove a new heuristic algorithm using ensemble learning methodology with its modified boosting strategy, by implementing to real life retail data for demand forecasting purpose. We demonstrate the results of our algorithm and advantages of the contribution of our demand forecasting methodology coming from common minded decision making philosophy using time series forecasting. Then, we also show that the applicability of advanced machine learning techniques will be beneficial for demand forecasting. These technics includes firstly Recurrent Neural Networks, and one more, which's roots come from statistical learning theory, called Support Vector Machines. Their aim is to increase estimation degree of unnormal demand accuracy for supply chains. Deep Learning technics also added to our approach by using open source machine learning libraries on Spark environment, which is in memory and distributed big data platform, takes the advantage of memory processing speed instead of relaying data to disks. The main beneficial output of our approach is to get extremely accuracy increase of demand forecasting results in each product category, it is demonstrated with the results of real life market data. SOK Market is one of the main discount store chain in Turkey with its 5500 stores and around 1500 active SKUs.Demand forecasting for the purpose of replenishment is being observed as one of the basis critical problem for supply chains in retail industry, by the way of minimizing costs, optimizing stocks, and for also cost related optimization approaches to reduce retailers stock out problem. For retailers, more accurate demand forecasting results to manage operations with more optimum manner and results to maximization of customer sales with more revenue and of course profit. On the other hand, other crucial output of the stock out issue is already loyalty leak of the customers and their churn behaviours from one retailer to an other. If consumers are not able to meet with the products at stores which they want to buy, in generally they do not prefer to get a similar product item from an other category. They might make their shopping from nearest competitor retailer. In this thesis, we show that our proposed methodology performs much better accuracy at demand forecasting problem.