HADOOP/MapReduce teknolojisi kullanılarak hızlı tüketim sektöründe büyük veri analizi

Abstract

Hayatımızın her alanına giren internet ile birlikte hızlı bir şekilde ürettiğimiz veriler eğer kullanılmaz ise devasa veri yığını olmaktan öteye geçemez. Eğer üretilen bu verileri kullanarak bilgiye dönüştürebiliyor isek o zaman toplumu etkileyen bir veri elde edebiliriz. Bu çalışmanın amacı geleneksel yollar ile analizi mümkün olmayan veya çok fazla zaman alan analizlerin nasıl daha kısıtlı kaynaklar ile yapılabileceğini tartışmaktır. Büyük veri, analiz edildiğinde insanların yaşam ve anlayış biçimini değiştirecek veriler olarak kabul edilmiştir.Büyük verinin analizi için Hortonworks'un Hadoop platformunda MapReduce ve HDFS ile pazar sepeti analizi ve k-means ile kümeleme algoritmaları üzerinde çalışılmıştır. Bu çalışmalar neticesinde müşteri kanalları miktara ve karlılığa göre yeniden oluşturulmuştur. Ayrıca pazar sepeti analiz'i, MapReduce tekniği ile yapılarak ürün birliktelikleri bulunmuştur. Bu analiz ile ürünlerin birliktelikleri belirlenerek aşağıdaki maddelerin sağlanması amaçlanmıştır.•Müşterilere ürün önerme,•Müşterilerin alışkanlıkları hakkında fikir edinme,•Raf dizilimi,•Kampanya modellerinin belirlenmesi•Müşteri memnuniyeti,Hadoop üzerinde MapReduce tekniği ile paralel olarak yapılan analizlerin veri miktarına bağlı olarak belirli bir düğüm sayısına kadar kazanım sağladığı gözlemlenmiştir. Veri miktarı arttırıldıkça en optimum sürede analiz etmek için kullanılacak düğüm sayısını arttırmak gerekmektedir. Ayrıca veri miktarına bağlı olarak belirli bir düğüm sonrasında düğüm sayısını arttırmanın kazanım sağlamadığı aksine daha uzun zamanda analiz edildiği gözlemlenmiştir.Bu çalışma ile paralel işlemenin geleneksel yöntemlere oranla daha verimli olduğu gözlemlenmiştir. Aynı zamanda Hadoop platformunun kullanılması ile daha etkin sonuçlar alındığı belirlenmiştir.

If the data we produce quickly with the internet that has been into every aspect of our lives will not be used, it will be no more than a huge pile of data. If we are able to convert the information generated by using this data, then we can obtain a data that affects the community. The purpose of this study is to discuss how can we carry out these analyses which cannot be done with limited sources and takes too much time. In this study `Big Data` is considered as a data which can change people's lives and formats of their mentality.For Big Data analysis, Market Basket Analysis and Clustering Algorithm with MapReduce and HDFS have been studied. As a result of these studies customer channels have been re-created according to the amount and profitability. Besides, product association have been found by Market Basket Analysis which had been performed by MapReduce tecnique. With this analysis we aim to provide:•Product proposition to customers by determining product association, •To obtain an idea about the habits of the customers, •Shelf layout,•To determine campaign models,•Customer satisfaction.It has been observed that analyses which are performed on Hadoop in parallel processing with MapReduce technique can obtain gains up to certain number of nodes. However, after certain number of nodes no gains have been observed depending on the data structure and data amount. The amount of data in the most optimum time will be used to analyze the need to increase the number of nodes.