Düşük maliyet ile mikro süper bilgisayar oluşturma ve Apache Hadoop entegrasyonu

Abstract

Bu tez çalışması günümüzün önemli problemlerinden olan büyük miktardaki veri dosyalarının işlenmesindeki yüksek maliyet ve büyük sistemlere olan ihtiyacın daha düşük maliyetli, az yer kaplayan ve yönetimi kolay ARM mimarili mikro bilgisayarlar ile nasıl yapılabileceğini içermektedir.Günümüzde Hadoop Dağıtık Dosya Sistemi (Hadoop Distributed File System (HDFS)) büyük boyutlu veriyi saklama ve işlemede yaygın olarak kullanılmaya başlanmıştır. HDFS paralel işleme için MapReduce programlama modelini kullanmaktadır. Bu sayede büyük verileri sınırsız sayıda genişleyebilen yeni nesil dağıtık mimari sistemler üzerinde işlenebilmektedir. Geleneksel sistemlerde küme (cluster) yapıları kurabilmek için mimarilerin ve sistemlerin aynı olması gerekirken bu tez çalışmasında açıklanan sistemin kurulumu için mimarilerin, sunucuların ve küme içerisine dâhil edilecek düğüm (node) adedinin bir sınırı bulunmamaktadır.Büyük verilerin yukarıda özetlenen zorluklara rağmen daha kolay ve ekonomik yöntemler ile işlenebileceği açıklanmıştır. Büyük verilerin işlenmesi konusunda yakın gelecekte mikro bilgisayarın daha ön plana çıkacağı beklenmektedir. Bu tez çalışması büyük verilerin mikro bilgisayar sistemleri ile işlenmesi konusunda önemli katkı sağlayacağından araştırmacılar ve uygulama geliştiriciler için referans olma niteliği taşımaktadır.

This graduate thesis explains how big data proccessing problems that requires too much resources to manage with huge costs can be solved with lower cost, easy to maintain and small take up ARM engineered micro computers.Nowadays, Hadoop Distributed File System (HDFS) is commonly used for storing and proceesing big data. HDFS uses MapReduce programming model for paralel processing. By the help of this method, big data can be processed by new generation distubuted architecture systems which has capability of getting extention unlimitedly. Although to establish even clustered infrastuctures in conventinal systems, the architectures and system modelling must be same; there is no limitation for architectures, servers or number of nodes in clusters for the systems explained in this thesis.Despite of the difficulties explained above to process big data, the thesis shows that there are more easy and economic techniques to solve them by the help of microcomputers which will be more widely used in near future than today. Consequently this thesis can be accepted as reference by application developers and researchers.