Big data platform development with a Telecom DSL

Abstract

Son yıllarda dünyamızdaki veri miktarı katlanarak artmaktadır. Bu durum şirketler içerisinde büyük veri olarak adlandırılan yapıların ortaya çıkmasına neden olmaktadır. Günümüz şirketleri rakiplerinin önüne geçebilmek adına gerekli olan verimlilik, yenilik ve müşteri ilişkileri gibi analiz sonuçlarını kendi bünyelerinde bulunan verileri işleyerek elde etmek isterler. Ancak büyük veri gerçek anlamda çok büyük ve karmaşık olduğundan ötürü geneleksel veri yönetim sistemleri ile işlenmesi imkansız denecek kadar zordur. Bu çalışmada size telekom firmaları için geliştirilmiş olan büyük veri sistemini sunacağız. Sistemimiz üç ana bölümden oluşmaktadır: DSL adı verilen Telekom alanına özgü bir dil, Map Reduce programlama modeli içeren paralel programlama platform ve sonuçların kullanıcıya sunulduğu bir arayüz. Bu üç ana bölüm birbirleri ile dağıtık dosya tanımlayıcısı olarak adlandırdığımız -DFD- framework?ü kullanarak haberleşmektedir. Önermiş olduğumuz DSL çözümümüz telekom firmalarına özgü telefon kayıtları, ağ kayıtları, link analizleri gibi verilerin paralel olarak işlenmesine olanak sağlar. Ayrıca veri merkezinde dağıtık yapıda bulanan cihazlar üzerinde işlemlerin paralel olarak çözümlenmesini sağlar. Web tabanlı sonuç gösterim ara yüzü ile işlenen verilerin efektif olarak gösterilmesi amaçlanmıştır. Tanımlamış olduğumuz DSL dili, SQL dilinden oldukça basit bir dildir. Kullanıcının dosyalar üzerinde herhangi bir paralel işlem yaptırması için Map Reduce tekniklerini içeren C, Java gibi kodları yazmasına gerek olmamaktadır. Aynı dil ile sonuç gösterimini kullanmak mümkündür.

The amount of data in our world has shown exponential growth in recent years. This creates a very large collection of data sets ?so called big data- in many organizations. Enterprises want to process their own big data to generate values from data to improve productivity, innovation and customer relationship better than their competitors. However, big data is so large and complex that it becomes difficult to process using traditional database management techniques. In this paper, we present a system which can be used to analyses for big data of telecom industries. Our system consists of three parts: Domain Specific Language (DSL) for telecom industries, parallel programming platform by using map reduce programming model and a viewer to present the results for human analysis. We integrated these three components by using a Distributed File Descriptor (DFD) to pass file information among each other. Our DSL offer many statements which are essential for telecom industries such as telephone call records, network logs and web link analysis. The platform component can perform highly parallel computations asked by DSL by using many different clusters of computers in data center. Our viewer component uses web browser to present result with many different graphics styles. Our solution for big data provides a comprehensive solution: Our DSL is much higher level than SQL. We do not ask programmer to write low level traditional code with Java or C by using Map Reduce techniques. We provide our own viewer.