End-to-end internet speed analysis of mobile networks with mapreduce

Abstract

Mobil veri iletişimi, mobil cihazların kullanımın ve veri yoğunluklu uygulamaların artmasıyla hızlı bir şekilde artmaktadır. Artan veri kullanımından dolayı veri iletişimi trafiğinin izlenmesi ve analiz edilmesi, mobil servis sağlayıcıları için ağ yönetimi ve optimizasyonu bakımından önemli hale getirmiştir. Paket tabanlı mobil ağlarda kullanıcı deneyimini ölçmek önemlidir fakat şuanki sistemlerde kullanıcı deneyimini yakalamak bir hayli zordur. Çünkü trafik analizi uçtan uca alınarak yapılamamaktadır. Çalışmamız kapsamında geliştirdiğimiz sistem, mobil ağlarda, test sistemleri gerçek kullanım senaryoları ile hız testi koşup, iletişim paketlerini uçtan uca analiz ederek saniye başına indirilen ve yüklenen veri miktarlarını hesaplamaktadır. Büyük veri kümesi halinde alınan test sonuçları paralel ve dağıtık sistemlerde MapReduce programlama modelleri kullanılarak Hadoop ortamında analiz etmektedir. Analiz edilen büyük test sonuçları ile internet hız karakteristik haritası çıkartmaktadır. Sonuç olarak sistem, uçtan uca ağ analizi yaparak, ağ hız kalitesini ölçmekte ayrıca büyük veri analizi ile birlikte kullanıcı deneyimleri ve mobil ağda oluşan problemleri kullanıcı şikâyeti üremeden tespit etmektedir.

Packet-based mobile networks are increasingly carrying internet data traffic for data intensive applications. Because of increased data usage, data traffic analysis have been a very essential way in network management and optimization for the mobile service providers. It is an important issue to measure user experiences in packet network, but the current systems cannot correctly capture user experiences. This is simply because; data traffic analysis is not end-to-end traffic trace. In the context of this study, the analysis system has been developed for mobile network. The test system runs speed tests with actual usage scenarios, trace communication packets and analysis download and upload. Test results as large data sets are processed and analyzed in parallel and distributed systems on cluster of computers using MapReduce programming model on Hadoop environment. Internet speed characteristics map is rendered with regional analyzed big test results. Additionally, the system reviews end-to-end network analysis and consequently, measure network speed quality too, with big data analysis, detects user experiences and problems without user complaints.