A novel framework for disaster resilient smart cities: Using big data analytics

Abstract

Akıllı şehirlere yönelik çalışmalar, felaket senaryolarını kaynakça yönetmek için bilgi ve yeni bilgiler sunarak ölümleri azaltmada önemli bir rol oynayabilir. Akıllı şehir kavramı, yüksek kaliteli multimedya hizmetlerini elde etmek için ideal bir çözüm olarak kabul edilmektedir. Akıllı telefonların ve diğer taşınabilir mobil teknolojilerin aşırı kullanımıyla donatılmış algılayıcılar (yani GPS alıcıları, yüksek çözünürlüklü kameralar, mikrofonlar, ivmeölçerler) ve sosyal medyanın ortaya çıkmasıyla, geleneksel veri toplama ve yönetme yöntemleri yetersiz kalmaktadır. Algılanan büyük veriler, durumsal farkındalığın arttırılması, kaynakların daha iyi tahsis edilmesi ve afet riskini azaltma stratejileri ve risk değerlendirmeleri hakkında bilgi vermek için daha iyi bir kaynağın sağlanması gibi birçok fayda sağlayabilir. Bu tez çalışmasında, afet yönetimi süreçlerinin temel işlemlerini gerçekleştirmek için yeni ve daha etkili bir yaklaşım sunan BDA teknolojilerinin birleşmesi için yeni bir kavramsal bir çerçeve önerilmiştir. Çalışmada, bazı önerilen parametrelerle birleştirilen büyük veri teknolojisinin, afet yöneticilerine güncel ve yararlı bilgiler sağlamak için kriz verilerini üretmek, entegre etmek, işlemek ve analiz etmek için etkili bir şekilde kullanılabileceği üzerinde durulmuştur. Büyük veri kaynaklarının (yani, IoT tabanlı sensörler, sosyal medya, kalabalık kaynaklı çevrimiçi haritalama) entegrasyonu ve işlenmesi daha etkili ama aynı zamanda çok zorlu bir ortama yol açabilir. Bu tez, farklı türdeki büyük verilerin yönetime alınması ve konuyla ilgili literatür ışığında birleştirilmesi için kullanılabilecek yeni bir mimarinin hayata geçirilmesine katkıda bulunmaktadır. Yapılandırılmamış sosyal medya veri setlerinin kalitesine yönelik kaygılar, zorlu bir araştırma fırsatı olarak kabul edilmektedir. Bu tez çalışmasında, sosyal medya verilerinin kalitesi önerilen bir filtreleme mekanizması ile değerlendirilmiştir. Tez, konuşlandırılmış sistemde gerçekleştirilen tüm operasyonel adımların detaylarını gösteren uygulama modeline odaklanmaktadır. Önerilen uygulama modeli dört katmana ayrılmaktadır. Bunlar; 1) Veri Toplama; 2) Veri Yığma; 3) Veri Ön İşleme; 4) Büyük Veri Analitiği ve Servis Platformu. Spark Engine ve Hadoop Ecosystem ile donatılmış sistem platformu, verileri öngörülen algoritmalara göre işler. Uygulama, MapReduce mekanizmasıyla Hadoop ekosistemi kullanılarak gerçekleştirilir. MapReduce'un paralel oluşumu HDFS ile konuşlandırılmıştır. Apache Spark, gerçek zamanlı veri akışlarında daha güçlü işlemler için Hadoop ile birlikte kullanılmıştır. Hem çevrimiçi hem de çevrimdışı veri akışlarını destekleyen Spark Streaming, sistemde veri toplaması için dağıtılır. Uygulanan sistem, Hadoop üzerinden paralel veri işlemeden ve Apache Spark kullanarak gerçek zamanlı veri işlemeden faydalanmaktadır. Bu kombinasyon esnek ve etkili depolama, doğru parametre hesaplama ve hızlı sonuç üretmeyi sağlamıştır. Hadoop Ekosistemi ve Spark tabanlı analitik, IoT ve Twitter veri setleri için gerçek zamanlı ve çevrimdışı analizleri değerlendirmek üzere gerçekleştirilir. Önerilen çerçeve, gerçek zamanlı işlem gerektiren büyük veri kümelerinin işlenmesine odaklanmıştır. Bu nedenle uygulanan sistem artan veri büyüklüğü dikkate alınarak veri işleme ve verim açısından değerlendirilmiştir. Veri filtreleme ve normalleştirme teknikleri, işlem süresini yeterince düşürmüş ve verimi artırmıştır. Çalışma, çeşitli şemaların performansını karşılaştırmak için Apache Spark'ın farklı durumlarıyla birlikte tek ve çift düğümlü MapReduce Hadoop küme örneklerini genel ve filtrelenmiş veri kümeleriyle değerlendirilmiştir. Sistem verimliliğinin değerlendirilmesi, önerilen mimarinin performans üstünlüğünü gösteren işlem süresi ve verim açısından ölçülmüştür. Bu tez, akıllı şehirler ve afet yönetimi alanındaki gelecekteki satın alımlar için araştırmacılara ve endüstrilere referanslar sağlayabilir.

Smart city incentives can play a major role in reducing fatalities by providing information and new insights for resourcefully managing the disaster scenarios. The concept of a smart city is being widely considered as an ideal solution to attain high-quality collaborative multimedia services. With the excessive use of smart-phones and other portable mobile technologies equipped with sensors (i.e., GPS receivers, high-resolution cameras, microphones, accelerometers) and with the emergence of social media, the traditional way of data acquisition and management is being challenged. Big sensed data can provide a number of benefits such as situational awareness enhancement, improved allocation of resources and provision of a better source for informing disaster risk reduction strategies and risk assessments. In this thesis, a novel conceptual framework is proposed for BDA technologies, which promises a new and more effective approach for carrying out the core operations of disaster management processes. The focus is to find how big data technology, combined with some proposed parameters can effectively be utilized to harvest, integrate, process and analyze datasets to provide updated and useful information for disaster managers. The integration and processing of big data sources (i.e. IoT-based sensors, social media, crowd-sourced online mapping) can lead to a more effective but also a much challenging environment. This thesis contributes by implementing a novel architecture that can be used for managing and integrating different type's big data in light with available literature around the topic. The quality concerns of unstructured social media datasets are being widely considered as a challenging research opportunity. In this thesis, the quality of social media data is evaluated through a proposed filtration mechanism. The thesis concentrates on the implementation model that outlines the details of all the operational steps performed in the deployed system. The proposed implementation model is divided into four layers, i.e., 1) Data Harvesting; 2) Data Aggregation; 3) Data Pre-Processing; 4) Big Data Analytics and Service Platform. The system platform equipped with the Spark Engine and Hadoop Ecosystem process the data according to the prescribed algorithms. The implementation is attained by using the Hadoop ecosystem with MapReduce mechanism. Parallel formation of MapReduce is deployed with HDFS. Apache Spark is used along with Hadoop for more powerful operations on real-time streams of data. Spark Streaming that supports both online and offline data streams is deployed for data aggregation in the system. The implemented system benefits from parallel data processing through Hadoop and real-time data processing by using Apache Spark. This combination provides flexible and effective storage, accurate parameter calculation and fast result generation. Hadoop Ecosystem and Spark-based analytics are carried out to evaluate real-time and offline analysis for IoT and Twitter datasets. The proposed scheme mainly targets processing large datasets that require efficient real-time processing, therefore the implemented system was evaluated with regards to data processing and throughput considering the increasing data size. Data filtering and normalization techniques have sufficiently dragged down the processing time and have increased throughput. The study evaluated various cases of Apache Spark, single and dual node MapReduce Hadoop cluster with generic and filtered datasets to compare the performance of various deployed schemes. The evaluation of the system efficiency is measured in terms of processing time and throughput that demonstrates the performance superiority of the proposed architecture. This thesis can provide references for researchers and industries for future acquisitions in the domain of smart cities and disaster management.