A cloud based architecture for distributed real time processing of continuous queries

Abstract

Nesnelerin İnterneti(Nİ) alanında gerçekleşen teknolojik gelişmeler bize fiziksel dünyayı akıllı aletler, algılayıcılar ve eyleyiciler aracılığıyla yeniden şekillendirebilme imkanı sağlamıştır. Nİ cihazlarıyla toplanan veriler bulunulan ortam ve yakınlardan bulunan diğer cihazlar hakkında bilgi edinmek için önemli bir varlık haline gelmiştir. Mevcut Nİ uygulamaları genellikle verileri merkezi bir sunucuda toplar ve kullanıcıların ortamdaki değişiklikleri fark etmeleri ve tepki vermeleri için toplanan veriler üzerinde sorgu yapmalarına imkan vermektedir. Ölçeklenebilirlik için bu uygulamalarda genellikle bulut ve büyük veri teknolojileri kullanılmaktadır. Yine de bu tarz Nİ uygulamalarının tepki verimliği tarama tabanlı sorgulama kullanımı nedeniyle sınırlıdır. Bu tezde, birincil olarak, çok sayıda sürekli sorguyu gerçek zamanlı işlemek, zamanlıca olaylara tepki vermek ve kullanıcıları uyarmak için genel-geçer ve ölçeklenebilir bir mimari tanımlama problemi üzerine odaklanıyoruz. Bu amaçla, kullanıcıların esnek sorgular tanımlayabilmesi için veri akışı tabanlı bir sorgu tanımlama modeli öneriyoruz. Verileri saklamak ve saklanmış verileri sürekli sorgulamak yerine sürekli sorguları akan veriler üzerinde işlemek için güncel büyük veri teknolojilerine dayalı, merkezi yönetimli dağıtık bir altyapı tasarlanmaktadır. Önerilerin yaklaşımının uygulanabilirliğini göstermek ve ölçeklenebilirliğini ölçmek için örnek bir uygulama gerçekleştirilmiştir.

The technological advancements in Internet of Things (IoT) domain have enabled us to reshape the physical world through smart devices, sensors and actuators. The data collected by IoT devices has become a valuable asset to extract knowledge about the environment and other nearby devices. Existing IoT applications mostly store collected data in a central server and allow users to query stored data to notice and react to changes in the environment. Usually cloud and big data technologies are utilized in those applications for scalability. Nevertheless, the responsiveness of such IoT applications is limited due to the use of polling based queries. In this thesis, we primarily focus on the problem of specifying a generic and scalable architecture to process a multitude of continuous queries in real time, respond to events and notify users in a timely manner. For this purpose, we propose a data-flow based query definition model to allow users create flexible queries. We devise a centrally managed distributed infrastructure based on the state of the art big data technologies to execute the continuous queries over streaming data rather than storing and frequently querying the data collected. A prototype has been implemented to demonstrate the applicability and to evaluate the scalability of the proposed approach.