Nesnelerin interneti için kenar bilişim tabanlı akıllı görsel algılama analizi

Abstract

Günlük yaşamda kullanılan nesnelerin, internete bağlanarak belirli işlevleri yapabilme kabiliyeti kazanması olarak ifade edilen Nesnelerin İnterneti, yapay zekâ, gömülü sistemler, yaygın bilişim ve bulut bilişim gibi birçok farklı teknoloji ile etkileşim halindedir. Bu teknolojilerin birlikte kullanımı, nesnelerin interneti uygulamalarının niteliklerini arttırmaktadır. Günümüzde gerçekleştirilmekte olan akıllı ev, akıllı okul, akıllı araba, akıllı şehir gibi Nesnelerin İnterneti projeleri, bu alanın kısa sürede insan hayatını daha fazla etkileyeceğini göstermektedir. Bu projelerin uygulanması ile birlikte yakın zamanda, kullanılacak nesne sayısının artması, algılama türlerinin ve olanaklarının gelişmesi ve bunlara bağlı olarak sunucu ve iletişim altyapısı ihtiyacının artması beklenmektedir. Görsel algılama, nesnelerin interneti çalışmalarının kapsamını genişletebilecek ve niteliğini arttırabilecek çok sayıda anlamlı veri elde edilmesini sağlayan önemli bir algılama türüdür. Büyük boyutlu veriler elde edilebilen Görsel algılama Nesnelerin İnterneti projeleri için, verilerin işlenme, depolanma, iletilme zorluklarının yanı sıra, iletişim ve sunucu alt yapılarının etkili kullanılması için uygun veri işleme mimarileri gereksinimi barındırmaktadır. Kenar bilişim, görsel algılama gibi sunucu ve iletişim ihtiyacı fazla olan uygulamalarda, veri iletimi gereksiniminin azaltılması, sunucu ve iletişim altyapısının yükünün hafifletilmesi amacıyla, bulut bilişim ile sunucularda yapılması gereken bazı işlemlerin ağın kenar kısmı olan nesnelerde yapılmasını öneren yaklaşımdır. Bu tezde, nesnelerin interneti kapsamında görsel algılama problemi için kullanılabilecek kenar bilişim tabanlı çözümler araştırılmıştır. Çözümlerde uygulanan yöntemler, işlem, bellek ve veri iletişim gereksinimleri açılarından, işlemlerin nesne ve sunucu arasında etkili bir şekilde paylaştırılabilmesi amacıyla oluşturulmuş farklı senaryolar kullanılarak analiz edilmiştir. Senaryoların uygulanabilmesi amacıyla, görsel algılama için kullanılan foto-kapan cihazının fonksiyonları temel alınarak, bilgisayarlı görme, görüntü işleme ve örüntü tanıma işlevleri bulunan bir akıllı nesne tasarımı gerçekleştirilmiştir. Tasarlanan akıllı nesne kullanılarak Atatürk Üniversitesi'nde iç ortamdan ve dış ortamdan hareketli cisimlere ait görüntü kaydının yapıldığı foto-kapan uygulamaları gerçekleştirilmiştir. Kaydedilen görüntüler üzerinde üniversitenin eğitim, yönetim ve güvenlik gibi faaliyetlerinde uygulanabilecek bilgisayarlı görme ve görüntü işleme tabanlı işlevleri içeren kenar bilişim tabanlı veri işleme mimarileri incelenmiştir. Uygulanan veri işleme mimarileri, gerçekleştirilecek akıllı şehir, akıllı kampüs, akıllı derslik gibi projeler için üniversite, belediye, askeriye gibi kurumların dijital dönüşüm uygulamalarına katkı sağlaması açısından önem arz etmektedir. Gerçekleştirilen ilk senaryoda standart foto-kapan işlevi uygulanmış olup, diğerlerinde sırasıyla cisim bulunan görüntülerin tespit edilmesi, görüntüdeki cisim konumlarının tespit edilmesi, cisim görüntülerinin özniteliklerinin çıkartılması ve cisimlerin tanınması işlevleri bulunmaktadır. Senaryoların işlem, bellek ve iletişim gereksinimleri ile cismin dijital ortamdaki temsiliyeti ve verinin tekrar kullanılabilmesi gibi parametreler göz önüne alındığında, cisimlere ait görüntü parçalarının sunucuya iletildiği üçüncü senaryonun, diğer senaryolara göre daha uygun olduğu sonucu elde edilmiştir.

The Internet of Things, which is expressed as the ability of objects used in daily life to be able to perform certain functions by connecting to the internet, interacts with many different technologies such as artificial intelligence, embedded systems, ubiquitous computing and cloud computing. The combined use of these technologies increases the quality of Internet of Things applications. The Internet of Things projects such as smart home, smart school, smart car, smart city, which are being realized today, show that this area will affect human life more in a short time. With the implementation of these projects, it is expected that the number of objects to be used, the detection types and possibilities will be improved and the requrement for server and communication infrastructure will increase in the near future. Visual perception is an important type of perception that provides a large number of meaningful data that can broaden the scope and enhance the quality of Internet of Things projects. Visual perception with large data acquisition in addition to the difficulties of processing, storing and transmitting data, suitable data processing architectures are required for effective use of communication and server infrastructures for Internet of Things projects. Edge computing is the approach that proposes to perform some operations on the edge of the network, rather than on the servers by using cloud computing. Edge computing is implemented in order to reduce the requirement for data transmission and to alleviate the burden of the server and communication infrastructure. In this thesis, edge computing based solutions, that can be used for the visual perception problem within the Internet of Things, are investigated. The methods applied in the solutions were analyzed in terms of process, memory and data communication requirements by using different scenarios that were created to effectively share the processes between the object and the server. In order to implement the scenarios, a smart object design with computer vision, image processing and pattern recognition functions has been realized based on the functions of the camera-trap device used for visual sensing. By using designed smart object, camera-trap applications were performed at Atatürk University where the image of moving objects from indoor and outdoor environments was recorded. Edge computing based data processing architectures including computer vision and image processing based functions, that can be applied in the university's education, management and security activities, were examined on the recorded images. The applied data processing architectures are important in terms of contributing to the digital transformation applications of institutions such as universities, municipalities and military for projects such as smart city, smart campus and smart classrooms. In the first scenario, the standard camera-trap functions were applied and the subsequent scenarios had the functions of detecting the object in the image, determining the positions of the objects in the image, feature extraction of the object images and recognizing the objects. When the parameters such as the process, memory and communication requirements of the scenarios, the representation of the object in the digital environment and the reuse of the data are taken into consideration, the third scenario in which the image parts of the objects are transmitted to the server is found to be more appropriate than the other scenarios.