Giyilebilir akıllı eldivenler ile gerçek zamanlı insan–İHA etkileşimi

Abstract

Son yıllarda İnsansız Hava Araçları (İHA) askeri kullanımla sınırlı olmayan yeni uygulama alanları bulmuştur. İnsan ve İHA'lar arasındaki etkileşimlerin bu tür sistemlerin tasarımının önemli bir parçası haline geldiği için sivil uygulamalara olan ilgi artmaktadır. Askeri ve sivil alanda kullanımı artan insansız hava aracı uygulamaları, insan ve insansız hava araçları arasındaki etkileşimi ön plana çıkarmaktadır. Bu nedenle özellikle İHA'ların uçuş kontrolü için insan – İHA etkileşim konusu önem kazanmaktadır. İnsan – İHA etkileşimi için çeşitli teknikler bulunurken, bu tekniklerden biri de giyilebilir teknolojilerin kullanımıdır. İHA'lar üç boyutlu bir uzayda hareket ettiğinden dolayı İnsan-İHA etkileşimleri karmaşık bir problemdir. Bu tez çalışmasında, giyilebilir akıllı eldivenler tasarlanmıştır ve gerçek zamanlı olarak makine öğrenimine dayalı akıllı bir insan-İHA etkileşim yaklaşımı sunulmuştur. Önerilen yaklaşım, çok modlu komut yapısı, makine öğrenimine dayalı tanıma, görev planlama, gerçek zamanlı kullanım, sağlam ve etkili kullanım ve yüksek doğruluk oranları gibi bilimsel katkılar sunar. Tez çalışmasında öncelikle gerçek zamanlı çalışan giyilebilir bir çift eldiven tasarlanmış, eldivenden alınan sinyaller makine öğrenmesi tabanlı tanıma ve sınıflandırma yöntemleri ile çok modlu komutlara dönüştürülmüş, gerçek zamanlı, ardışıl ve hızlı aksiyonlar açısından gerekli komut koordinasyonunun sağlanması için bir görev planlama algoritması geliştirilmiştir. Bir grafiksel kullanıcı arayüzü ile etkili bir insan – İHA etkileşim yapısı elde edilmiştir. Giyilebilir akıllı eldivenlerden elde edilen veriler, makine öğrenmesine dayalı yöntemlerle işlenmiş ve sınıflandırılmıştır. Sınıflandırılmış çok modlu hareket komutları, sıralı ve hızlı çalışmayı kolaylaştırmak için görev planlama algoritması kullanılarak bir arayüz üzerinden insan – İHA etkileşim sürecine dahil edilmiştir. Önerilen yaklaşımın performansı, 20 farklı kişiden 25 farklı el hareketi kullanılarak oluşturulan bir veri seti üzerinde doğrulanmıştır. 49.000 veri noktasına sahip veri seti üzerinde önerilen yaklaşımı kullanan bir testte, birkaç milisaniyelik işlem süresi performansı ile yaklaşık % 98 oranında doğruluk elde edilmiştir. Giyilebilir akıllı eldiven üzerinden insan – İHA etkileşimlerinin performansı, kullanılan makine öğrenmesine dayalı tekniklere ve kullanıcı türüne göre değişmekle birlikte, bu sistemin 0.14 ve 0.21 arasındaki bir RMSE (Kök Ortalama Kare Hatası) değeri ile etkin ve gerçek zamanlı olarak kullanılabileceği gösterilmiştir.Geliştirilen bu yeni insan – İHA yaklaşımı hem çevrimdışı hem de gerçek zamanlı olarak farklı senaryo ve kullanımlarda çalıştırılarak elde edilen performans değerleri karşılaştırmalı olarak sunulmuştur. Elde edilen sonuçlar önerilen yaklaşımın düşük maliyetli ve etkin kullanılabilirliğini, yüksek doğruluk oranlarını, gerçek zamanlı çalışma performansını, karmaşık hareketlerdeki başarımını ve ardışık komutlardaki sağlamlığını açık bir şekilde ortaya koymaktadır.

Recently, Unmanned Aerial Vehicles (UAVs) have found new application areas not limited to military use. We witness an increased interest towards civillian applications where interactions between human and UAVs become an essential part of the design of such systems. The design of seamless interaction interfaces for these systems have become a hot research topic. Interactions between human and unmanned aerial vehicles (UAVs), whose applications are increasing in civilian rather than military purposes, will become a more popular area of research in the future. From this point of view, human – UAV interaction becomes important, especially in terms of control of UAVs. Although there are various techniques for human-UAV interaction, one of them is the use of wearable technologies. Human-UAV interactions are a challenging problem because UAVs move through a three-dimensional space. This paper presents an intelligent human-UAV Interaction approach based on machine learning using wearable gloves in real time. The proposed approach offers scientific contributions such as multimode command structure, machine learning-based recognition, task planning algorithms, real-time usage, robust and effective usage, and high accuracy rates. Thesis is primarily a real-time wearable glove that is designed migrated without preliminary processing of signals which are obtained from the glove, then the machine learning-based recognition and classification approaches for multi-mode commands are converted to real-time task scheduling algorithm in terms of fast action and coordination required for a sequential Command has been developed. An effective human – UAV interaction structure has been achieved with a graphical user interface. The signal data from the gloves are processed and classified by machine learning – based methods Multi-Mode commands are incorporated into the human – UAV interaction process through the interface according to the mission planning algorithm to facilitate sequential and fast operation. The performance of the proposed approach was verified through a dataset created using 25 different hand gestures from 20 different people. In a test using the proposed approach on a dataset with 49,000 data points, processing time performance of several milliseconds was achieved with approximately 98% accuracy. Wearable smart glove over human – based and machine learning techniques that are used in the performance of UAV interactions, depending on the user of this system between 0.14 and 0.21 (Root Mean Square Error) RMSE enabled and demonstrates how it can be used with the value in real time.The performance values obtained by running this new human – UAV approach both offline and in real time in different scenarios and uses are presented in comparison. The results clearly demonstrate the low cost and effective availability of the proposed approach, high accuracy rates, real-time performance, performance in complex movements, and robustness in sequential commands.