Dış ortam görüntülerindeki insan hareketlerinin derin öğrenme kullanarak sınıflandırılması

Abstract

Bu tez çalışmasında, dış ortam görüntülerinde yer alan kişilerin hareketlerinin otomatik sınıflandırılması için derin öğrenme yaklaşımları önerilmiştir. Öncelikle, elde edilen görüntü içerisindeki kişilerin tespiti sağlanmıştır. Bu amaçla, literatürde yaygın olarak kullanılan önceden eğitilmiş derin nesne tespit aracı olan YOLO kullanılmıştır. Dış ortam görüntülerinin elde edilmesinde Google Street View ortamı kullanılmıştır. Daha sonra tespit edilen kişiler için hareket sınıfları oluşturulmuştur. Bu hareket sınıfları; sağa yürüyen, sola yürüyen, ayakta duran ve oturan şeklindedir. Böylece dış ortam görüntülerinden tespit edilen kişiler için kapsamlı bir veri seti oluşturulmuştur. Sınıfları belirlenen verilerin otomatik olarak tanınması işlemi için bir konvolüsyonel sinir ağı (KSA) modeli tasarlanmıştır. Tasarlanan bu konvolüsyonel sinir ağı modeli ile kişilere ait hareketlerin otomatik tanınması sağlanmıştır. Eğitimi tamamlanan bu sınıflandırıcı, YOLO nesne tespit sistemi ile birlikte kullanılarak giriş görüntüsü içerisindeki kişilerin hareketlerinin otomati olarak tanınması sağlanmıştır. Tez kapsamında, veri tabanı üzerinde üç ve dört sınıflı veri setleri oluşturularak önerilen sistemin performans değerlendirmeleri yapılmıştır. Tez çalışması sonucunda, dış ortamdan elde edilen görüntüde yer alan kişilerin hareketlerine yönelik bir tanıma sistemi sunulmuştur. Böylece sürücüsüz araçlar ve robotik gibi dış ortamda insanlarla etkileşim içerisinde bulunacak uygulamalarda kullanılabilecek etkili bir tanıma sistemi sunulmuştur.

In this thesis, deep learning approaches are proposed for automatic classification of actions of people in outdoor envirioments. Firstly, the identification of the persons in the obtained image is provided. For this purpose, YOLO, a pre-trained deep object detection tool widely used in the literature, is used. The Google Street View system is used to obtain the outdoor images. Movement classes were then created for the people detected. These movement classes; walking to the right, walking to the left, standing and sitting. Thus, a comprehensive data set has been created for people identified from outdoor images. A convolutional neural network (CNN) model is designed for the automatic recognition of classes of identified data. With this CNN model, automatic recognition of the movements of the person is provided. This trained classifier is used in combination with the YOLO object detection system to ensure that the movement of the persons in the input image is automatically recognized. Within the scope of the thesis, three and four class data sets were created on the database and performance evaluations of the proposed system were made.As a result of the thesis work, a recognition system for the movements of people in the image obtained from the outside is presented. This provides an efficient recognition system that can be used in applications that interact with people in external environments such as autonomous vehicles and robotics.