Görme engelli bireyler için gerçek zamanlı gömülü nesne tanıma sisteminin tasarımı ve uygulanması

Abstract

Görme engelli bireyler, günlük yaşamlarında birçok zorlukla karşılaşmaktadır. Genel olarak beyaz baston kullanan bireyler, etraflarındaki nesneleri algılamak, dışarıda engellere takılmadan yürümek veya alışveriş yapmak gibi sıradan aktiviteleri gerçekleştirirken zorlanmakta ve yardıma ihtiyaç duymaktadır. Bu sebeplerden dolayı, günümüzde görme engelli bireylere yardımcı olabilecek etkili çözümler üretmek adına, bilişim alanında çok sayıda çalışma yapılmaktadır. Bu çalışmada, bilgisayar görüşü alanında görme engelli bireyler için konvolüsyonel yapay sinir ağları kullanılarak geliştirilmiş, bireylerin etrafındaki nesneleri ve insanları algılamasına ve mesafelerini tam olarak tahmin etmelerine yardımcı olmak için taşınabilir bir sistem tasarlanarak uygulanmıştır. Tasarlanan sistemde, öncelikle mesafe tespitini tek(monocular) kamera ile gerçekleştirmek 1 ile 10 metre arasında görüntüler alınarak bir veri seti oluşturulmuş ve seçilen özelliklere göre veriler 7 farklı regresyon modeli ile eğitilip test edilmiştir. Sistemin prototipi, Raspberry Pi üzerine monte edilmiş tek bir kamera ile You Only Look Once adı verilen, konvolüsyonel yapay sinir ağı tabanlı gerçek zamanlı bir nesne algılama tekniği kullanılarak oluşturulmuştur. Mesafe tespiti modülünü prototip üzerinde stabil ve güvenilir bir hale getirmek amacıyla, Raspberry Pi kamerası ile 2 ile 10 metre arasında görüntüler alınarak ikinci bir veri seti oluşturulmuştur. Geliştirilen prototip, nesne tanıma yaparak tespit edilen nesnelerin(insan) mesafesini tahmin edebilmekte ve bu verileri görme engelli bireylere sesli olarak iletmektedir. Sonuçlar, sistemin nesneleri tespit edebildiğini ve tespit edilen insanların mesafelerini en yüksek % 98,8 doğrulukla Rassal Orman modeli ile tahmin edebildiğini göstermektedir.

Visually impaired individuals face many difficulties in their daily lives. Generally, people who use white canes need help in performing ordinary activities such as detecting objects around them, walking outside without obstructions or shopping. For these reasons, there are many studies in the field of informatics in order to produce effective solutions that can help visually impaired individuals. In this study, convolutional neural networks have been used for helping visually impaired individuals, and a portable system has been designed and implemented to help these individuals in perceive objects and people around them and estimating their distance. In the designed system, a data set was created by taking images between 1 and 10 meters in order to realize the distance determination with a single (monocular) camera and the data was trained and tested with 7 different regression models according to the selected features. The prototype of the system was built using a single camera mounted on Raspberry Pi board, using a convolutional artificial neural network based real-time object detection technique called You Only Look Once. In order to make the distance detection module stable and reliable on the prototype, a second data set was created by taking images between 2 and 10 meters with Raspberry Pi camera. The prototype is able to estimate the distance of the detected objects (human) and transmits these data to visually impaired individuals. The results show that the system is able to detect objects and estimate the distances of the detected people with accuracy using the Random Forest model.