Object grasping of an emg-controlled prosthetic hand by visual feedback

Abstract

Dünya çapında milyonlarca insan, kazalar ve savaşlar nedeniyle şimdiye kadar kol ve bacaklarını kaybetmiştir. Son zamanlarda Orta Doğu'da, bölgede devam eden savaşlar nedeniyle protez uzuvlara olan talep büyük ölçüde artmıştır. Ticari olarak temin edilebilir protez uzuvlar, imalatları için gerekli olan uzuvları, ham maddeleri ve uzmanlığı kontrol etmek için kullanılan pahalı teknolojiler nedeniyle pahalıdır. Protez uzuvları kontrol etmek için mevcut en ucuz yöntem Elektromiyografi (EMG) tabanlı uzuvlarıdır. Bu uzuvlar üzerindeki güncel araştırmacıların, kullanıcının sınırlı sayıda nesneyi kavrayabileceği ve bunları düzgün bir şekilde kullanamadığı durumlarda, işlevselliğe göre, uzuvlara uyum sağlamada ya da sınırlandırılmasında kullanıcı karışıklığına neden olma gibi konular ele alınmalıdır. Bu tezde, TensorFlow Nesne Algılama Uygulama Programlama Arayüzü (UPA) kullanarak birden çok nesneyi algılamak ve tanımak için bilgisayar tabanlı bir mekanizma önermekteyiz ve daha sonra bunları gruplara sınıflandırmak ve hedeflenen nesneyi yararlı olabilecek şekilde kavramak / kullanmak için en uygun duruşu önermekteyiz. Sonunda, bir web kamerası kullanarak 80 farklı nesne türünü tespit edip tanımış olduk ve daha sonra eylemi gerçekleştirmek için girdi sağlamak için iki EMG elektrodu kullandık. Son olarak, bilgisayar ortamında el için en uygun duruşu simüle ettik ve önerilen yöntemin performansını ortaya çıkardık.

Millions of people around the world have lost their limbs so far [1] mainly due to accidents and wars. Recently in the Middle East, the demand for prosthetic limbs has increased dramatically due to ongoing wars in the region. Commercially available prosthetic limbs are expensive because of the costly technologies which are used to control the limbs, the raw materials, and the expertise needed for its manufacturing. The cheapest existing method in terms of controlling the prosthetic limbs is the Electromyography (EMG) based limbs. The current researches on these limbs have issues to be addressed like causing the user confusion in adapting to the limb or being limited in terms of functionality where the user can only grasp limited types of objects and cannot use them properly. In this thesis, we propose a computer vision-based mechanism using TensorFlow Object Detection Application Programming Interface (API) to detect and recognize multiple objects, classify them to groups and propose the optimal posture to grasp/use the targeted object in a way that can be useful to the beneficiary. In the end, we were able to detect and recognize 80 different types of objects using a webcam and two EMG electrodes to supply input to perform the action. Finally, we simulated the optimal posture for the hand in a computer environment and revealed the performance of the proposed method.