Fizik terapi egzersiz tiplerinin tanınması ve takip edilmesi için bir bilgisayarla görme yöntemi

Abstract

Eylem tanıma problemi sabit veya hareketli görüntülerde insanların hareketlerin bilgisayarla tanımlanmasıdır. Bu problem günümüzde en dikkat çeken bilgisayarla görme konularından biridir. Literatürde eylem tanıma problemi: spor müsabakalarının hareketli görüntülerinden sporcuların yaptığı eylemlerinin neler olduğunun tanınması, dans ve bale kareografilerinin tanınması, ortopedik hastaların klinik incelemeleri, yaşlı insanların bakımı gibi konularla örneklenebilir.Bu tezde, hareketli görüntülerdeki insan eylemlerini tanımak için bilgisayarla görme tabanlı çeşitli sistemler oluşturulmuştur. Geliştirilen bu sistemlerde kullanılmak üzere hareketli görüntülerdeki, hareket tabanlı öznitelikleri tanımlayabilmek için ve duruş tabanlı öznitelikleri tanımlayabilmek için özgün öznitelik çıkarma yöntemleri oluşturulmuştur. Tez kapsamında insan eylemlerinin tanınmasına örnek konu olarak evde yapılan fizik tedavi egzersizlerinin analizi seçilmiştir. İlgili sağlık kuruluşlarından evde yapılan fizik tedavi seanslarında en sık kullanılan egzersiz tipleri hakkında bilgi alındıktan sonra bu egzersizlerin hareketli görüntülerini barındıran bir veri kümesi oluşturulmuştur. Ev Ortamındaki Fizik Tedavi Egzersizleri (EOFTE) veri kümesinde MS Kinect algılayıcı kullanılarak kaydedilen 240'ar tane renk ve derinlik hareketli görüntüleri bulunmaktadır. Daha sonra, fizik tedavi egzersizlerinin analizi için temel ve gelişmiş olmak üzere iki farklı sistemler tasarlanmıştır. Bu sistemler hareket, duruş ve nesne bilgisi olmak üzere üç ana fizyoterapi bilgi türünün, üretken bir Bayes ağı yapısında değerlendirerek egzersizleri yüksek başarı oranı ile tanımaktadır. Sistemlerde renk ve derinlik hareketli görüntüleri birlikte kullanılmıştır. Sadece renk hareketli görüntülerini kullanarak da yüksek tanıma oranları elde edilmiştir. Son olarak, egzersiz seanslarının takibi için egzersiz tekrar sayısının tahmin eden özgün bir yöntem geliştirilmiştir.Geliştirilen sistemlerin ve yöntemlerin etkinliği birçok eylem tanıma veri kümesinde test edilmiş ve elde edilen sonuçların başarılı olduğu literatürdeki benzer çalışmaların sonuçları ile karşılaştırılarak gösterilmiştir.

Action recognition problem is defined as the computerized recognition of human actions from still images or videos. This problem is one of the most interesting topics in computer vision. Examples of action recognition problem in literature are: recognition of sport specific actions (e.g. style of tennis serve) from sport videos, recognition of dance's and ballet's choreography, clinical examination of orthopedic patients, examination of human physical status, and care of elderly people.In this thesis, computer vision based systems are constructed to recognize human actions from videos. In order to use within these systems, novel feature extraction methods are developed which obtain motion-based features and stance-based features.The analysis of home-based physiotherapy exercises is selected as a subtopic in action recognition. After receiving information about the most common types of home-based physiotherapy exercises from related health care institutes, a dataset (EOFTE) that contains videos of these exercises was created. The EOFTE dataset contains 240 color and 240 depth videos which are captured by a Microsoft Kinect sensor. Then, two different systems have been proposed, as basic and enhanced version, to analyze physiotherapy exercises. These two systems use the main sources of information in physiotherapy (motion patterns, stance information, exercise object) within a Bayesian network and recognize the type of exercise in the given videos accurately. Although the recognition rate obtained by using both color and depth videos is higher than using only color videos, the proposed system can robustly use only color videos. Finally a novel approach is presented to estimate the exercise repetition counts.The effectiveness of the developed systems and methods is validated on several action recognition datasets. The results obtained in the experiments proved that the developed systems and methods are successful.