Ses ve görüntü işleme eşleştirmesi ve işitme engelliler için bir konuşma terapi uygulaması

Abstract

Kendi kendine öğrenebilen, karar verebilen akıllı sistemler çağı yaşanmaktadır. Teknolojik gelişmelerin, pratik ve teorik çalışmalar ile iş dünyasının ve toplumun her kesimini dönüştürmeye yönelik olarak birçok farklı alanda kullanıldığı görülmektedir. Artık bilgisayarlar onlara yapmasını söylediğimiz şeyden çok daha fazlasını yapma becerisi ve kapasitesine sahiptirler. Birçok alanda bilgisayar sistemleri hızları ve doğruluk dereceleri göz önüne alındığında hızlı çözümler geliştirmekte ve son derece başarılı olmaktadırlar. Eğitim, sağlık, savunma ve güvenlik alanlarında insan gibi düşünebilen, karar verebilen akıllı sistemler, insanların ihtiyaçlarına yönelik çözümler üretilmesini hedeflemektedir. Bu çalışmanın amacı, işitme engelli bireylerin konuşma ve dil kazanımı gelişimine destek sağlamaktır. Bu bağlamda ses ve görüntü işleme yöntemleri kullanılarak bireyin konuşma sırasındaki ses bilgisi ve görünür dudak hareketlerine ait özelliklerini çıkaran ve görsel geri bildirim sağlayan bir yazılım gerçekleştirilmesi hedeflenmektedir. Gelecekte bu teknolojilerin, işitme engelli bireylerin dil ve konuşma yeteneklerinin geliştirilmesinde önemli bir işlem adımı olarak görülmektedir.

We are living in the are of smart systems, which can learn and make decisions on its own. It is seen that technological developments are used in many different fields in order to transform all segments of the business world and the society with practical and theoretical studies. Computers now have the ability and capacity to do more than what we tell them to do. In many areas, computer systems develop fast solutions and are extremely successful considering their levels of speed and accuracy. Smart systems that can think and make decisions like humans in the fields of education, health, defense and security aim to produce solutions for the needs of people. The purpose of this study is to support the development of speech and language acquisition of hearing-impaired individuals. In this context, it is aimed to realize a software which provides visual feedback and extracts the characteristics of the individual's audio information and visible lip movements during the speech by using audio and image processing methods. In the future, these technologies are seen as an important operational step in improving the language and speaking skills of hearing-impaired individuals.