Bilgisayarlı görü ve ses algılama tekniği ile hareketli nesne takibi

Abstract

Bu çalışmada bilgisayarlı görü yöntemi ve ses algılama metodu ile hareketli cisimlerin takibi, gerçekleştirilen bir uygulama üzerinde paralel olarak çalıştırılmıştır. Geliştirilen uygulamada iki adet kamera ve iki adet mikrofon ile paralel olarak ses ve görüntü işleme teknikleri kullanılarak hareketli cisimler takip edilecektir. Kameralardan alınan bilgiler bir resim olarak alınıp üzerinde görüntü işleme teknikleri kullanılarak hareketin yönü ve hızı tespit edilecektir. Bu tespit akabinde motorlar yardımı ile gerçekleştirilen deney düzeneğine komut olarak gönderilmekte ve mekanik düzeneği harekete geçirmektedir. Bu sayede görüntü takibi işlemi gerçekleştirilmiştir. Ses takibi ise ses kaydı alınan bilgi, ses işleme tekniği ile birlikte daha önce kaydedilen ses örnekleri ile eşleştirilerek sesin anlamı çıkartılır ve bu program tarafından yüklenen anlam mekanik düzeneğe komut olarak yansıtılır. Bu sayede yazılım tarafından gönderilen komutlar yardımı ile kontrol düzeneği prototipi harekete geçirmektedir. Bu çalışma sayesinde insanlaştırılan robotların algılama yetenekleri geliştirilerek hareket ve sese duyarlı robotların oluşturulmasına zemin hazırlayacak bir uygulama geliştirmiştir.

In this study, tracing of mobile substances wıth computerized scanning (image)procedure and sound detection method was carried out in an application correspondingly. In the developed practice ,mobile substances will be traced by using sound and scanning (image process) techniques in parallel with two cameras and two microphones. The data from the cameras will be taken as a picture and then direction and speed of the movement will be determined by using scanning process techniques and this is conveyed to the test apparatus as a command by the aid of motors leading the mechanical set up to start. This way scanning process was realized. For the sound tracing, the sound recorded data is coupled with pre-recorded sound species by the sound processing techniques and the meaning of the sound is obtained and the meaning downloaded by this program is reflected to mechanical setup as a command. Thus, the control set up starts the prototype by the aid of commands sent by the software. Owing to this study, detection abilities of humanised robots was developed and a practice which will prepare a back ground for the formation of robots sensitive to movement and sound was developed