Multi-sensory perception in virtual world animation using McGurk effect

Abstract

Çok sensörlü algı ve beyin biliş mekanizması hakkında olan bilgiler, daha iyi bir sanal dünya yaratılmasına yol açar. Beyin, gelecekteki olayları öngörmek için kullanılacak görsel ve işitsel bilgileri saklar. Beyin görüntü belleği, konuşma tanıma sırasında görsel bilgileri ve işitsel haritalarını kaydederek meydana gelen görsel ipuçlarından bilgi alır. Bu sürece dayanarak, beyin gelecekteki olaylar için tahmin mekanizması oluşturur. Konuşma tanımında, beyin ses ve onun görsel sunumunu kayıt eder. Beyin bir işitsel uyarıcıyı algılamakta güçlükle karşılaştığında, sonucu tahmin etmek için görsel haritalamalar arar. Bazen tamamen alakasız benzerliklerin var olmasından kaynaklı, bazı haritalandırmalar daha iyi anlamaya yol açmayabilir. Önceki bilgiler durumu anlamak için beyni yanlış yönlendirdiğinde bilişsel önyargılar meydana gelir.McGurk Effect, farklı dudak hareketlerinin farklı işitsel algıyı dolaysıyla farklı bilgi elde etmeyi nasıl etkilediğini tartışıyor. Çeşitli faktörler görsel ipuçlarına bağımlılık miktarını etkiler. Özellikle zorlu ortamlarda konuşma algılama, yüz ifadeleri, dil ve dudak hareketleri gibi görsel ipuçları ile artırılabilir. Bu unsurları göz önünde bulundurmak, sanal dünyada ve oyun tasarımında inanılırlığın arttırabilir. Gerçekçi işitsel ve görsel bileşenlerin tasarımında gelişmiş yollar bulmak için algı süreçleri, beyin yapısı, tasarım faktörleri, grafik öğeler ve görsel yapılar araştırılmıştır.Anahtar Sözcükler: Çok Sensörlü Algılama, İşitsel ve Görsel İşlem, Sanal Dünya Animasyonu, McGurk Etkisi

Information about multisensory perception and brain cognition mechanism lead to a better virtual world creation. Brain store visual and auditory information to use in predicting future events. Image memory takes information from visual clues which during speech recognition happens by recording visual information and its auditory mappings. Based on this process, brain create prediction mechanism for future events. In speech recognition brain record sound and its visual presentation. When brain encounter difficulty in perception an auditory stimulus, it looks for visual mappings to guess the result. Considering the fact that some completely unrelated similarity may exist, some mapping may not lead to better understanding the world around. When previous information misleads the brain to understand the situation cognitive biases happen. McGurk Effect discusses how different lip movements affect auditory perception to get disparate information. Variety of factors influence amount of dependency on visual clues. Tracking speaking, especially in challenging environments, can be increased by visual clues such as face expressions, tongue and lips movements. Considering these elements in virtual world and game designing lead to improving believability. Perception processes, brain nature, designing factors, graphical elements, and visual structures are discussed to find out improved ways in designing realistic auditory and visual components. Keywords: Multisensory Perception, Auditory and Visual Process, Virtual World Animation, McGurk Effect