Neural mechanisms underlying sub-second crossmodal time perception

Abstract

Farklı duyulardan gelen bilginin entegrasyonu, uzam ve zamanın temel nitelikleri ile birlikte dünyayı algılamamızda merkezi bir konudur. Bu bağlamda özellikle görsel-işitsel etkileşimler iyi çalışılmıştır. Görsel uyaranların sesin geldiği yer algısında belirleyici bir rol oynaması gibi (mekânsal vantrilok-etkisi), işitsel uyaranlar da görsel olayların algılanma zamanlamasını etkileyebilmektedir (zamansal vantrilok-etkisi). Bu etkileşimler, işitme sisteminin zamansal olarak ve görsel sisteminin uzamsal olarak üstün çözünürlüğü ile uyumludur. Mevcut çalışma zamansal vantrilok-etkisinin altında yatan sinirsel mekanizmaları anlamayı amaçlamaktadır. Bu amaca ulaşmak için dört deneyde davranışsal ve elektroansefalografi (EEG) verileri birlikte toplanmıştır. Deney-1'de, bir işitsel olayın, bir görsel olayın algılanma zamanlamasını -işitsel ve görsel olaylar arasındaki zamansal farkın etkisiyle nasıl değiştirdiğini araştırdık. Deney-2, görsel zaman aralığı algılaması üzerindeki işitsel etkilerin altında yatan mekanizmalar üzerine odaklanmıştır. Deney-3'te zamansal vantrilok-etkisinin, hareket algılamasına yol açan görsel olayların zamanlamasını değiştirerek, zahiri hareket algısı üzerindeki etkisini araştırdık. Son deneydeyse, zahiri hareket algısı üzerindeki zaman aralığı adaptasyonu sonrası etkilerin kortikal mekanizmalarını araştırdık. Genel olarak, bu deneylerin, görsel zamanlama üzerindeki işitsel etkiler konusunda ve modaliteler-arası zaman algılaması konusundaki anlayışımıza önemli katkıları vardır. Daha genel olarak, bu çalışma, dış dünyanın birleşik çoklu-duyu temsiliyle zamansal vantrilok-etkisi bağlamındaki düşük frekanslı beyin salınımları arasındaki boşluğu kapatmaya çalışmaktadır.

The integration of information from different senses is central to our perception of the world including the fundamental attributes of space and time. Audiovisual interactions have been well studied in this context. Similar to the fact that visual stimuli can drive the perception of where a sound comes from (spatial ventriloquism), auditory stimuli can drive the perceived timing of visual events (temporal ventriloquism). These interactions are in accordance with the auditory system's superior temporal and the visual system's superior spatial resolution. This experiment aims to understand the neural mechanisms underlying temporal ventriloquism. To achieve this objective, we collected behavioral and electroencephalography (EEG) data in tandem with four experiments. In Experiment-1, we have investigated how a single auditory event changes the perceived timing of a single visual event by varying the temporal offset between auditory and visual events. Experiment-2 focused on the mechanisms underlying the auditory influences on the visual time interval perception. In Experiment-3, we studied the effect of temporal ventriloquism on the perception of apparent motion by altering the timing of visual events leading to the motion percept. In the last experiment, we investigated the cortical mechanisms involved in the time interval adaptation aftereffects on the visual apparent motion. Overall, these experiments have significant contributions to our understanding of auditory influences on visual timing and crossmodal time perception in general. More generally, this experiment attempts to bridge the gap between our unified multisensory representation of the external world and low-frequency brain oscillations within the context of temporal ventriloquism.