Resolving gesture-speech contradictions and response modality

Abstract

Bu çalışma, iki farklı modalitede sunulan çelişkili yönergelerin ve cevap mecrasının, görsel-mekansal bir görevde karar verme üzerindeki etkisini incelemektedir. 100 katılımcı, varsayımsal bir yön bulma senaryosunda, yön belirten uyumlu ve uyumsuz söz ve el hareketleri barındıran görsel-işitsel video klipleri izleyip tarif edilen yönleri el ile veya ses ile belirtmişlerdir. Sonuçlar, katılımcıların, söz ve jestler uyumlu iken, uyumsuz olmalarına göre daha hızlı olduğunu göstermiştir. Ayrıca, cevap mecrasından bağımsız olarak, katılımcıların cevaplarında, jestler ile sunulan bilginin, sözlerle sunulan bilgiye oranla daha baskın olduğu gözlemlenmiştir.

This study examines the effects of conflicting bimodal instructions and the response medium on decision-making in a visio-spatial task. Participants (N=100), in an hypothetical navigation scenario, watched audio-visual clips with congruent and incongruent hand gesture and vocal directions, and had to pass the direction on either manually or vocally. Results showed that participants were faster when gesture and speech were congruent than incongruent. Also, regardless of the response medium, the information presented via gestures was the dominant information participants used in their responses.