Communication through diagrams:Division of labor between gestures and arrows

Abstract

Bu çalışmada çeşitli multimedia öğretme ortamlarında kullanılan oklar ile el hareketleri arasındaki ilişkiyi incelemeyi amaçlıyoruz. Eğitim alanında deneyimli 24 katılımcıdan seçtikleri herhangi bir konuyu öğrenmek isteyen dinleyiciler varmış gibi öğretmelerini istedik. Aynı konuyu üç farklı deney koşulunda aynı şekilde anlattılar: (i) Tahtada, (ii) Kağıt-Kalem kullanarak, (iii) Tablet kullanarak. Tüm deney oturumlarının video kaydı alındı. Analiz kısmında, kullanılan el hareketleri ve oklar belirlendi. Oklar üç grupta sınıflandırıldı: işaret eden oklar dikkati belirli bir alana yönlendirirler, ilişkisel oklar iki temsili ilişkilendirirler ve ikonik oklar hareket, kuvvet, fizikle ilgili gösterimler ve işlemsel gösterimleri temsil ederler. El hareketleri de üç gruba ayrıldı: işaret eden el hareketleri varlıkları gösterirler, ikonik el hareketleri içeriğin resmedilebilir bileşenlerini gösterirler ve son olarak vurgu el hareketleri konuşmanın ritmiyle ilişkili el hareketleridir. Sonuçlar gösterdi ki konuşmacılar tahtada ders anlatıkları oturumda daha çok el hareketi ve daha az ok kullandılar. Bu fark kalem-kağıt kullanılan oturumda azaldı ve tablet kullanılan oturumda daha çok azaldı . Benzer eğilimler ayrıca işaret eden ve ikonik el hareketleri birlikte tüm oklarla karşılaştırınca ve ikonik oklar ikonik el hareketleriyle karşılaştırılınca da bulundu. Bu sonuçlar ok ve el hareketi kullanımı arasında bir işbirliği (takas) olduğu hipotezini destekliyor. Ayrıca bu sonuçlar ok ve el hareketlerinin aynı iletişimsel amaç için farklı tiplerde kullanıldığını öneriyor.

In this study, we aim at studying the relation between arrow production and gesture production in various multimedia teaching environments. Twenty-four participants, who were all experienced educators, were asked to teach a topic of their choice, as if he teaches to a learner audience. They taught the same topic in the same way in three experimental conditions: (i) Teaching on the board, (ii) Pen-and-paper teaching, (iii) Teaching by a tablet. All experiment sessions were videotaped. For the analysis, gestures and arrows were annotated. Arrows were classified into three groups: deictic arrows direct attention to the specific area, relational arrows connect two representations, and iconic arrows present motion, force, physical representations, and processes in a depiction. Gestures were also divided into three groups: deictic gestures point to entities, iconic gestures present picturable aspects of semantic content, and finally beat gestures are speech-related rhythmic hand movements. The results indicated that speakers produced more gestures and fewer arrows in the board session. This difference decreased in the paper session and reversed itself in the tablet session. Similar trends were also found in the relation between deictic and iconic gestures together compared to all arrows, and iconic gestures compared to iconic arrows. These results support the hypothesis that there is a trade-off between arrow and gesture production. These results also suggest that arrows and gestures are used for similar communicative purposes in different modalities.