A dual eye tracking study of the influence of color and gaze cues on the use of referring expressions in a situated Farsi dialogue environment

Abstract

Tez çalışmasının amacı iki kişinin işbirliği yaparak ortak bir Tangram görevini icra ederken kullandıkları Farsça gönderge ifadelerinin yapısal özelliklerini incelemek ve değişik görsel yardımcıların kullanılan gönderge ifade türleri ve göz koordinasyonu düzeyi üzerindeki etkilerini araştırmaktır. Bu amaçla iki kişinin ortak bir ekran aracılığıyla sadece ses ve ekran paylaşımı yardımıyla iletişim kurabildiği ve iki kişinin göz hareketlerini aynı anda takip edebilen bir deney düzeneği kurulmuş ve katılımcılardan bir birlerini sözel olarak yönlendirerek hedef şekli oluşturmaya çalışmaları istenmiştir. Katılımcılar parçaların renksiz olduğu, renkli olduğu ve bir birlerinin göz izlerini görebildiği üç farklı durumda ikişer tangram görevi tamamlamıştır. Bu ortamda ortak algının oluşumunda rol oynadığı varsayılan dilsel süreçlere ve ikili göz izlerine odaklanılmıştır. Yapılan deneyler sonucunda bir Farsça gönderge ifadeleri derlemi oluşturulmuş ve en sık kullanılan ifade türleri ve uzunluk dağılımları hesaplanmıştır. Elde edilen dağılımlar benzer bir deney ortamında oluşturulmuş Türkçe, Japonca ve İngilizce için oluşturulmuş derlemlerden elde edilen sonuçlarla kıyaslanmış, ve Farsça'nın bu dillerden gönderge ifadesi tür dağılımı bakımından farklılık gösterdiği gözlenmiştir. Gönderge ifadelerinin özellikleri incelendiğinde renk terimlerinin ağırlıklı olarak nesnelere gönderme yapmak için kullanıldığı, göz izi paylaşımı yapılan durumda ise şekil ve boyut özelliklerinin daha sık kullanıldığı görülmüştür. Göz izleri arasındaki örtüşmenin renksiz, renk ve göz izi paylaşım durumlarından anlamlı olarak etkilenmediği, ancak ilk ve ikinci denemeler ayrı ayrı analize dahil edildiğinde renkli parçaların olduğu durumda ikinci deneme sırasında diğer durumlara göre daha yüksek bir örtüşme oluştuğu gözlenmiştir.

The aim of this study is to explore the structure of Farsi referring expressions (RE) used during a collaborative Tangram puzzle solving activity, and investigate the role of different visual cue conditions on the types of RE and the degree of gaze coordination. A jigsaw task design was used which required participants to work as a team to solve Tangram puzzles in three conditions where (a) all pieces had the same color (normal condition), (b) all pieces were assigned a distinct color (color condition), and (c) all pieces had the same color but the partner's gaze information was visualized on the screen (gaze cueing condition). In this respect, two main aspects were under scrutiny: linguistic and dual eye-tacking analysis, while both are assumed to be enriched recourses for modulating joint attention. For this purpose, a corpus of Farsi REs in a situated dialogue environment is constructed to evaluate the frequency of specific RE's features and their length distribution. Descriptive statistics show that Mosallas (Triangle), Un (That) are the most frequently used RE words in the Farsi corpus. The RE feature distributions are compared with Turkish, Japanese and English RE corpora compiled with the same task to provide a cross-linguistic analysis. Conversational analysis of features of REs revealed the prominent role of color terms in identifying objects and the striking influence of shape and size in gaze cueing condition. Besides, cross-linguistic analysis results demonstrate that Farsi is distant to all languages in this respect. In case of dual eye-tracking analysis, results were not influenced significantly under different status and also along six trials. However, there was a significant interaction effect between conditions and trials especially for the color case.