Demonstratives in turkish: on the pragmatic use of demonstratives in the context of a collaborative problem solving task

Abstract

Çok kipli kullanıcı arayüzleri giderek daha önemli hale gelmektedir. Halihazırda bilgisayar oyunları, çevrimiçi eğitimler, simülasyonlar ve yardımcı teknolojiler gibi çeşitli uygulamalarda kullanılmaktalar. Bu tür arayüzler artık konuşma ve göz gibi farklı kiplerden gelen girdileri kullanma imkanına sahip. Bu çok kiplilik, kullanıcı ve yapay aktörler arasında işbirlikçi dil kullanımını teşvik ederek yerleşik diyalog kurulmasını sağlamakta. Doğal olarak, insanlar konuşma sırasında işaret ifadelerini kullanarak çevredeki varlıklara göndermede bulunma ihtiyacı duymaktadır. Çok kipli arayüzler, başarılı iletişim için bu gönderme ifadelerini çözümlemelidir. Ancak, işaret göndermesi, olgunun karmaşık doğası nedeniyle hala önemli bir sorun olarak durmaktadır. İşaret ifadelerine dair geleneksel görüşler bireysel ve konuşmacı merkezli olup, uzaklık karşıtlığına dayanmaktadır. Ancak, yeni bulgular bunun işbirlikçi ve çok kipli bir eylem olduğunu ortaya koymaktadır. Sonuç olarak, referans üretimi ve çözümlemesinin ardındaki bilişsel süreçleri daha iyi anlamak için, yerleşik ve dağıtılmış bir çerçevede işaret ifadelerinin incelenmesi gerekmektedir. Bu amaçla, bu çalışma, yerleşik bir ortamda iş birliği yapan katılımcıların göz izleri ve işaret ifadesi kullanımları arasındaki ilişkiyi araştırmıştır. Bulgularımız, işaret göndermesinin rastgele ortaya çıkmadığını, aksine konuşmacı merkezli bakış açısını sorgulayan belirli bilişsel ilkeleri takip ettiğini ileri sürmektedir. Dahası, hem konuşmacı hem de dinleyicinin aktif rol oynadığı ortak bir faaliyet olduğunu ortaya koymuştur. Ayrıca, göz izinin, işaret ifadesi ile zamansal ilişkisinden dolayı önemli bir görsel yardımcı olabileceğini göstermiştir.

Multimodal user interfaces have become increasingly important. They are being used in various applications such as computer games, online education, simulations, and assistive technology. Such interfaces now can make use of inputs coming from different modalities such as speech and eye gaze. This multimodality enables situated dialogue between users and artificial agents, encouraging collaborative language use. Naturally, people need to refer to entities in the surrounding environment using demonstratives during the conversation. Multimodal interfaces must resolve these referring expressions for successful communication. However, demonstrative reference is still a challenging problem due to the complex nature of the phenomenon. Traditional accounts of demonstratives are individual and speaker-centric, suggesting a distance contrast. On the contrary, recent findings reveal it is a joint and multimodal action. Consequently, there is a need to study demonstratives in a situated and distributed framework to better understand the cognitive processes behind reference generation and resolution. To this end, this study investigated the relationship between demonstrative use and eye gaze of the participants collaborating in a situated environment. Our findings suggest demonstrative reference does not occur randomly, rather follows certain cognitive principles, which questions the prevailing speaker-centric view. They clearly show it is a joint activity in which both the speaker and the listener play active roles. They also indicate eye gaze proves to be a significant visual cue, which is temporally linked with demonstrative use.