A serious game with data analysis to diagnose and treat children with visual sequential memory deficit

Abstract

Sıralı Görsel Hafıza kişilerin harfleri, sayıları, nesneleri ve şekilleri doğru sırada hatırlamalarını sağlar. Eksikliği ise kişinin hayatında disleksi ve diskalkuli gibi zorluklara yolaçar. Sıralı Görsel Hafıza Eksikliği'nin tanısının koyulması bunun sonuçlarından muzdarip olanlar için önemlidir. Ama mevcut klinik yöntemlerin tanı koyma oranı çok düşük ve tedavi ise klinikte geçirilen bir kaç saat ile sınırlı. Bu tezde, origamiyi temel alan Sıralı Görsel Hafıza Eksikliği olan çocuklara tanı koyan ve tedavi eden Memori isimli bir oyun tasarladık. Origami kullanmanın gerekçelerini, oyunun tasarım aşamalarını, oyunun uygulanmasını, veri yapılanmasını, veri analizin yöntemlerini ve bunların karşılaştırılmasını detaylı bir şekilde anlattık.Bu çalışmada, oyun ortamının daha gerçekçi bir his vermesi için 3D grafik tasarımınıkullandık. Her cihazdan ve platformdan erişim kolaylığı sağlanması için bütün internet tarayıcılarını destekleyen WebGL'i seçtik. Sistemimizin topladığı verinin analiziiçin Sıralı Görsel Hafıza Eksikliği olan çocuklara daha iyi tanı koymak adına farklıkümeleme yöntemlerini kıyasladık. 24 yetişkin ile yaptığımız ilk performans testlerimizde hafızada 13% ilerleme ve skorda 1.00 artış görürken oyunumuzu kullananlarda dikkatlilikte 2.33'ten 2.02'ye düşüş gördük. Ayrıca 2 farklı okulda çocuklarla da oyunumuzu test ettik. Çocuklar tanı koyma ve tedavi etmede iki farklı yöntemle karşılaştılar. Bu iki deneyden toplanan veriler oyunun performansının tasdik edilmesi için 3 farklı kümeleme yöntemi kullanılarak analiz edildi.

Visual Sequential Memory (VSM) allows a person to perform tasks such as rememberingletters, numbers, objects or shapes in the correct order. Its deficit can lead to challengesin one's personal life, including dyslexia and dyscalculia. Detecting Visual SequentialMemory Deficit (VSMD) is essential for those who suffer from its related consequences.But current clinical methods don't have a high rate of diagnosis, and also treatmentis limited to the few hours the person spends in the clinic. In this thesis, we proposean Origami based Serious Game, called Memori, for the diagnosis and treatment ofchildren with VSMD. We illustrate the rationale behind using Origami, the design processof our game, its implementation, data construction, data analysis methods and theircomparison.For this work, we chose 3D graphics to give the user a realistic feeling about the gameenvironment. To be easily accessible on any device and platform, we chose WebGL sinceit supports 3D graphics on any web browser. For the analysis of the data gatheredby our system, we compared different clustering methods to achieve better diagnosis ofchildren with VSMD. Our preliminarily performance evaluations with 24 adults revealeda 13% improvement of memory and 1.00 score increase in performance while a slightdecrease occurred in attentiveness from 2.33 to 2.02 for people who used our tool. Wealso experimented with children in 2 schools. They were exposed to two different methodsof testing in diagnosis and treatment. The data collected from these two experimentswas analyzed using 3 variant clustering methodologies in order to verify the performanceof the game.