Investigating the effect of working memory capacity for the comprehension of complex software diagrams

Abstract

Çalışma belleği kapasitesi, problem çözme, okuma, anlama, öğrenme ve dil yeteneği geliştirme gibi bilişsel olarak zorlayıcı konulardaki performansa olan etkisi açısından literatürde önemli bir konu olarak ele alınmaktadır. Çalışma belleği kapasitesini geliştirmek için kullanılan çalışma belleği egzersizlerinin bu bilişsel olarak zorlayıcıkonularda kişinin performansına pozitif etki sağladığını gösteren pek çok çalışma mevcuttur. Çalışma belleği egzersizleri ile kazanılan yeteneğin, bu egzersizden tamamen farklı ama yine bilişsel olarak zorlayıcı ve çalışma belleğinin aktif olarak kullanıldığı yeteneklere transfer edilebildiği gözlemlenmiştir. Pek çok konuda ve alanda araştırılan çalışma belleği kapasitesinin etkilerinin, yazılım mühendisliği alanında çok kullanılan karmaşık modellerin anlaşılırlığına etkisi daha önce hiç çalışılmamış, literatürde bulunmayan bir konu olduğu saptanmıştır. Model güdümlüyazılımın popülerlik kazandığı son dönemde, bu karmaşık modellerin anlaşılırlığı konusu da önem arz etmeye başlamıştır. Karmaşık modellerin anlaşılırlığı da yüksek bilişsel beceri gerektiren bir konudur. Daha sonra uygulamaya geçirilecek vekodlanacak bir sistemin mimarisini ve işlevini anlamak, sistemin nasıl çalıştığını, verilerin nasıl tutulduğunu, sistemle kimlerin nasıl etkileşim içerisinde olduğunu ve buna dair diğer konuları görsel olarak ifade eden modelleri tam ve doğru olarak anlamak önem arz etmektedir. Bunun yanı sıra tüm iştirakçilerin ve özellikle acemi model tasarımcılarının karmaşık modelleri anlaması, yazılım sürecinin başarılı bir şekilde işlemesi için çok önemlidir. Karmaşık modellerin anlaşılırlığının çeşitli etkenlere bağlı olduğu tartışılmaktadır. Literatürde bu etkenler; modele özgü ve kişiye özgü faktörler olmak üzere iki grup altında toplanmıştır. Bu tezde, kişiye özgü faktörlerden olan çalışma belleği kapasitesinin iş süreci yönetim modellerine ve veri modellerine olan etkisi araştırılmaktadır. Acemi model tasarımcılarının çalışma belleği kapasitesi ile karmaşık model anlaşılırlığı arasındaki ilişkiyi araştırmak içinve buna ek olarak uygun bir çalışma belleği egzersizinin karmaşık model anlaşılırlığına etki edip etmeyeceğini araştırmak için farklı bilgisayar bilimi lisans öğrencileri ile iki deney yapılmıştır. İlk yapılan deneydeki model anlaşılırlığı ve çalışma belleği kapasitesi verilerine ek olarak, bulguları pekiştirmek ve daha iyi yorumlayabilmek için, göz takibi metodu kullanılarak acemi model tasarımcılarının iş süreci modeli anlaşılırlık testi sırasındaki göz hareketleri kaydedilmiş ve çalışma belleği kapasitesi ile model anlaşılırlığı hakkında çeşitli metrikler hesaplanmıştır. İlk deney sonuçlarının detaylı analizi sonucunda elde edilen bulgular gösteriyor ki karmaşık iş süreci modellerinin anlaşılırlığı kişinin çalışma belleği kapasitesi ile ilişkilidir. Göz verileri incelenerek hesaplanan metriklerin analizi sonucunda elde edilen bulgular, çalışma belleği kapasitesi yüksek olan model tasarımcılarının model anlaşılırlık testinde problemleri daha etkili şekilde çözdüklerine işaret etmektedir. Benzer şekilde, çalışma belleği kapasitesi yüksek olan model tasarımcılarının sorulara doğru yanıt vermek için daha motive ve ısrarcı olduğu ortaya çıkmıştır.Genel olarak bakıldığında yüksek çalışma belleği kapasitesi olan model tasarımcılarının model anlaşılırlık test skorlarının ve performanslarının çalışma belleği kapasitesi düşük olanlara kıyasla daha yüksek olduğu gözlemlenmiştir.Çalışma belleği kapasitesini arttırmak için tasarlanmış `ikili n-geri (İng. dual nback)` egzersizinin sonucunda gelişen performansın karmaşık model anlaşılırlığına aktarılıp aktarılamadığını tespit etmek amacıyla ikinci deney yapılmıştır. Bu deneyde aktif kontrol grubu, literatürde bir plasebo egzersiz olarak varsayılan `görsel arama (İng. visual search)` egzersizini uygularken, deney grubu ise ikili n-geri çalışma belleği egzersizini 7 hafta boyunca uygulamıştır. 7 hafta, 20 oturum süren egzersizlerden hem önce hem de sonra deney katılımcılarının çalışma belleği kapasitesi ve modelanlaşılırlık testindeki performansları ölçülmüştür. Deneyde elde edilen verilerin analizi sonucunda elde edilen bulgular göstermiştir ki, ikili n-geri egzersizini 7 hafta boyunca uygulamış model tasarımcılarının karmaşık veri modeli anlaşılırlığı testinin ortalama skorları, görsel arama testi uygulamış olanlara göre daha yüksektir. Grup içi karşılaştırma sonucunda ise, ikili n-geri egzersizini uygulamış olan deney grubunun model anlaşılırlık testi skorları, deneyden önce yapılan teste kıyasla yükselmiş, kontrol grubunda ise egzersiz sonucunda hiçbir artış gözlemlenmemiştir. Her ne kadar karmaşık model anlaşılırlığı skorları üzerinde çalışma belleği kapasitesinin etkisi görülse de çalışma belleği kapasitesi testinin model anlaşılırlık yeteneğine transfer edilebileceğine ve bu yeteneği istatistiksel olarak anlamlı bir şekilde arttıracağına dair kesin bir kanıt bulunamamıştır. Bu orijinal tez çalışması, çalışma belleği kapasitesinin karmaşık model anlaşılırlığına olan etkisi ile ilgili ilk bulguları sunması açısından literatüre katkı sağlamaktadır.

Working memory capacity of the individuals is considered as an important factor that affects the performance on cognitively demanding tasks such as problem solving, reading, comprehension, learning, and developing language skills. There are a number of studies providing evidence that working memory training can enhance performance on these cognitively demanding tasks and skills and it yields to near and far transfer effect. The literature lacks any such studies in software engineering that research the effect of working memory training on the complex diagram comprehension. With the increasing demand on model-driven software, comprehension of the models have gained importance. Understanding the models which represent the architecture and the functionality of the system, the way systemworks, and the way data is stored is crucial because later, they will be converted into code. Comprehension of the complex diagrams used in software engineering requires high cognitive skills and is crucial for all the stakeholders, especially for novice modelers. Comprehension of diagrams is dependent on various factors including model-related factors and personal cognitive factors. This thesis study investigates the effect of working memory capacity as one of the personal cognitive factors on the comprehension of common business process and data models. In order to investigate the correlation between working memory capacity and complex diagram comprehension, and to investigate the effect of working memory training on the complex diagram comprehension of novice modelers, two experiments were conducted with different undergraduate computer science students. Additionally, eye-tracking method is used in order to compute metrics about the complex diagram comprehension for elaborating and interpreting the findings gathered while the participants were performing comprehension tasks on the business process model in the first experiment. The extensive analysis of the first experiment results illustrated that working memory capacity is correlated with complex business process model(BPM) comprehension. The eye data analysis shows that participants with higher working memory capacity are more efficient in finding the answer to a comprehension question by looking at the complex BPM. Similarly, participants withhigher working memory capacity are more persistent and motivated to find the right answer to a comprehension question about the complex BPM. Overall, comprehension test performance and scores of the participants with higher workingmemory capacity are better when compared to the participants with lower working memory capacity. In order to investigate whether dual n-back working memory training can yield to a transfer effect and improve the comprehension of the complexdiagram, the second experiment was conducted. An active-control group performed placebo training (adaptive visual search) and an experimental group performed working memory training (dual n-back) in the second experiment for 7 weeks.Working memory capacity and comprehension test performances of the participants were measured before and after the 7 week-20 sessions of training. The analysis results of the second experiment shows that mean complex data modelcomprehension scores of the participants in experimental group who performed dual n-back working memory training increased while that of participants in active-control group did not improve. Although the working memory training has a positive effect on the complex data model comprehension, there was no conclusive evidence that the dual n-back working memory training will yield to transfer effect and statistically significantly improve the performance of the novice modelers on complex data model comprehension tasks. This thesis study provides an original contribution to the software engineering literature in establishing a first round of results on the investigation of effects of working memory capacity and training to improve complex diagram comprehension.