Nicel veri analizi için bir elektronik performans destek sisteminin tasarlanması ve değerlendirilmesi

Abstract

Amaç: Bilimsel araştırmalar, problemin belirlenmesi, literatür taraması, hipo-tezlerin oluşturulması, verilerin toplanması, verilerin analizi, analiz sonuçlarının yo-rumlanması ve raporlanması aşamalarından oluşmaktadır. Literatürdeki araştırmalar incelendiğinde eğitim araştırmalarında verilerin analizi, sonuçların yorumlanması ve raporlanması basamaklarında problemler yaşandığı tespit edilmiştir. Araştırmacıların yaşadıkları problemlere ve zorluklara destek olabilecek ulaşılması kolay sistemler bu-lunmadığından mevcut araştırmada eğitim araştırmacılarının nicel analiz yaparken duydukları ihtiyaçları giderebilecek ve onların bilgi ve performanslarını artırabilecek bir elektronik performans destek sistemi geliştirmek amaçlanmıştır.Yöntem: Bu araştırmada tasarım tabanlı araştırma yöntemi tercih edilmiştir. Dört aşamada tasarlanan bu çalışmanın ilk aşamasında nicel analizler kullanan eğitim araştırmacılarının ihtiyaç ve eğilimleri belirlenmiştir. Ulaşılabilir örnekleme yöntemi ile 352 eğitim araştırmasından çevrimiçi anket vasıtasıyla görüşleri alınmıştır. Bu gö-rüşlere ek olarak, lisansüstü düzeyde nicel analiz dersleri veren dokuz öğretim görevli-sinden derslerde öğrencilerin karşılaştıkları zorluklara dair fikirleri istenmiştir. Sonra-sında, eğitim bilimleri alanından yayımlanmış 30 doktora tezi incelenerek tezlerde yapılan hatalar ve eksiklikler tespit edilmiştir. Araştırmanın ikinci aşamasında birinci aşamadan elde edilen bulgular ve alan yazın desteği ile araştırmacıların nicel analiz-lerde karşılaştıkları zorluklar için çözümler geliştirilmiştir. Üçüncü aşamada ise geliş-tirilen çözümlere hizmet edecek bileşenleri içeren bir elektronik performans destek sistemi tasarlanmıştır. Son olarak, geliştirilen sistemin kullanılabilirliği ve geçerliği katılımcılar tarafından üç döngüde değerlendirilmiştir. Değerlendirme aşamasının ilk basamağında dokuz katılımcıya ulaşılarak sistem bileşenleri değerlendirme formu ile incelenmesi istenmiştir. Bu incelemeler sonucunda elde edilen dönütler ile sistem dü-zenlenmiştir. İkinci basamakta dört ve üçüncü basamakta yedi eğitim araştırmacısına ulaşılmış ve Sistem Kullanılabilirlik Ölçeği yardımıyla sistemin değerlendirilmesi ta-lep edilmiştir. Ölçek sonuçlarının yanı sıra görüşme soruları ile sistemin kullanılabilir-liği irdelenmiştir. Ekran kayıtları, gözlem notları, ölçek puanları, görüşme verileri içe-rik analizine tabi tutulmuştur.Bulgular: Araştırmanın birinci aşamasında, eğitim araştırmacılarının en çok betimsel tarama, gruplar arası farklılık, korelasyonel, yordama ve ölçek geliştirme-uyarlama çalışmalarına yöneldikleri belirlenmiştir. Bilimsel araştırma aşamalarından uygun istatistiksel analize karar vermenin yanı sıra varsayımların kontrolü, analizlerin istatistiksel yazılımlar ile yapılması, analiz sonuçlarının yorumlanması ve sonuçların APA formatına göre raporlanması bölümlerinde zorluklar yaşandığı tespit edilmiştir. Tüm bu aşamalar ön plana çıkartarak hazırlanan web tabanlı elektronik performans destek sisteminde danışman destek bileşeni olarak `İstatistiksel Analiz Seçme Aparatı` oluşturulmuştur. Bu aparatta betimsel istatistikler, gruplar arasındaki farklılık, ilişkisel kestirimler, yordama, güvenirlik analizleri, ölçek geliştirme ve ölçek uyarlama sekme-leri bulunmaktadır. Kullanıcılar araştırma problemlerine uygun olan bu sekmelerden birini kullanarak karşılarına çıkan soruların cevabı yardımıyla araştırmalarına en uy-gun istatistiksel analize karar verebilmektedir. İstatistiksel analizler belirlendikten son-ra bilgi destek bileşeni ile bu istatistiksel teknikler hakkında detaylı bilgiye ulaşabil-mektedir. Sistem içindeki video ve H5P sunumları ile öğretimsel destek bileşeni oluş-turulmuştur. Üç döngüde yapılan değerlendirme aşaması sonuçlarına göre hazırlanan sistem nicel analiz yaparken karşılaşılan zorluklara destek veren ve performansı artıra-bilen kullanılabilir bir elektronik performans destek sistemi olduğu gösterilmiştir. Ge-liştirilen sistemin kullanılabilirliğini etkileyen faktörler incelendiğinde ise sisteme ait özellikler (içerik, görsel tasarım, yönlendirme, organizasyon ve yardım) ve kullanıcıya ait özellikler (öğrenme stili, istatistik algısı ve bilgisayara karşı tutum) ön plana çık-mıştır.Sonuç ve Öneriler: Bu araştırma kapsamında geliştirilen elektronik perfor-mans destek sistemi nicel analiz yaparken zorluk yaşayan eğitim araştırmacılarına des-tek sağladığı ve bu konuda ihtiyaç duyulduğunda kullanılabilir olduğu gösterilmiştir. Alan yazındaki araştırmalar mevcut çalışmanın sonuçlarını desteklemektedir. Anahtar kelimeler: Nicel veri analizi, Eğitim araştırması, Elektronik performans des-tek sistemi, Tasarım tabanlı araştırma, Sistem kullanılabilirliği

Purpose: Scientific research consists of a variety of stages such as determining the problem, reviewing the literature, forming hypotheses, collecting data, analyzing data, interpreting the analysis results, and reporting. A review of literature in the scientific education research indicates problems in the analysis and interpretation of data and reporting of results due to the lack of user-friendly electronic systems that can support educational researchers. The aim of the current study is then to design and evaluate an electronic performance support system that can assist researchers in the process of qu-antitative data analysis.Method: In this study, a design-based methodology was pursued. In the first phase of the study, the needs and tendencies of education researchers were examined by employing a quantitative research instrument which yielded quantitative data. With the convenient sampling method, the perceptions of 352 educational researchers were investigated through an online questionnaire. Besides, nine lecturers who teach quanti-tative analysis courses at the graduate level were reached and consulted for their opi-nions on the challenges that they think their students face during their courses. Af-terwards, 30 doctoral theses published in the field of educational sciences were exami-ned and errors and deficiencies in the theses were determined. In the second phase of the research, solutions were developed for the difficulties that researchers face in the process of quantitative data analysis. In the third phase, an electronic performance sup-port system was designed including the components that would serve as solutions for the difficulties determined in the previous phase of the study. Finally, the usability and validity of the developed system were evaluated by the participants in three cycles. In the first cycle, nine participants were reached and asked to examine the system com-ponents with a general evaluation form. The system was modified with the feedback from the participants. In the second and third cycles, there were four and seven educa-tional researchers, respectively. They evaluated the system with the System Usability Scale. Besides, interviews, screen recordings, and observation notes were analyzed to demonstrate the usability of the system.Results: In the first phase of the study, it was found out that that education researchers mostly focused on descriptive statistics, group difference, correlational, predictive, and scale development-adaptation studies. However, there were many chal-lenges that the researchers faced such as deciding on the appropriate statistical analy-sis, controlling the assumptions, making analyzes with statistical software, interpreting the analysis results, and reporting the results according to the APA format. In order to support researchers in these respects, a `Statistical Test Selector Page` was created as a consultant (expert) support component in the web-based electronic performance sup-port system. On this page, there are descriptive statistics, the difference between gro-ups, correlation, prediction (regression), reliability analysis, scale development, and scale adaptation tabs. After the statistical analysis is determined, detailed information about these statistical techniques can be reached with the information support component. This component was created with video and H5P presentations. The results of the evaluation phase showed that the system is usable for the difficulties encountered during the quantitative data analysis process. When the factors affecting the usability of the system were examined, the features of the system (content, visual design, orientation, organization, and help) and the features of the user (learning style, statistical perception, and attitude towards the computer) came to the fore.Conclusion and Suggestion: The findings demonstrated that the electronic performance support system supports education researchers who have difficulties in quantitative data analysis. The extant research in the field are in accordance with the results of the current study.Keywords: Quantitative data analysis, Educational sciences, Electronic performance support systems, Design-based research, System usability