Ortaokul öğrencilerinin web tabanlı biçimlendirici değerlendirme sistemini kabul yapılarının ve sistemdeki dönütlerle etkileşimlerinin incelenmesi

Abstract

Bu araştırmada, öğrenenlerin biçimlendirmeye yönelik değerlendirmelerini gerçekleştirebilecekleri ve performanslarına yönelik madde bazında ayrıntılandırılmış ve test bazında ölçüt-referanslı, norm-referanslı ve öz-referanslı dönütleri alabilecekleri bir web tabanlı biçimlendirmeye yönelik değerlendirme sistemi geliştirilmiştir. Öğrenenlerin geliştirilen sistemi kabul durumları ile dönütlerle etkileşim düzeyleri incelenmiştir. Test alma durumlarına göre öğrenenlerin biçimlendirmeye yönelik değerlendirme başarı gelişimleri ortaya konmuş ve öğrenenlerin dönütlerle etkileşim düzeyleri betimlenmiştir. Son olarak öğrenenlerin dönütlerle etkileşim düzeyleri ile motivasyonel stratejileri ve üstbiliş düzeyleri arasındaki ilişkiler incelenmiştir.Araştırmanın çalışma grubunu özel bir ortaokulun 7. sınıfında öğrenim gören 120 öğrenci (56 kız, 64 erkek) oluşturmuştur.Biçimlendirmeye yönelik değerlendirmeler ve öğrenenlerin performanslarına yönelik dönütler, geliştirilen web tabanlı biçimlendirmeye yönelik değerlendirme sistemi aracılığıyla öğrenenlere sunulmuştur. Öğrenenlerin dönütlerle etkileşim düzeyleri (etkileşim sayısı ve etkileşim süresi) sistemin log kayıtlarında saklanmıştır. Uygulama süreci sonunda öğrenenlere Güdülenme ve Öğrenme Stratejileri Ölçeği ile Web Tabanlı Değerlendirme Sistemini Kabul Ölçeği uygulanmıştır.Araştırma süreci sonunda öğrenenlerin biçimlendirmeye yönelik değerlendirme başarı gelişimleri tekrarlı ölçümler varyans analizi ile çözümlenmiştir. Öğrenenlerin web tabanlı biçimlendirmeye yönelik değerlendirme sisteminin kabulüne yönelik yapısal örüntülerini çözümleyebilmek için yapısal eşitlik modeli kurulmuştur. Ayrıca öğrenenlerin dönütlerle etkileşim düzeylerini çözümleyebilmek için betimsel, dönütlerle etkileşim düzeyleri ile motivasyonel stratejileri ve üstbiliş düzeyleri arasındaki ilişkileri ortaya koyabilmek için ilişkisel araştırma yöntemine başvurulmuştur.Araştırma sonuçlarına göre öğrenenlerin web tabanlı biçimlendirmeye yönelik değerlendirme sistemini kabul yapısı incelendiğinde sosyal etki, içerik algısı ve kullanım niyetinin web tabanlı biçimlendirmeye yönelik değerlendirme sistemini kullanma davranışını açıkladığı bulunmuştur. Diğer taraftan sosyal etki, yarar algısı, içerik algısı, hoşlanma durumu ve kullanım kolaylığının kullanım niyetini açıkladığı bulunmuştur. Ayrıca içerik algısı, sosyal etki ve kullanım kolaylığının yarar algısını açıkladığı bulunmuştur. Son olarak bilgisayar öz-yeterlik algısının da kullanım kolaylığını açıkladığı bulunmuştur.Öğrenenlerin web tabanlı biçimlendirmeye yönelik değerlendirme sistemindeki sınamaları arttıkça biçimlendirmeye yönelik değerlendirme başarı puanlarının artış gösterdiği bulunmuştur.Dönütlerle etkileşim sayıları dikkate alındığında, öğrenenlerin en fazla ölçüt-referanslı, ikinci olarak norm-referanslı, üçüncü olarak öz-referanslı ve son olarak madde bazında ayrıntılandırılmış dönütlerle etkileşimle girdikleri bulunmuştur. Dönütlerle etkileşim süreleri dikkate alındığında ise öğrenenlerin en fazla madde bazında ayrıntılandırılmış, ikinci olarak norm-referanslı, üçüncü olarak ölçüt-referanslı ve son olarak öz-referanslı dönütlerle etkileşimle girdikleri bulunmuştur.Öğrenenlerin dönütlerle etkileşim sayıları ile motivasyonel stratejileri arasındaki ilişki incelendiğinde içsel hedef düzenleme ve görev değerinin dönütlerin tamamıyla pozitif yönde anlamlı ilişkisinin olduğu, dışsal hedef düzenlemenin ise dönütlerin tamamıyla anlamlı ilişkisinin olmadığı bulunmuştur. Öğrenme kontrol inancının madde bazında ayrıntılandırılmış, ölçüt-referanslı ve norm-referanslı dönütlerle pozitif yönde anlamlı ilişkisinin olduğu ancak öz-referanslı dönütle anlamlı ilişkisinin olmadığı bulunmuştur. Öz-yeterlik algısının ölçüt-referanslı dönütle pozitif yönde anlamlı ilişkisinin olduğu ancak madde bazında ayrıntılandırılmış, norm-referanslı ve öz-referanslı dönütlerle anlamlı ilişkisinin olmadığı bulunmuştur. Sınav kaygısının ölçüt-referanslı ve öz-referanslı dönütlerle negatif yönde anlamlı ilişkisinin olduğu ancak madde bazında ayrıntılandırılmış ve norm-referanslı dönütlerle anlamlı ilişkisinin olmadığı bulunmuştur.Öğrenenlerin dönütlerle etkileşim süreleri ile motivasyonel stratejileri arasındaki ilişki incelendiğinde içsel hedef düzenlemenin norm-referanslı dönütle pozitif yönde anlamlı ilişkisinin olduğu ancak madde bazında ayrıntılandırılmış, ölçüt-referanslı ve öz-referanslı dönütlerle anlamlı ilişkisinin olmadığı bulunmuştur. Görev değerinin ölçüt-referanslı, norm-referanslı ve öz-referanslı dönütlerle pozitif yönde anlamlı ilişkisinin olduğu ancak madde bazında ayrıntılandırılmış dönütle anlamlı ilişkisinin olmadığı bulunmuştur. Son olarak dışsal hedef düzenleme, öğrenme kontrol inancı, öz-yeterlik algısı ve sınav kaygısının dönütlerin tamamıyla anlamlı bir ilişkisinin olmadığı bulunmuştur.Öğrenenlerin dönütlerle etkileşim sayıları ile üstbiliş düzeyleri arasındaki ilişki incelendiğinde üstbiliş düzeyinin dönütlerin tamamıyla pozitif yönde anlamlı ilişkisinin olduğu bulunmuştur.Son olarak öğrenenlerin dönütlerle etkileşim süreleri ile üstbiliş düzeyleri arasındaki ilişki incelendiğinde üstbiliş düzeyinin ölçüt-referanslı ve norm-referanslı dönütlerle pozitif yönde anlamlı ilişkisinin olduğu ancak madde bazında ayrıntılandırılmış ve öz-referanslı dönütlerle anlamlı ilişkisinin olmadığı bulunmuştur.Anahtar sözcükler: Web tabanlı değerlendirme, web tabanlı biçimlendirmeyeyönelik değerlendirme, ölçüt-referanslı dönüt, norm-referanslı dönüt, öz-referanslı dönüt, madde bazında ayrıntılandırılmış dönüt, teknoloji kabul modeli.

In this study, a web-based formative assessment system has been developed for learners to assess themselves and to receive feedback for their performances based on item-based elaborated with test based norm-references, criterion-references, and self-references. Acceptance of developed system and learners' interaction with feedbacks were investigated. Based on the learners' test taking status, their formative assessment success in development has been demonstrated, and learners' interaction levels with feedbacks has been described. Lastly, the interaction levels of the learners with feedbacks, and it's relationships between the motivational strategies and the level of metacognition have been investigated.The participants of this research were 120 students (56 girls, 64 boys) who are the 7th grade students in a private college in Ankara.Formative assessments and feedbacks about the learners' performances were presented to learners through the development of a web-based formative assessment system. Learners' feedback interaction numbers and feedback interaction time period were kept in the system log records. At the end of the practice process, `Motivation and Learning Strategies Scale` and `Web-Based Assessment System Acceptance Scale` were applied to the learners.At the end of the research process, formative assessment success in development of learners were analyzed by repeated measures analysis of variance. Structural Equation Model (SEM) was used to analyze structural patterns for the learners' acceptance of web-based formative assessment system. Also, to analyze the learners' level of interaction with feedbacks, descriptive statistics techniques were used. Besides, to reveal relationships between the motivational strategies and the level of metacognition, correlational analysis statistics technique was used.According to the results of the study, when learners' acceptance of web-based formative assessment system was examined, it was founded that social influence, perception of content and usage intention explain the behavior of web-based formative assessment system use. On the other hand, the social influence, the perceived usefulness, perception of content, perceived playfulness and ease of use have been found to explain the use of the intention. The perceived usefulness was explained by perception of content, social influence and ease of use. Finally, a significant effect of computer self-efficacy on the ease of use was found.While number of tests taken by learners in the web-based formative assessment system increased, it was found that formative assessment achievement scores of learner's increases and this increase was statistically significant.Considering the number of interactions with feedbacks, it was found that learners mostly viewed the criterion-referenced, the second as the norm-referenced, the third the self-referenced, and finally item-based elaborated feedbacks. Considering the interaction time with feedbacks, it was found that learners mostly view time period is the item-based elaborated, the second as the norm-referenced, the third the criterion-referenced, and finally the self-reference feedbacks.When the relationship between the numbers of learners interact with feedback and motivational strategies was analyzed; it was found that there was a positive meaningful relationship between `Intrinsic Goal Orientation` & `Task Value` and `all feedback types` but it was found that there was no meaningful relationship between `Extrinsic Goal Orientation` and all feedback types. In addition, it was found that there was a positive meaningful relationship between `Control Beliefs for Learning` and `item-based elaborated, criterion-referenced, and norm-referenced feedbacks` but it was found that there was no meaningful relationship between `Control Beliefs for Learning` and `self-referenced feedbacks`. Furthermore, it was found that there was a positive meaningful relationship between `Perceptions of Self Efficacy` and `criterion-referenced` but it was found that there was no meaningful relationship between `Perceptions of Self Efficacy` and `item-based elaborated, norm-referenced, and self-referenced feedbacks`. Moreover, it was found that there was a negative meaningful relationship between `Test Anxiety` and `criterion-referenced and self-referenced feedbacks ` but it was found that there was no meaningful relationship between `Test Anxiety` and `item-based elaborated and norm-referenced feedbacks`.When the relationship between interaction time with feedbacks and motivational strategies was analyzed; it was found that there was a positive meaningful relationship between `Intrinsic Goal Orientation` and `norm-referenced feedbacks` but it was found that there was no meaningful relationship between `Intrinsic Goal Orientation` and `item-based elaborated, criterion-referenced, and self-referenced feedbacks`. In addition, it was found that there was a positive meaningful relationship between `Task Value` and `criterion-referenced, norm-referenced, and self-referenced feedbacks` but it was found that there was no meaningful relationship between `Task Value` and `item-based elaborated feedbacks`. Furthermore, it was found that there was no meaningful relationship between `Extrinsic Goal Orientation, Control Beliefs for Learning, Perceptions of Self Efficacy, and Test Anxiety` and `all feedback types`.When the relationship between the numbers of learners interact with feedback and metacognition levels was analyzed; it was found that there was a positive meaningful relationship between `metacognition level` and `all feedback types`.Finally, when the relationship between interaction time with feedbacks and metacognition levels was analyzed; it was found that there was a positive meaningful relationship between `metacognition level` and `criterion-referenced and norm-referenced feedbacks` but it was found that there was no meaningful relationship between `metacognition level` and `item-based elaborated, and self-referenced feedbacks`.Keywords: Web based assessment, web based formative assessment, criterionreferencedfeedback, norm-referenced feedback, self-referenced feedback, itembasedelaborated feedback, technology acceptance model.