A flexible computer based assessment system implementation using java web technologies

Abstract

Bu tez kapsamında, Java Web teknolojileri kullanılarak web tabanlı esnek bilgisayar tabanlı değerlendirme sistemi geliştirilmiştir. Sistem tasarlanırken esnek olması ve mevcuttaki sistemlerin problemlerini giderecek şekilde olması sağlanmıştır. Geliştirilen sistem bir web sunucusuna konuşlandırıldıktan sonra otuz adet elektronik sınav Akdeniz Üniversitesi Mühendislik Fakültesi öğrencilerine uygulanmıştır. Sisteme eğitmenler tarafından eklenen sorular ve oluşturulan testler, madde cevap kuramı ilkelerine göre analiz edilmektedir. Bu analizlerin sonuçları eğitmene yansıtılarak, sorulmuş sorular hakkında geri dönüş sağlanmaktadır. Bu tez kapsamında referans seçilen programlamaya giriş dersinin soru bankası irdelenmiştir. Yapılan analizler sonucunda sınavlarda sorulan bazı soruların uygun olmadığı, bazılarının ise revize edilmesi gerektiği saptanmıştır. Araştırmacılar bir çok çalışmada bilgisayar tabanlı değerlendirme sistemlerinin kullanımının öğrencilerin sınav başarılarına dair olumsuz etkisinin olup olmadığını araştırmışlardır. Çoktan seçmeli soruların sorulduğu sınavların elektronik ortamda yapılmasının öğrencilerin sınav başarısına bir etkisinin olmadığı ortaya konsa da açık uçlu sorular için yapılmış bir çalışma bulunmamaktadır. Bu tez kapsamında Doğa Bilimleri (Natural Science) dersi bu karşılaştırmayı yapmak için referans ders olarak seçilmiştir. 2017-2018 güz döneminde dersin sınavları kağıt ortamında açık uçlu sorular üzerinden sınavlar yapılmıştır. 2018-2019 gün döneminde ise yine açık uçlu sorular ile elektronik ortamda sınavlar yapıldı. Ortalama sınav puanları üzerinden yapılan bağımsız student t-test analizine göre iki grup arasında anlamlı bir fark bulunmadığı anlaşılmıştır ($p$ = 0,441). Elde edilen bulgular ile elektronik sınav sistemi kullanımının açık uçlu sorulardan oluşan sınavlarda da öğrencilerin başarısına dair olumsuz bir etkisinin olmadığı kanıtlanmıştır.Elektronik sınavların yapıldığı ortamlar genellikle okulların bilgisayar laboratuvarlarıdır. Bu ortamlar ders verilmek için tasarlandığından dolayı, sınav esnasında öğrencilerin birbirlerinin ekranlarına bakmaları çok zor olmamaktadır. Bilgisayarların yerleşim planında değişiklik yapmak her zaman mümkün olmasa da sınavlardan sonra öğrenci cevaplarının birbirine olan benzerlikleri araştırılarak kopya çeken öğrencileri tespit etmek mümkündür. Geliştirilen sistem kullanılarak yapılan sınavlarda, Jaccard ve Kosinüs benzerlik analizi yöntemleri kopya çeken öğrencilerin tespitinde kullanılmıştır. Bu iki yöntem elde ettiği sonuçlar bakımından kıyaslanmıştır. Kosinüs benzerlik analizi yönteminin kullanımının, kopya tespiti konusunda Jaccard benzerlik yöntemine göre daha uygun olduğu yapılan çalışmalar sonucunda görülmüştür.Tüm bu yapılan çalışmaların sonunda, açık kaynak kodlu teknolojiler kullanılarak eğitim kurumlarının kullanımına uygun olarak tasarlanan ve tüm ölçme ve değerlendirme süreçlerini kapsayan, web ortamında çalışan bilgisayar tabanlı değerlendirme sistemi geliştirilmiştir.

In the scope of this thesis, a web based flexible computer based assessment system was developed using Java web technologies. The system is designed to be flexible in order to eliminate the problems of existing systems. After the deployment on a web server of the developed system, thirty electronic exams were applied to the Akdeniz University Engineering Faculty students.The questions and tests added by the instructors to the system are analyzed according to the principles of item-response theory. The results of these analyses are presented the instructor and feedback are given about the questions. Within the scope of this thesis, introduction to programming course was selected as a reference course and its question bank was examined. According to the analysis results, it was determined that some questions were inappropriate for asking and some questions need to be revised.Researchers have investigated in many studies, whether the use of computer based assessment system has a negative impact on the student's exam success. Although it is proved that the exams in which multiple-choice questions are asked in the electronic environment have no effect on the student's exam success, there are no studies for open-ended questions. In the scope of this thesis, Natural Science course was selected as a reference course. In 2017-2018 fall semester, exams of this course were held in the paper environment with the open-ended questions. In 2018-2019 fall semester, exams were held in the electronic environment with the open-ended questions. According to the independent student t-test analysis performed on the average exam scores, there was no significant difference between the two groups ($p$=0,441). The findings of the study revealed that the use of the electronic exam system did not have a negative effect on student's success in the exams which consisted of open-ended questions.Electronic exams are usually held in computer laboratories of schools. This laboratories are designed to teach courses. Because of this, it is not difficult for students to look at each other's screens. Although it is not always possible to make changes in the settlement of the computers, it is possible to detect the students who are copying by examining the similarities of the student's answers after the exams. In the exams conducted using the developed system, the methods of Jaccard and Cosine similarity analysis were used to detect the students who were copying. These two methods were compared in terms of the results. It has been seen that the use of Cosine similarity analysis method is more suitable than the Jaccard similarity analysis method for copy detection.As a results of all these studies, by using open source technologies, a computer based assessment system designed in accordance with the use of educational institutions and covering all measurement and evaluation processes is developed.