Reliability and validity of formative evaluation and teaching aids for preschool objectives

Abstract

-4- ÖZET Bu çalısmanın amacı Okulöncesi Hedeflerine Dönük izleyici Değerlendirme Aracı' nın İngilizce Çocuk Formu 'nun (Formative Evaluation and Teaching Aids for Preschool Objectives, FETAPO) güvenirlik ve geçerliğini saptamaktır. Ayrıca aracın çocukların gelişimine, araç doğrultusunda verilen eğitime ve ortamların sosyo ekonomik düzeyine olan duyarlığı da incelenmiştir. Çalışma, A.B.D. 'nde düşük ve yüksek sosyo-ekonomik düzey ailelerin çocuklarının devam ettiği iki okulöncesi eğitim merkezinde 1991/1992 ders yılı süresinde gerçekleştirilmiştir. Örneklemi bu yuvalara devam eden 3,4 ve 5 yaşlarında 63 çocuk oluşturmuştur. Bu çocuklar seçkisiz Örnekleme ile deney ve kontrol gruplarına ayrılmıs, ve araç tüm çocuklara ön-test olarak uygulanmıştır. Daha sonra deney gruplarındaki çocuklar sistemli bir eğitim sürecinden geçmiş, ve kontrol gruplarındaki çocuklar günlük programlarına devam etmişlerdir. Eğitim süreci sonunda araç tüm çocuklara son- test olarak uygulanmıştır. Aracın hem ön hem de son-testlerdeki güvenirliğini saptamak amacıyla dört alanın (Sosyo-Duygusal, Algısal-Devimsel, Bilişsel ve Dil Gelişimi) herbirini ayrı ayrı değerlendiren dört ö'lçegin Cronbach Alfa iç tutarlık katsayıları bulunmuştur. Bu katsayılar hem ön hem de son ölçümler için 0.89 ile 0.99 düzeyleri arasındadır. İkinci olarak 144 maddeden oluşan tüm aracın iç tutarlığını-5- saptamak amacıyla araçtaki tek sayılı maddeler ve çift sayılı maddeler kullanılarak Spearman-Brown formülünün Rulon Uyarlaması yapılmış, araç hem ön hem de son testlerde 0.99 düzeyinde bir iç tutarlık sergilemiştir. Daha sonra, hem ön hem de son-testte her maddenin ait olduğu Ölçek ve toplam araç ile madde-artan korelasyon katsayıları elde edilmiş, ve bu korelasyonların Fisher Z Dönüşümleri bulunmuştur. Bu analiz sonunda ön-test için 0-67 ile 0.78' düzeyleri arasında, son-test için 0.59 ile 0.80 düzeyleri arasında ortalama korelasyonlar elde edilmiştir. Maddelerin ait oldukları ölçek ile korelasyonları, tüm araçla olan korelasyonlarından daha yüksek düzeydedir. 0.35 düzeyinin hayli üstünde olan bu korelasyonlar her maddenin hem ait olduğu ölçek, hem de tüm araçla ilişkili olduğunu göstermektedir. Ayrıca aracın gözlemciler arası güvenirliği Pearson Momentler Çarpımı korelasyon katsayılarıyla belirlenmiştir. Heriki ortam için hem ön hem de son-testte 0.99 düzeyinde korelasyon katsayıları bulunmuştur. Yapılan bu analizler, aracın çok yüksek bir iç tutarlık sergilediğini göstermektedir. Geçerlik çalışması için ön ve son-testlerde ölçeklerin birbiriyle ve toplam araçla olan korelasyonları elde edilmiştir. Bu korelasyonlar heriki ortamda ayrı ayrı olduğu gibi, heriki ortam birleştirilerek de bulunmuştur. Ön-testte eğitimin etkisi görülmediğinden, geçerlik analizleri ön-test puanları gözönüne alınarak yapılmıştır. Bunun sonucunda, Bilişsel ve Dil Gelişimi-6- ölçekleri birbirleri ve toplam araçla en yüksek korelasyonları sergilerken, Algısal-Devimsel ölçeğin korelasyonları bu iki Ölçek ve toplam araçla en düşük düzeyde olmuştur. Tüm ölçeklerarası korelasyonlar «=.000 düzeyinde anlamlıdır. FETAPO bir eğitim aracı olarak deney gruplarına verilen eğitim sürecinde kullanılmıştır. Verilen bu eğitimin etkisini görmek amacıyla çocukların ön ve son-test puanlarının birbiriyle olan korelasyonu elde edilmiştir. Bu analiz deney ve kontrol grupları için ayrı ayrı, ve tüm gruplar için birlikte yapılmıştır- Deney gruplarına verilen eğitim nedeniyle bu grupların Ön-test, son-test korelasyonları kontrol gruplarınınkinden daha düşüktür. Daha sonra her ölçeğin ve tüm aracın yaşla olan korelasyonları ön ve son-testler için elde edilmiştir. Oldukça yüksek düzeyde olan bu korelasyonlar aracın gelişimsel bir araç olduğuna işaret etmektedir. On-testte yaş ve ortamın ilişkilerini görmek amacıyla iki yönlü varyans analizi, ve son-testte yaş, ortam ve eğitimin etkilerini görmek amacıyla da üç yönlü varyans analizi uygulanmıştır. Her değişkenin etkisi her ölçek ve tüm araç için hem ön hem de son-testlerde<x =. 000 düzeyinde anlamlıdır. Yapılan tüm analizler FETAPO 'nun güvenilir ve geçerli bir araç olduğunu göstermiştir. Amacımız böyle bir araç ile okulöncesi eğitimine katkıda bulunmaktır.

-1- ABSTRACT The aim of this study is to test the reliability and construct validity of the Formative Evaluation and Teaching Aids for Preschool Objectives (FETAPO). The sensitivity of the instrument to children's age, socio-economic background and to the training they receive on the instrument have also been examined. `The study has been conducted in two pre-school settings in the U.S.A. which differed in terms of the socio-economic backgrounds of the families whose children attended these centers. Sixty-three children of the ages of 3, 4 and 5 constituted the sample of the study. The children in the sample were randomly assigned to experimental and control conditions. The instrument was administered to all of the children in the sample as a pre-test measure. Following this process, children in the experimental groups went through a systematic training process, while the children in the control groups continued with their everyday activities. After the training process, the instrument was administered to all children as a post-test measure. To determine the internal consistency of each scale of FETAPO (Socio-Emotional, Perceptual -Motor, Cognitive and Language Development) both for the pre- and the post-tests, the Cronbach Alpha Correlation Coefficient was calculated. These correlations range between.89 and.99 both for the pre- and the post-tests. To determine the internal consistency of the instrument consisting of 144 items, the Rulon Transformation of the Spearman--2- Brown Analysis was completed using the odd and even numbered items of the instrument. An internal consistency coefficient of.99 was found both for the pre-test and the post-test. Item remainder correlations were also computed by correlating each item with the scale to which it belongs, and with the total instrument. Fisher's Z Transformations were obtained, the mean correlations ranging between.67 and.78 for the pre-test, and.59 and.80 for the post-test. The correlations with the scale were found to be higher than the correlations with the instrument. These correlations indicate that the items of FETAPO represent each scale and the total instrument. Another set of analyses indicated very high inter- judge reliability coefficients through the use of the Pearson Product Correlation Coefficient. Both for the pre- and the post-tests, these correlations were at the.99 level. All these analyses a indicate very high internal consistency for FETAPO. For the validity study, each scale of FETAPO was correlated with each other, as well as with the total instrument. Following these analyses Cognitive and Language Development scales correlated highest with each other and with the total instrument, The perceptual-Motor scale showed the lowest correlations with the other scales and with the total instrument. Yet, all inter-scale, and scale-item correlations are at significant levels. FETAPO was used as a curriculum for the training process to the experimental group children. To examine the effects of this-3- training process, pre-test and post-test correlations were calculated for each scale and for the total instrument. As expected, through the effects of the training process, these correlations were lower for the experimental group children than the control group children. As FETAPO is claimed to be a developmental instrument, high correlations were expected between the test-scores of the children and their age. In fact, both for the pre- and the post-tests, very high correlations were obtained. To examine the effects of Age and SES, a two-way ANOVA was calculated for the pre-test measures. To examine the effects of Age, SES and Treatment, a three-way ANOVA was obtained. The effects of these variables showed to be significant at «* =.000 levels each on both the pre- and post-tests. All these analyses indicate that FETAPO is a reliable and valid evaluation device to be used in Early Childhood Education settings.