Ölçme adaleti · DMF · Ölçme değişmezliği

Bu test herkesi aynı şekilde ölçüyor mu?

Bir test, aynı yetenek düzeyindeki iki kişiye, hangi gruptan olurlarsa olsunlar, bir maddeyi doğru yanıtlama konusunda eşit şans tanıyorsa adildir (AERA, APA ve NCME, 2014). Bu durum belirli bir maddede bozulduğunda psikometride buna değişen madde fonksiyonu (DMF) denir. Sorun ölçeğin bütününde ortaya çıkıyor ve puanlar ülkeler, diller ya da cinsiyetler arasında karşılaştırılamıyorsa, ölçekte ölçme değişmezliği sağlanmamış demektir.

DMF, bir grubun daha düşük puan almasıyla aynı şey değildir; gruplar yetenek bakımından gerçekten farklı olabilir. DMF, yetenek sabit tutulduğunda maddenin kendisinin gruplar arasında farklı işlemesidir. Bunun nedeni çoğu zaman ifade biçimi, kültürel bağlam ya da bir grubun diğerine göre daha aşina olduğu içeriktir.

Tek bir maddede DMF

İki parametreli MTK modeli
B grubu için maddeyi kaydırır. Her yetenek düzeyinde eşit kayma tek biçimli DMF'dir.
B grubu için eğimi değiştirir; böylece fark yetenek boyunca büyür ya da yön değiştirir. Bu, tek biçimli olmayan DMF'dir.
Tek biçimli DMF
θ = 0'da P(doğru), A grubu—
θ = 0'da P(doğru), B grubu—
Eğriler arasındaki işaretsiz alan—

İki parametreli lojistik model (Birnbaum, 1968); A grubu için a = 1.2, b = 0. Alan, iki eğri arasındaki işaretsiz alandır ve θ = −3 ile +3 arasında sayısal olarak hesaplanır. Raju'nun (1988) alan ölçüsü θ'nın tüm aralığı üzerinden tanımlıdır; buradaki değer onun sınırlı aralık sürümüdür. Tek biçimli ve tek biçimli olmayan DMF ayrımı Mellenbergh'e (1982) dayanır.

Kendi verinizle Mantel–Haenszel DMF analizi yapın →

Araştırmalarımın yanıt aradığı sorular

Araştırma alanları

Hangi maddeler yanlı ve bunları nasıl buluruz?

İki kategorili ve çok kategorili maddelerde DMF belirleme yöntemlerinin karşılaştırılması: lojistik regresyon ve Poly-SIBTEST'ten lasso cezalandırmalı MTK modellerine, makine öğrenmesine ve üretken yapay zekâya.

Puanlar çok sayıda grup arasında karşılaştırılabilir mi?

Onlarca ülkenin aynı anda karşılaştırıldığı PISA gibi geniş ölçekli değerlendirmelerde ölçme değişmezliğinin hizalama (alignment) yöntemi ve Bayesçi yaklaşık değişmezlik ile sınanması.

DMF nereden kaynaklanıyor?

DMF'yi karma Rasch ve MTK-MIMIC modelleri, ortak değişkenler ve örtük sınıflarla açıklamak; DMF'nin yetenek düzeyine göre değişip değişmediğini incelemek.

Yayınlar ve sunumlar

Çalışmalar

Dergi makaleleri

2023

Comparison of GPCMlasso and alignment methods in detecting differential item functioning

Sirganci, G. · International Journal of Eurasian Education and Culture, 8(23), 2270–2299

Çok kategorili maddelerde DMF belirlemede lasso cezalandırmalı genelleştirilmiş kısmi puan modelini hizalama yöntemiyle karşılaştırır.

2023

A machine learning approach to assess differential item functioning of the PISA 2018 ICT Engagement Questionnaire

Sirganci, G. · International Journal of Curriculum and Instruction, 15(3), 2079–2093

PISA 2018 öğrenci anketindeki bilgi ve iletişim teknolojilerine katılım ölçeğinde DMF'yi makine öğrenmesiyle inceler.

2020

Measurement invariance testing with alignment method: Many groups comparison

Sırgancı, G., Uyumaz, G., & Yandı, A. · International Journal of Assessment Tools in Education, 7(4), 657–673

Çok sayıda grubun aynı anda karşılaştırıldığı durumlarda ölçme değişmezliğini hizalama yöntemiyle sınar.

2020

Sıralı lojistik regresyon ve Poly-SIBTEST yöntemleri ile değişen madde fonksiyonunun belirlenmesi

Sırgancı, G., & Çakan, M. · Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 20(1), 705–717

Çok kategorili puanlanan maddelerde iki DMF belirleme yöntemini bir PISA öğrenci anketi üzerinde karşılaştırır.

Değerlendirmede

2026

Utility of off-the-shelf generative AIs for DIF detection

Patarapichayatham, C., Sirganci, G., & Kamata, A. · Değerlendirmede, Educational Assessment · NCME 2026, Los Angeles'ta sunuldu

Yaygın olarak erişilebilen üretken yapay zekâ araçlarının gruplar arasında farklı işleyen maddeleri belirleyip belirleyemediğini sınar.

2026

Is creativity measured fairly? Ability-dependent differential item functioning by gender in the PISA 2022 Creative Thinking Assessment

Sirganci, G., & Meşe, C. · Değerlendirmede, The Journal of Creative Behavior

Kongre sunumları

2025

Modeling variational DIF for different ability levels with a moderated mediation approach

Sirganci, G., Kara, Y., Fong, M., & Kamata, A. · NCME Yıllık Toplantısı, Denver

2025

Model-based detection of passage bias in oral reading fluency assessments

Sirganci, G., Kara, Y., Nese, J. F. T., & Kamata, A. · NCME Yıllık Toplantısı, Denver

2025

Exploring fairness of next-generation items: Differential item action analysis on process data

Kara, Y., Sirganci, G., Qiao, X., Kamata, A., Sumsong, S., & Fong, M. · NCME Yıllık Toplantısı, Denver

2021

Measurement invariance testing with many groups: A comparison of Bayesian structural equation modeling and alignment optimization

Sirganci, G., Uyumaz, G., & Kamata, A. · 7. Uluslararası Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, Ankara

2020

The effect of covariate variables on the determination of differential item functioning using the mixture Rasch model

Sirganci, G., & Çokluk Bökeoğlu, Ö. · AERA Yıllık Toplantısı, San Francisco (kabul edildi; toplantı iptal oldu) · Ankara Üniversitesi'nde 2019'da tamamladığım doktora tezime dayanır

Kitap bölümleri

2022

Ölçek geliştirme sürecinde ölçme değişmezliği

M. Acar Güvendir ve Y. Özer Özkan (Ed.), Tüm yönleriyle ölçek geliştirme süreci içinde (s. 155–182). Pegem Akademi

2022

Geniş ölçekli değerlendirmelerde çoklu grup karşılaştırmalarının geçerliği üzerine yeni yaklaşımlar

S. Karabatak (Ed.), Eğitim & Bilim 2022-IV içinde (s. 95–116). Efe Akademik Yayıncılık

Desteklenen projeler · Yürütücü

2017

Karma MTK ve MTK-MIMIC modellerine dayalı olarak gruplar ve örtük sınıflar için değişen madde fonksiyonunun eş zamanlı belirlenmesi

TÜBİTAK 2214-A Yurt Dışı Doktora Sırası Araştırma Burs Programı · Southern Methodist University, 2017–2018

2020

Bayesçi hizalama optimizasyonu ile yaklaşık ölçme değişmezliğinin belirlenmesi

Yozgat Bozok Üniversitesi Bilimsel Araştırma Projeleri (BAP), 2020–2022

Kaynaklar