Differential Item Functioning in the Framework of Cognitive Diagnostic Assessment: Questions Related to the Differential and Integral Calculus of the Iranian National University Entrance Examination 2018

Document Type : Research Article

Authors

1 PhD student in Assessment and Measurement, University of Tehran

2 Assistant Professor, Department of Educational Methods and Programs, University of Tehran

3 Associate Professor, Department of Measurement, Allameh Tabatabai University

4 Assistant Professor, Department of Curriculum Studies and Educational Research, Kharazmi University

Abstract

 
Objective: Many experts have emphasized on the importance of National Entrance Examination item fairness. As the detection of differential item functioning (DIF) may contribute to the fairness of high-stakes tests, the present study investigated the DIF of the Differential and Integral Calculus items on an Iranian National University Entrance Examination (INUEE) among male and female candidates under Cognitive Diagnostic DINA Model using the Wald test.
Method: This study was a secondary analysis based on cognitive diagnostic modeling (CDM). The sample included 5000 candidates of the 2018 University Entrance Examination who were selected using random sampling from among 144,437 participants in the Mathematics and Physics Category. Once the required underlying attributes of each item were identified and specified with the help of experts, the goodness-of-fit indices and item parameters were analyzed based on noncompensatory DINA Model.
Results: The results showed good fit of the model to the data. Besides, the results of the Wald test indicated that 5 out of 23 items were flagged as DIF, whereas all of them had uniform DIF and in favor of male candidates. In addition, 4 items had a small DIF size and 1 item exhibited a large DIF size.
Conclusion: The results of this study can provide Nationwide Examination item developers with beneficial information concerning the effects of gender on the performance of candidates, in order to ensure the fairness and validity of tests by detecting, modifying, or eliminating certain items.
 

Keywords


آسیایی، مینا. (1391). ارزشیابی آزمون کارشناسی ارشد رشته جغرافیای سیاسی با استفاده از مدل‌های جدید اندازه‌گیری و تعیین سوگیری جنسیتی در آن، پایان‌نامه کارشناسی ارشد. دانشگاه علامه طباطبایی.
استاجی، معصومه و بابانژادکفشگر، نگار. (1397). «کارکرد افتراقی جنسیتی سؤال‌های آزمون کنکور سراسری کارشناسی ارشد رشته‌ی آموزش زبان انگلیسی در ایران: مقایسه روش‌های آماری رگرسیون لجیستیک و منتل-هنسزل»، فصلنامه اندازه‌گیری تربیتی، 8(32)، 41-62.
افضلی، افشین؛ دلاور، علی؛ فلسفی‌نژاد، محمدرضا؛ فرخی، نورعلی و برجعلی، احمد. (1393). «کاربرد مدل‌های تشخیصی شناختی در تعیین ماهیت تفاوت در عملکرد دانش‌آموزان دختر و پسر پایه اول دبیرستان در ریاضیات». مجله دستاوردهای روانشناختی، 4(2)، 89-104.
رضایی، عباسعلی و شعبانی، عنایت‌اله. (1388). «تحلیل کارکرد افتراقی جنسیتی آزمون سنجش توانش عمومی زبان دانشگاه تهران». پژوهش زبان‌های خارجی، 56، 89-108.
فلاحی‌سرشت، شیوا. (1394). بررسی کارکرد افتراقی سؤال‌های استعداد تحصیلی آزمون نیمه‌متمرکز دکتری سال 93 با کاربرد نظریه سؤال پاسخ و رگرسیون لوجستیک. پایان‌نامه کارشناسی ارشد، دانشگاه علامه طباطبایی.
کاظمی دانا، بهروز. (1395). کارکرد افتراقی سؤال‌های آزمون ریاضی پایه هشتم تیمز 2007 در بین دانش‌آموزان دختر و پسر با استفاده از مدل‌های تشخیصی شناختی، پایان‌نامه کارشناسی‌ارشد، دانشگاه علامه طباطبایی.
کبیری، مسعود. (1392). کاربرد سنجش تشخیصی شناختی به‌منظور تعیین مهارت‌های کسب‌شده علوم تجربی در دانش‌آموزان، پایان‌نامه دکتری دانشگاه تهران.
گرامی‌پور، مسعود. (1390). مقایسه قدرت آزمون نسبت درستنمایی مبتنی بر مدل سؤال-پاسخ با روش‌های تحلیل عاملی تائیدی و رگرسیون لوجستیک در شناسایی کارکرد افتراقی سؤال به‌منظور اطمینان از عادلانه بودن سنجش آزمون‌های سرنوشت‌ساز، رساله دکتری دانشگاه علامه طباطبایی.
گرامی‌پور، مسعود. (1393). «ارزیابی توان آماری تحلیل رگرسیون لوجستیک در آشکارسازی کارکرد افتراقی سؤال‌های آزمون». فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی 4(8)، 187-211.
گرامی‌پور، مسعود؛ رضایی، احمد؛ رمضانی‌صدر، اعظم؛ نوروزی، لیلا. (1395). «کنش افتراقی سؤال در آزمون‌های سازمان سنجش آموزش کشور برحسب ویژگی‌های جمعیت‌شناختی داوطلبان کنکور سراسری». فصلنامه اندازه‌گیری تربیتی، 7(26)، 101-122.
گرامی‌پور، مسعود؛ رمضانی‌صدر، اعظم؛ رضایی، احمد؛ نوروزی، لیلا و مختاریان، فرانک. (1396). «کارکرد افتراقی سؤال و آزمون مرتبط با جنسیت در آزمون‌های کنکور سراسری سازمان سنجش آموزش کشور». فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی، 7(19)، 41-73.
محسن‌پور، مریم؛ گویا، زهرا؛ شکوهی یکتا، محسن؛ کیامنش، علیرضا و بازرگان، عباس. (1394). «سنجش تشخیصی صلاحیت‌های سواد ریاضی». فصلنامه نوآوری‌های آموزشی، 14(53)، 7-33.
مقدم، اعظم؛ فلسفی‌نژاد، محمدرضا؛ فرخی، نورعلی؛ استاجی، معصومه. (1395). «تحلیل تشخیصی سؤالات بخش درک مطلب زبان انگلیسی عمومی آزمون ورودی دوره‌های دکتری با استفاده از مدل غیرجبرانی فیوژن». فصلنامه اندازه‌گیری تربیتی، 6(22)، 41-68.
مینائی، اصغر. (1391). مدل پردازی تشخیصی شناختی سؤال‌های تیمز 2007 در دانش‌آموزان پایه هشتم ایران با استفاده از مدل یکپارچه با پارامترپردازی مجدد(RUM)و مقایسه مهارت‌های ریاضی دانش‌آموزان دختر و پسر، پایان‌نامه دکتری دانشگاه علامه طباطبایی.
Amirian, S. M.R., Alavi, S. M., Fidalgo, A. M. (2014). “Analyzing Gender Differences with an English Proficiency Test in EFL Context”. Iranian Journal of Language Testing, 4(2), 187-203.
Barati, H., & Ahmadi, A. R. (2010). “Gender-based DIF across the subject area: A study of the Iranian National University Entrance Exam”. The Journal of Teaching Language Skills, 2(3), 1-22.
Bejar, I. I. (2008). “Standard setting: What is it? Why is it important?”, R&D Connection, 7, 1-6.
De la Torre, J., & Douglas, J. (2004). “Higher order latent trait models for cognitive diagnosis”. Psychometrika, 69(3), 333-353. https://doi.org/10.1007/BF02295640
De la Torre, J. (2008). “An empirically based method of Q-matrix validation for the DINA model: development and applications”. Journal of Educational Measurement, 45(4), 343-362. https://doi.org/10.1111/j.1745-3984.2008.00069.x
De la Torre, J., Lee, Y. S. (2010). “A note on the invariance of the DINA model parameters”. Journal of Educational Measurement, 47(1), 115-127. https://doi.org/10.1111/j.1745-3984.2009.00102.x
De la Torre, J. (2011). “The generalized DINA model framework”. Psychometrika, 76(2), 179-199. https://doi.org/10.1007/s11336-011-9207-7
DiBello, L. V., Roussos, L. A., Stout, W. F. (2007). “Review of cognitively diagnostic assessment and summary of psychometric models. In C. R. Rao & S. Sinharay (Eds.)”, Handbook of statistics. Volume26: Psychometrics (pp. 979-1030). Amsterdam, The Netherlands: Elsevier.
Ercikan, K. (2002). “Disentangling sources of differential item functioning in multilanguage assessments”, International Journal of Testing, 2(3-4), 199-215. https://doi.org/10.1080/15305058.2002.9669493
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
Hou, L., de la Torre, J., Nandakumar, R. (2014). “Differential item functioning assessment in cognitive diagnosis modeling: Applying Wald test to investigate DIF for DINA model”. Journal of Educational Measurement, 51(1), 98-125. https://doi.org/10.1111/jedm.12036
Junker, B. W., Sijtsma, K. (2001). “Cognitive assessment models with few assumptions, and connections with nonparametric item response theory”. Applied Psychological Measurement, 25(3), 258-272. https://doi.org/10.1177/01466210122032064.
Karami, H. (2011). “Detecting gender bias in a language proficiency test”. International Journal of Language Studies, 5(2), 27-38.
Leighton, J. P., & Gierl, M.J. (Eds.) (2007). Cognitive diagnostic assessment for education: Theory and applications (pp. 146-172). Cambridge University Press.
Li, F. M. (2008). A modified higher-order DINA model for detecting differential item functioning and differential attribute functioning. Unpublished doctoral dissertation, University of Georgia.
Li, X., Wang, W. C. (2015). “Assessment of differential item functioning under cognitive diagnosis models: the DINA model example”. Journal of Educational Measurement, 52(1), 28-54. https://doi.org/10.1111/jedm.12061
Liu, O. L., and Wilson, M. (2009). “Gender differences and similarities in PISA 2003 mathematics: A comparison between the United States and Hong Kong”. International Journal of Testing, 9(1), 20-40. https://doi.org/10.1080/15305050902733547.
Liu Y, Yin H, Xin T, Shao L, Yuan L. (2019). “A Comparison of Differential Item Functioning Detection Methods in Cognitive Diagnostic Models”. Frontiers in Psychology, 10, 1137. https://doi.org/10.3389/fpsyg.2019.01137
Ma, W., de la Torre, J. (2017). Available at: https://CRAN.R-project.org/ package =GDINA.
Millsap, R. E. (2011). Statistical Approaches to Measurement Invariance. New York: Routledge, Taylor and Francis group.
Perrone, M. (2006). “Differential item functioning and item bias: Critical considerations in test fairness”. Columbia University Working Papers in TESOL & Applied Linguistics. 6(2), 1-3.
Ravand, H., Barati, H., Widhiarso, W. (2012). “Exploring Diagnostic Capacity of a High Stakes Reading Comprehension Test: A pedagogical demonstration”. Iranian Journal of Language Testing, 3(1), 11-37.
Ravand, H., Robitzsch, A. (2015). “Cognitive Diagnostic Modeling Using R”. Practical Assessment, Research & Evaluation, 20(11), 1-12. https://doi.org/10.7275/5g6f-ak15.
Roussos, L.A., Templin, J. L., Henson, R. A. (2007). “Skills diagnosis using IRT-based latent class models”. Journal of Educational Measurement, 44(4), 293-311. https://doi.org/10.1111/j.1745-3984.2007.00040.x
Rupp, A. A., Templin, J., Henson, R. A. (2010) Diagnostic measurement: theory, methods, and applications. Guilford, New York.
Swaminathan, H., Rogers, H. J. (1990). “Detecting differential item functioning using logistic regression procedures”. Journal of Educational Measurement, 27(4), 361-370. https://doi.org/10.1111/j.1745-3984.1990.tb00754.x
Von Davier, M. (2013). “The DINA model as a constrained general diagnostic model: Two variants of a model equivalency”. British Journal of Mathematical and Statistical Psychology, 67(1), 49-71. https://doi.org/10.1111/bmsp.12003
Wang, Z. R., Guo, L., Bian, Y. F. (2014). “Comparison of DIF detecting methods in cognitive diagnostic test”. Acta Psychologica Sinica, 46(12), 1923-1932. https://doi.org/10.3724/sp.j.1041.2014.01923.
Zhang, W. (2006). Detecting differential item functioning using the DINA model. Unpublished doctoral dissertation, University of North Carolina at Greensboro.