کارکرد افتراقی سؤال در چارچوب سنجش تشخیصی شناختی: مطالعه موردی سؤال‌های حساب دیفرانسیل و انتگرال کنکور سراسری 97

نوع مقاله : مقاله پژوهشی

نویسندگان

1 دانشجوی دکتری سنجش و اندازه گیری دانشگاه تهران

2 استادیار گروه روش‌ها وبرنامه‌های آموزشی و درسی دانشگاه تهران

3 دانشیار گروه سنجش و اندازه گیری دانشگاه علامه طباطبائی

4 استادیار گروه مطالعات برنامه درسی و تحقیقات آموزشی دانشگاه خوارزمی

چکیده

هدف: منصفانه بودن سؤال‌های آزمون‌های سراسری بنا به اذعان بسیاری از متخصصان همواره حائز اهمیت است. از آنجا که تعیین سؤال‌های دارای کارکرد افتراقی می‌تواند گامی مهم در جهت منصفانه بودن آزمون‌های سرنوشت‌ساز باشد، بنابراین در پژوهش حاضر، کارکرد افتراقی سؤال‌های ریاضی بخش حساب دیفرانسیل و انتگرال آزمون سراسری ورودی دانشگاه‌های کشور در میان داوطلبان دختر و پسر با استفاده از آزمون والد تحت مدل تشخیصی شناختی دینا موردمطالعه قرار گرفت.
روش: این پژوهش توصیفی از نوع تحلیل ثانویه در چارچوب مدل‌یابی تشخیصی شناختی است. نمونه شامل 5000 نفر از داوطلبان کنکور سال 1397 است که از میان 144437 نفر شرکت‌کننده در گروه آزمایشی ریاضی و فیزیک به روش نمونه‌گیری تصادفی انتخاب شدند. بعد از شناسایی و تعیین مهارت‌های زیربنایی هر یک از سؤال‌ها با کمک متخصصین، شاخص‌های برازش مدل و پارامترهای سؤال‌ها بر مبنای مدل غیرجبرانی دینا تحلیل شد. یافته‌ها نشان‌دهنده برازش مناسب مدل با داده‌ها بود. به‌منظور بررسی کارکرد افتراقی سؤال از آزمون والد استفاده شد.
یافته‌ها: نتایج نشان داد که از 23 سؤال آزمون، 5 سؤال دارای کارکرد افتراقی است. همه سؤال‌های دارای کارکرد افتراقی از نوع کارکرد افتراقی یکنواخت بوده و به نفع داوطلبان پسر عمل می‌کنند. همچنین 4 سؤال از این 5 سؤال دارای اندازه DIF با شدت کم و 1 سؤال دارای اندازه DIF با شدت زیاد شناسایی شدند.
نتیجه گیری: نتایج پژوهش حاضر می‌تواند اطلاعات سودمندی برای طراحان سؤال و سازندگان آزمون سراسری از نظر تأثیر جنسیت بر عملکرد داوطلبان به‌دست ‌دهد تا با شناسایی، اصلاح و یا حذف این سؤال‌های آزمون از منصفانه بودن و روایی آزمون نسبت به کاربرد آن اطمینان حاصل شود.

کلیدواژه‌ها

عنوان مقاله [English]

Differential Item Functioning in the Framework of Cognitive Diagnostic Assessment: Questions Related to the Differential and Integral Calculus of the Iranian National University Entrance Examination 2018

نویسندگان [English]

  • Somaye Saadati 1
  • Ali Moghadamzadeh 2
  • Asghar Minaei 3
  • Masoud Geramipour 4
1 PhD student in Assessment and Measurement, University of Tehran
2 Assistant Professor, Department of Educational Methods and Programs, University of Tehran
3 Associate Professor, Department of Measurement, Allameh Tabatabai University
4 Assistant Professor, Department of Curriculum Studies and Educational Research, Kharazmi University
چکیده [English]

 
Objective: Many experts have emphasized on the importance of National Entrance Examination item fairness. As the detection of differential item functioning (DIF) may contribute to the fairness of high-stakes tests, the present study investigated the DIF of the Differential and Integral Calculus items on an Iranian National University Entrance Examination (INUEE) among male and female candidates under Cognitive Diagnostic DINA Model using the Wald test.
Method: This study was a secondary analysis based on cognitive diagnostic modeling (CDM). The sample included 5000 candidates of the 2018 University Entrance Examination who were selected using random sampling from among 144,437 participants in the Mathematics and Physics Category. Once the required underlying attributes of each item were identified and specified with the help of experts, the goodness-of-fit indices and item parameters were analyzed based on noncompensatory DINA Model.
Results: The results showed good fit of the model to the data. Besides, the results of the Wald test indicated that 5 out of 23 items were flagged as DIF, whereas all of them had uniform DIF and in favor of male candidates. In addition, 4 items had a small DIF size and 1 item exhibited a large DIF size.
Conclusion: The results of this study can provide Nationwide Examination item developers with beneficial information concerning the effects of gender on the performance of candidates, in order to ensure the fairness and validity of tests by detecting, modifying, or eliminating certain items.
 

کلیدواژه‌ها [English]

  • Differential Item Functioning
  • Cognitive Diagnostic Modelling
  • Noncompensatory DINA Model
  • National University Entrance Examination
  • Mathematics

مراجع

آسیایی، مینا. (1391). ارزشیابی آزمون کارشناسی ارشد رشته جغرافیای سیاسی با استفاده از مدل‌های جدید اندازه‌گیری و تعیین سوگیری جنسیتی در آن، پایان‌نامه کارشناسی ارشد. دانشگاه علامه طباطبایی.
استاجی، معصومه و بابانژادکفشگر، نگار. (1397). «کارکرد افتراقی جنسیتی سؤال‌های آزمون کنکور سراسری کارشناسی ارشد رشته‌ی آموزش زبان انگلیسی در ایران: مقایسه روش‌های آماری رگرسیون لجیستیک و منتل-هنسزل»، فصلنامه اندازه‌گیری تربیتی، 8(32)، 41-62.
افضلی، افشین؛ دلاور، علی؛ فلسفی‌نژاد، محمدرضا؛ فرخی، نورعلی و برجعلی، احمد. (1393). «کاربرد مدل‌های تشخیصی شناختی در تعیین ماهیت تفاوت در عملکرد دانش‌آموزان دختر و پسر پایه اول دبیرستان در ریاضیات». مجله دستاوردهای روانشناختی، 4(2)، 89-104.
رضایی، عباسعلی و شعبانی، عنایت‌اله. (1388). «تحلیل کارکرد افتراقی جنسیتی آزمون سنجش توانش عمومی زبان دانشگاه تهران». پژوهش زبان‌های خارجی، 56، 89-108.
فلاحی‌سرشت، شیوا. (1394). بررسی کارکرد افتراقی سؤال‌های استعداد تحصیلی آزمون نیمه‌متمرکز دکتری سال 93 با کاربرد نظریه سؤال پاسخ و رگرسیون لوجستیک. پایان‌نامه کارشناسی ارشد، دانشگاه علامه طباطبایی.
کاظمی دانا، بهروز. (1395). کارکرد افتراقی سؤال‌های آزمون ریاضی پایه هشتم تیمز 2007 در بین دانش‌آموزان دختر و پسر با استفاده از مدل‌های تشخیصی شناختی، پایان‌نامه کارشناسی‌ارشد، دانشگاه علامه طباطبایی.
کبیری، مسعود. (1392). کاربرد سنجش تشخیصی شناختی به‌منظور تعیین مهارت‌های کسب‌شده علوم تجربی در دانش‌آموزان، پایان‌نامه دکتری دانشگاه تهران.
گرامی‌پور، مسعود. (1390). مقایسه قدرت آزمون نسبت درستنمایی مبتنی بر مدل سؤال-پاسخ با روش‌های تحلیل عاملی تائیدی و رگرسیون لوجستیک در شناسایی کارکرد افتراقی سؤال به‌منظور اطمینان از عادلانه بودن سنجش آزمون‌های سرنوشت‌ساز، رساله دکتری دانشگاه علامه طباطبایی.
گرامی‌پور، مسعود. (1393). «ارزیابی توان آماری تحلیل رگرسیون لوجستیک در آشکارسازی کارکرد افتراقی سؤال‌های آزمون». فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی 4(8)، 187-211.
گرامی‌پور، مسعود؛ رضایی، احمد؛ رمضانی‌صدر، اعظم؛ نوروزی، لیلا. (1395). «کنش افتراقی سؤال در آزمون‌های سازمان سنجش آموزش کشور برحسب ویژگی‌های جمعیت‌شناختی داوطلبان کنکور سراسری». فصلنامه اندازه‌گیری تربیتی، 7(26)، 101-122.
گرامی‌پور، مسعود؛ رمضانی‌صدر، اعظم؛ رضایی، احمد؛ نوروزی، لیلا و مختاریان، فرانک. (1396). «کارکرد افتراقی سؤال و آزمون مرتبط با جنسیت در آزمون‌های کنکور سراسری سازمان سنجش آموزش کشور». فصلنامه مطالعات اندازه‌گیری و ارزشیابی آموزشی، 7(19)، 41-73.
محسن‌پور، مریم؛ گویا، زهرا؛ شکوهی یکتا، محسن؛ کیامنش، علیرضا و بازرگان، عباس. (1394). «سنجش تشخیصی صلاحیت‌های سواد ریاضی». فصلنامه نوآوری‌های آموزشی، 14(53)، 7-33.
مقدم، اعظم؛ فلسفی‌نژاد، محمدرضا؛ فرخی، نورعلی؛ استاجی، معصومه. (1395). «تحلیل تشخیصی سؤالات بخش درک مطلب زبان انگلیسی عمومی آزمون ورودی دوره‌های دکتری با استفاده از مدل غیرجبرانی فیوژن». فصلنامه اندازه‌گیری تربیتی، 6(22)، 41-68.
مینائی، اصغر. (1391). مدل پردازی تشخیصی شناختی سؤال‌های تیمز 2007 در دانش‌آموزان پایه هشتم ایران با استفاده از مدل یکپارچه با پارامترپردازی مجدد(RUM)و مقایسه مهارت‌های ریاضی دانش‌آموزان دختر و پسر، پایان‌نامه دکتری دانشگاه علامه طباطبایی.
Amirian, S. M.R., Alavi, S. M., Fidalgo, A. M. (2014). “Analyzing Gender Differences with an English Proficiency Test in EFL Context”. Iranian Journal of Language Testing, 4(2), 187-203.
Barati, H., & Ahmadi, A. R. (2010). “Gender-based DIF across the subject area: A study of the Iranian National University Entrance Exam”. The Journal of Teaching Language Skills, 2(3), 1-22.
Bejar, I. I. (2008). “Standard setting: What is it? Why is it important?”, R&D Connection, 7, 1-6.
De la Torre, J., & Douglas, J. (2004). “Higher order latent trait models for cognitive diagnosis”. Psychometrika, 69(3), 333-353. https://doi.org/10.1007/BF02295640
De la Torre, J. (2008). “An empirically based method of Q-matrix validation for the DINA model: development and applications”. Journal of Educational Measurement, 45(4), 343-362. https://doi.org/10.1111/j.1745-3984.2008.00069.x
De la Torre, J., Lee, Y. S. (2010). “A note on the invariance of the DINA model parameters”. Journal of Educational Measurement, 47(1), 115-127. https://doi.org/10.1111/j.1745-3984.2009.00102.x
De la Torre, J. (2011). “The generalized DINA model framework”. Psychometrika, 76(2), 179-199. https://doi.org/10.1007/s11336-011-9207-7
DiBello, L. V., Roussos, L. A., Stout, W. F. (2007). “Review of cognitively diagnostic assessment and summary of psychometric models. In C. R. Rao & S. Sinharay (Eds.)”, Handbook of statistics. Volume26: Psychometrics (pp. 979-1030). Amsterdam, The Netherlands: Elsevier.
Ercikan, K. (2002). “Disentangling sources of differential item functioning in multilanguage assessments”, International Journal of Testing, 2(3-4), 199-215. https://doi.org/10.1080/15305058.2002.9669493
Hambleton, R. K., Swaminathan, H., & Rogers, H. J. (1991). Fundamentals of item response theory. Newbury Park, CA: Sage Publications.
Hou, L., de la Torre, J., Nandakumar, R. (2014). “Differential item functioning assessment in cognitive diagnosis modeling: Applying Wald test to investigate DIF for DINA model”. Journal of Educational Measurement, 51(1), 98-125. https://doi.org/10.1111/jedm.12036
Junker, B. W., Sijtsma, K. (2001). “Cognitive assessment models with few assumptions, and connections with nonparametric item response theory”. Applied Psychological Measurement, 25(3), 258-272. https://doi.org/10.1177/01466210122032064.
Karami, H. (2011). “Detecting gender bias in a language proficiency test”. International Journal of Language Studies, 5(2), 27-38.
Leighton, J. P., & Gierl, M.J. (Eds.) (2007). Cognitive diagnostic assessment for education: Theory and applications (pp. 146-172). Cambridge University Press.
Li, F. M. (2008). A modified higher-order DINA model for detecting differential item functioning and differential attribute functioning. Unpublished doctoral dissertation, University of Georgia.
Li, X., Wang, W. C. (2015). “Assessment of differential item functioning under cognitive diagnosis models: the DINA model example”. Journal of Educational Measurement, 52(1), 28-54. https://doi.org/10.1111/jedm.12061
Liu, O. L., and Wilson, M. (2009). “Gender differences and similarities in PISA 2003 mathematics: A comparison between the United States and Hong Kong”. International Journal of Testing, 9(1), 20-40. https://doi.org/10.1080/15305050902733547.
Liu Y, Yin H, Xin T, Shao L, Yuan L. (2019). “A Comparison of Differential Item Functioning Detection Methods in Cognitive Diagnostic Models”. Frontiers in Psychology, 10, 1137. https://doi.org/10.3389/fpsyg.2019.01137
Ma, W., de la Torre, J. (2017). Available at: https://CRAN.R-project.org/ package =GDINA.
Millsap, R. E. (2011). Statistical Approaches to Measurement Invariance. New York: Routledge, Taylor and Francis group.
Perrone, M. (2006). “Differential item functioning and item bias: Critical considerations in test fairness”. Columbia University Working Papers in TESOL & Applied Linguistics. 6(2), 1-3.
Ravand, H., Barati, H., Widhiarso, W. (2012). “Exploring Diagnostic Capacity of a High Stakes Reading Comprehension Test: A pedagogical demonstration”. Iranian Journal of Language Testing, 3(1), 11-37.
Ravand, H., Robitzsch, A. (2015). “Cognitive Diagnostic Modeling Using R”. Practical Assessment, Research & Evaluation, 20(11), 1-12. https://doi.org/10.7275/5g6f-ak15.
Roussos, L.A., Templin, J. L., Henson, R. A. (2007). “Skills diagnosis using IRT-based latent class models”. Journal of Educational Measurement, 44(4), 293-311. https://doi.org/10.1111/j.1745-3984.2007.00040.x
Rupp, A. A., Templin, J., Henson, R. A. (2010) Diagnostic measurement: theory, methods, and applications. Guilford, New York.
Swaminathan, H., Rogers, H. J. (1990). “Detecting differential item functioning using logistic regression procedures”. Journal of Educational Measurement, 27(4), 361-370. https://doi.org/10.1111/j.1745-3984.1990.tb00754.x
Von Davier, M. (2013). “The DINA model as a constrained general diagnostic model: Two variants of a model equivalency”. British Journal of Mathematical and Statistical Psychology, 67(1), 49-71. https://doi.org/10.1111/bmsp.12003
Wang, Z. R., Guo, L., Bian, Y. F. (2014). “Comparison of DIF detecting methods in cognitive diagnostic test”. Acta Psychologica Sinica, 46(12), 1923-1932. https://doi.org/10.3724/sp.j.1041.2014.01923.
Zhang, W. (2006). Detecting differential item functioning using the DINA model. Unpublished doctoral dissertation, University of North Carolina at Greensboro.
راهبردهای شناختی در یادگیری
دوره 8، شماره 15
آبان 1399
صفحه 19-35

فایل ها

هم رسانی

ارجاع به این مقاله

آمار