异常反应(Aberrant Response)是由考生的异常行为(如,粗心、加速作答、项目预知、抄袭邻桌答案、表现下降)引起的,会经常出现在各种测验中。异常反应一方面会导致对被试潜在特质的错误评估,另一方面也会影响项目参数估计的精度和测验效度,甚至会导致模型整体拟合和项目拟合不佳。因此,正确的异常反应建模和侦测在心理与教育测量中具有重要的理论和实践意义。以往的研究主要是通过开发个人拟合检验统计量(Person Fit Statistics,PFS)和构建捕获异常反应行为的模型来进行异常反应的研究。本研究试图结合变点分析法(Change Point Analysis,CPA)来侦测一种异常反应:表现下降(Performance Decline,PD)。表现下降是指考生由于个人原因(如,逐渐降低的测验动机)和测验条件(如,测验时间限制)使其无法全力以赴地解答所有题目,而导致在测验后期表现不佳。De la Torre和Deng(2007)发现:表现下降的侦测效力仍非常有限,最高统计检验力为0.55。其次,现有的3种CPA侦测方法无法直接用于侦测表现下降,因为它们适用于双侧备择假设。为了解决上述问题,本研究通过分析CPA侦测方法检测异常反应的原理以及借鉴贝叶斯统计学派(Bayesians)的思路,开发了一种新的检测表现下降的CPA侦测方法,并将其命名为jsmax,再将现有3种双侧检验的CPA侦测方法变换成单侧检验形式,以适应表现下降的侦测。为了探究新开发的CPA侦测方法的性能,本研究使用蒙特卡洛模拟(Monte Carlo Simulation)研究方法获得新方法在不同测验长度下的临界值,以及各实验条件下的统计检验力(Power)和一类错误率(Type-Ⅰ error rate),并同时与单侧检验的CPA侦测方法进行比较。研究结果表明:jsmax在侦测表现下降时产生了较高的统计检验力,同时所犯的一类错误率接近于设定的0.05。与其他3种单侧检验的CPA侦测方法相比,jsmax具有相似的一类错误率,但统计检验力增加了 1.0%至8.2%。最后,本研究用国际学生能力评估计划(Program for International Student Assessment,PISA)和瑞文高级推理测验(Raven Advanced Progressive Matrices Test,APM)两个实证数据验证jsmax在实际测验中的效用。其次,本研究使用图形法验证jsmax侦测结果的正确性,通过图形法的展示,研究者可以直观判断被试是否为表现下降。结果表明4种CPA侦测方法对表现下降的检测结果具有较高的一致性,jsmax确实能成功侦测经历表现下降的被试。
暂无评论