迫选式问卷能很好地避免传统李克特问卷所带来的各种反应偏差问题(如作答趋中性、社会赞许效应、装好作假等),因此它被很多人才测评开发者所青睐。但迫选式问卷基于传统计分形式产生的数据为自模式数据,这种数据形态违背了一些测验质量分析(如信度分析、因子分析等)的前提假设,从而导致迫选式测评的测验科学性无法得到相关测量学指标的支持。近年来,为了从迫选题目中获得非自模式的数据和更准确地估计潜在特质值,研究者提出了多种适用于迫选题目的 IRT模型:Brown (2010)基于瑟斯顿比较判断法则提出的瑟斯顿IRT模型,Stark(2005)基于配对迫选题型开发的MUPP框架,基于此框架,当题目符合展开反应模式并使用GGUM为概率函数时,则为MUPP-GGUM模型(Stark et al. 2005),当题目符合优势反应模式并使用2PL为概率函数时,则为MUPP-2Pl模型(Morillo et al. 2016)。本研究将基于MUPP-2PL模型,采用极大似然参数估计方法对维度分数(theta)进行估计,旨在探讨在多种模拟条件下维度分真值、估计值和自模分数之间的关系,以及在何种情境下,可以最大化发挥IRT计分的优势,获得更精确的维度分估计值。研究中数据模拟所使用的题目信息来自MAP职业性格测验,它是智鼎在线公司基于人格特质理论开发的测验产品,共测量了24个性格维度,由数个迫选题块组成,每个题块由来自不同性格维度的三个描述条目(即题目)组成。研究考虑了每个维度所测量的题目数,各维度内题目的难度参数、区分度参数的变异性,单维block的占比和真值分布等条件。研究评价标准包括维度分数估计偏差(bias)及绝对偏差(absbias),维度分数估计值与真值的相关(corr)。结果发现:(1)每个维度所测量的题目数是影响theta估计稳定性的重要因素;(2)维度内题目的难度参数标准差高于0.3时对theta的估计更为准确;(3)对极端theta的估计误差较大。本研究立足于成熟的人格测验产品MAP,在研究过程中借鉴了其多年来积累的开发经验,研究结果对高维人格类迫选测验的开发和MUPP-2PL模型在其中的应用具有一定的指导价值。
暂无评论