作为心理和教育测量领域的新一代发展,认知诊断评估旨在通过测量具体的知识状态来提供关于学生认知优势和劣势的信息,使教师能够利用这些信息为学生提供补救指导。为了实现评估的目标,不仅需要高质量测验和合适的认知诊断模型,建立学生不可观察的知识状态和可观察的反应间的关系,还需要使用合适的计分方法提取学生的反应。提取学生在测验上的作答反应是认知诊断评估的重要前提,只有分析作答数据才能知晓个体的知识状态,对作答数据分析越详细,其诊断结果越准确。因此,编制一份良好的认知诊断测验,选择合适的计分方法和认知诊断模型,对评估起着非常重要的作用。在认知诊断测验中,多项选择题(以下简称多选题)可以避免猜测、信度高,且一次性测量多个主题,提供的信息量更大,是最主要的项目形式之一。然而,现有的多选题认知诊断测验按题计分,仅利用题目的信息,忽略了选择不同选项的学生的差异,不仅造成作答数据的浪费,还导致评估的偏差,阻碍了多选题认知诊断测验的发展。针对这一现状,本研究从多选题的特点出发,根据选项可以提供更丰富的诊断信息这一假设,提出了基于选项向量的多项选择题认知诊断计分方法,整个研究分四个部分:研究一,从理论分析以选项为单位计分的优势及可行性,提出一种基于选项信息,分析不同学生在选项上的反应的多选题认知诊断计分方法(选项向量计分法,Method of scoring by option vector,OVS)。研究二,在不同属性个数、知识状态分布和测验长度的情境下,OVS与现有计分方法的准确性比较。研究三,在不同测验题目质量的情境下,OVS与现有计分方法的稳健性比较。研究四,在实证数据中验证OVS的效度。研究得到如下结论:(1)OVS保留了原始的作答数据,能够提取更多的诊断信息,区分不同知识状态的能力更强。(2)OVS在不同属性、被试和测验等方面均有较准确的计分效果。(3)OVS在一份测验的题目质量存在较大差异时仍表现出优势。(4)OVS在实证数据中表现同样优异,不仅能有效地区分不同类型的学生,而且结果与学生的真实情况更为接近。
暂无评论