心血管内科专科医师考试面试评分者信度的概化理论研究

卢 燕，张 颖，王 钢，张泉慧

(国家医学考试中心，北京 100097)

教育测量学常用基于经典测量理论(CTT)的肯德尔和谐系数(W系数)以及内部一致性百分比(如Kappa系数等)[1]来评价评分者误差。概括化理论(Generalizability Theory，GT)简称概化理论，是20世纪60年代由克隆巴赫(Cronbach，LJ.)和格莱塞(Qeser，R.)[2]等以数学形式化后引进测量领域的一种心理计量学理论，后为布伦南(Brennan，R.L)[3]等人所大力发展，是用于分析考试信度与效度的一种较先进的测量学理论方法。概化理论的研究有两个阶段，G研究与D研究[4]。G研究主要分解方差来源;D研究则根据G结果计算信度系数。

国家医学考试中心受卫生部委托于2010年启动了《中国心血管内科专科医师考试体系建设项目》，2012年尝试性开展了心血管内科专科医师考试工作。目前该考试分为两部分，即即专业理论考试和专业技能考核。其中专业技能考核采取计算机辅助标准结构化临床综合技能面试(以下简称面试)。本研究即以概化理论为工具，评估此考试面试部分的评分者信度与误差，并尝试性提出改进方案。

一、对象和方法

1.研究对象。从2012心血管内科专科医生考试面试多套试题中随机抽取了一套，以所有作答此套试题的考生分数作为研究样本，其中考生人数142名，考官组21组，每组3名，共63名。

2.研究方法。按照概化理论，本考试测量目标为考生(p)在面试中表现的临床技能能力，测量侧面为考官，即评分者(r)侧面。

本研究的概化理论分析分为两个部分:第一部分以各考官组为单位的概化理论G研究，由于在考官组内每个考生接受所有考官的评价，因此实验设计模式为考生×考官，即p×r随机单面交叉设计;第二部分以各考官组为单位的概化理论D研究。

3.研究工具。本研究使用了美国衣阿华(Iowa)大学考试中心主任布瑞南(Brennan)教授主持编写的用于多元概化理论分析的计算机程序mGENOVA。

二、结 果

1.各考官组概化理论G研究结果。表1为G研究所得各考官组内各效应的方差分量与分量所占总方差的比例的平均值。21组考生效应的方差占总方差比例的平均值为81.76%，各组考官主效应占总方差比例的平均值为4.99%，此结果说明大部分考官组内，考生面试分数的差异是由考生的能力差异造成的，考官所带来的分数变异相当少，各考官组内考官评分标准比较一致。

表1 各考官组G研究结果(n=142，mean=62.92)

2.各考官组的概化理论D研究结果。表2为D研究所得21个考官组的绝对误差、相对误差的平均方差估计量及概化系数和可靠性指数。由表2可知，21个考官组概化系数的平均数为0.9317，可靠性指数 为0.9135，由此可知，面试各考官组的评分者信度较好。

表2 各考官组D研究结果(n=142，mean=62.92)

3.评分者数量对考生分数变异的影响。一般认为，增加评分者的数量能够很好的提高考试的信度，减少评分者带来的误差。概化理论的D研究就可以探讨在其他测量侧面不变的情况，增加评分者侧面人数对考试信度的影响。每组考官人数在2-5名，随着评分者人数的增加，可靠性指数也在增加，依次为:0.9224，0.9469，0.9561，0.9674。从具体数字可知，当评分者在2个时，可靠性指数就已经达到了0.9224，远高于一般认为的可接受标准0.8，因此，为了节约人力物力、降低考试成本，在保持考试信度水平的条件下，基于目前的考官队伍水平与结构，可以考虑将每组考官人数由3人调整为2人。

三、讨 论

本研究采用随机单侧面交叉设计，对2012年度心血管内科专科医师考试面试得分进行了概化理论的研究。G研究结果显示，考官为考生分数所带来的评分者误差占总体方差量的比例较小。同时D研究的结果也显示，面试各考官组的评分者信度较好。

本研究还尝试改变各考官组内考官的数量，计算其对总体分数的可靠性指数的影响，结果显示，当将每组内的3个考官变为2个考官时，可靠性指数依旧保持在了0.9224的水平。因此，基于目前的考官队伍水平与结构，可以考虑将每组考官人数由3人调整为2人。

[1]徐晓峰，刘 勇.评分者内部一致性的研究与应用[J].心理科学，2007，30(5):1178-1178.

[2]Rajaratuam N，Cronbach L J，Qeser G C.Generalizabiblity of stratified parallel Tests[M].Chicago:Psychometrika，1965.3-4.

[3]Brennan，R.L.Variance components in generalizability theory[M].Berlin:Springer，2010.15-16.

[4]杨志明，张 雷.测评的概化理论及其应用[M].北京:北京教育科学出版社，2003.22-23.