汉字应用水平测试书写试题难度及影响因素研究

2018-06-11 12:11
泰山学院学报 2018年2期
关键词:受测者区分度题型

王 淑 华

(上海大学 文学院,上海 200444)

汉字应用水平测试(简称为“HZC”)是中华人民共和国教育部、国家语言文字工作委员会组织实施的一项国家通用语言文字的标准化水平测试,旨在衡量具有中等及以上受教育程度或文化程度与此相当的人掌握和使用汉字的水平及能力。

汉字书写能力是汉字能力的组成部分,汉字书写试题在汉字应用水平测试中占有1/4比例。它们一般以填空的形式出现,不容猜测或回避,能使受测者对自身的汉字书写水平有一个客观的认识和正确的评估。有鉴于此,本文以汉字应用水平测试中的书写试题为对象,在分析历年试题变化的基础上,重点对比2012年和2015年测试字的字表属性、难度和区分度等,探讨影响汉字书写试题难度的各种因素,构建汉字书写试题难度分析模型,希望能据此预测试卷中书写试题部分的整体难度,同时也希望该方法对测试中其他部分试题难度的分析有一个借鉴作用,从而进一步提高测试命题工作的科学性和规范性,促使该测试在全国更大范围内的推进。

一、汉字应用水平测试书写试题的变化

汉字应用水平测试从2007年开始首次试测,到现在已整整十年。其间,汉字书写部分的试题一直是整个试卷的重要组成部分,题量均为30题,不过具体出现位置、题型发生了一些变化。

(一)位置变化

2007年的试卷共分为五个部分,分别是汉字书写、字形辨误、汉字选用、字音辨别、字义辨别,其中,汉字书写位于卷首位置。2008年起,卷面构成稳定下来,分别是字音认读、字形辨误、汉字选用、汉字书写四个部分,汉字书写移至卷尾,字义辨别的内容融入其它部分,不再独立出现。

汉字应用水平测试的卷面有两种题型:填空和选择。汉字书写部分多属于填空题。虽然填空和选择同属于客观性试题,但由于填空题没有备选项,部分题目没有注音提示,因此,相对于其它部分而言,书写部分难度较大,平均得分较低(王淑华雷红波,2007),对受测者的能力要求要高于其它部分。

从受测者的角度来说,将较难的汉字书写填空题放到最后,既遵循人类思维由易到难、循序渐进的规律,也有利于受测者情绪稳定,思维活跃,发挥真实水平。因为刚开始考试时,心情可能有些许紧张,记忆能力、思维能力不在最佳状态,填空形式的书写题放在卷首,受测者遇到一些不会书写的汉字时,可能会失去信心,影响其后思维的反应、信息的提取,思考时间过长可能还会影响后面题目的顺利完成,这样测试出来的成绩就不一定能准确反映受测者真实的汉字应用水平。

(二)题型变化

1.2007年汉字书写题型

2007年书写部分均是填空题,有两种类型,具体如下:

根据语境、读音提示填写汉字,共30题。

例1根据下列各题所给出的汉语拼音和同音字填写正确的汉字。

赴汤(dǎo导)火

例2在下列各题的横线上填入正确的汉字,把成语补充完整。

危言听

从样题中可以看出,两种题型的区别在于有无拼音和同音字提示,后者难度略大,不仅测试了汉字的书写,同时还测试了受测者对成语的熟悉程度。

2.2008-2013年汉字书写题型

自2008年起,汉字书写部分题型发生了较大的变化,保留了第一种题型,删除了第二种题型,增加了另外两种新题型。具体如下:

例3请找出以下各题中唯一正确的选项

例4请根据拼音填写正确的汉字

_____(yù)订

例5请找出以下各段中的五个别字,并将正确的汉字写在答卷指定位置上(不必考虑先后顺序)。(试卷第111-120题。)

雄伟壮观的万里长城象一条巨龙,在重峦迭嶂之间蜿蜒盘旋,从山海关到嘉峪关全长六千七百多公里。它是人类建筑史上罕见的古代军事防御工程,凝聚着我们祖先的血汗和智慧,象征着中华民族艰不可摧的意志和力量。它以幽久的历史,浩大的工程,雄伟的气魄著称于世,与埃及的金字塔、印度的泰姬陵等一起被喻为世界的奇迹。

以选择形式出现的第91-93题主要是考查受测者对于汉字的笔画数量、笔画顺序、笔画名称等基础知识的掌握程度;以填空形式出现、有拼音提示的第94-110题沿用了2007年的题型,但不再有同音字提示,主要是考查受测者的汉字书写能力;第111-120题考察的能力比较全面,不仅包括汉字书写能力,还包括在给定的2个语篇中识别错字和选用并书写正确汉字的能力。

3.2014年以后汉字书写题型

新《汉字应用水平等级及测试大纲》2014年开始试行,2015年正式发布。新大纲实施后,样题如下:

例6根据注音填写正确的汉字:

_____(yú)论

例7填写正确的汉字,把成语等固定结构补充完整:

危言听

从样题可以看出,跟前一阶段相比,本阶段题型变化很大,删去了考查笔画、笔顺等基础知识的选择题,删去了在语段中找出并改正别字的填空题,仅有根据拼音写汉字这一种题型得以保留,不过在数量上有所改变(从17道增加到20道)。但本阶段的试题类型跟2007年完全相同,只是第一种形式中不再有同音词提示,而这个变化实际上2008年即已发生。

将汉字书写部分试题的改变与新大纲实行后其它部分发生的变化联系起来①,可以看出,新的汉字应用水平测试试题有一个非常明显的去语境化倾向,对汉字能力的考察更为直接。至于这种趋势有什么优缺点,对测试本身会带来什么影响,我们将另文详细讨论。

二、汉字应用水平测试书写试题对比分析

(一)汉字书写试题测试字字表归属情况对比

新旧大纲都明确规定了试题卷各部分的试题内容均按以下比例选取:70%选自《汉字应用水平测试字表》甲表;20%选自乙表;10%选自丙表。我们对2008-2015年汉字应用水平测试汉字书写部分所用测试字进行了统计②,具体如下:

表1 2008-2015年汉字试卷书写部分的汉字分属甲乙丙三表的数量

从上表可以看出,新大纲实施之前的试卷,书写部分,测试字的字表比例变动幅度较大,甲表字比例高时可达83.3%,最低仅为60.0%,总体比例多半偏高,有4份卷面达到25个;乙表字相对来说较为稳定,除2008A最低仅测了2个,其它年度均在20%上下波动;丙表字比例波动幅度也较大,高时达16.7%,低时为3.3%,总体比例多半偏少,有4个年度仅考了1个。

新大纲实施以后,汉字书写部分测试字分属三表的比例逐渐接近大纲规定,2015年测试字分数三表的比例与大纲规定完全相符。可见,汉字应用水平测试试卷的命题工作在逐渐朝着规范化、科学化的方向发展。

(二)汉字书写试题难度和区分度的计算

从历年报名情况来看,2012和2015年受测对象数量较多,因此,我们选择这两年的试卷作为代表,以此考察新大纲实施前后书写部分不同试题的难度和区分度。

黄光扬(2012)指出,对于只有答对与答错之分的二值记分题,可以用得分率/答对率P(答对的人数/被试人数)表示,得分率越高,题目越容易,得分率越低,题目越难。但这跟我们的观念不太一致,因此,下文我们用失分率Q来表示难度,失分率越高,则试题难度越大。考虑到我们的受测人数很多,所以采用极端分组法,将所有受测者的应试成绩排序,从高分组(前27%)和低分组(后27%)中各随机抽取300份左右,以此为依据来进行计算。具体公式如下:

Q=1-(PH+PL)/2

其中,PH是高分组的通过率,PL是低分组的通过率。Q值越大,题目越难。一般认为,就难度而言,难度指数在0.3~0.7之间比较合适,整份试卷的平均难度最好在0.5左右,高于0.7和低于0.3的试题不能太多。

同时,我们还采用高低分组法来计算每题的区分度。具体公式如下:

D=(PH-PL)

其中,D表示区分度,PH和PL依然表示高分组、低分组的通过率。就区分度而言,在0.4以上表明此题的区分度很好,0.3~0.39表明此题的区分度较好,0.2~0.29表明此题的区分度不太好需修改,0.19以下表明此题的区分度不好应予淘汰。简单地说,就是区分度指数高于0.3,试题便可以被接受。

综上,我们将难度指数在区间0.3~0.7的记为“+”,其它为“-”;区分度高于0.3记为“+”,其它为“-”。统计结果如下:

表2 2012年汉字书写部分试题的难度和区分度

表3 2015年汉字书写试题的难度和区分度

(三)汉字书写试题难度和区分度的对比分析

2012年和2015年的书写题有四种题型,具体如下:

(1)考察笔画数、笔顺和笔画名称的选择题(2012年,91-93题);

(2)根据拼音填写正确的汉字(2012年94-110题;2015年91-110题);

(3)找出并改正语段中的别字(2012年,111-120题);

(4)把成语等固定结构补充完整(2015年,111-120题)。

2012年书写题有(1)(2)(3)三种题型,2015年书写题有(2)(4)两种题型。下面依次分析这些题型的难度和区分度。

从表2中可以看出,旨在考察汉字笔画、笔顺等基础知识并以选择形式出现的第91-93题,无论是难度还是区分度,均低于理想数值。平均难度为0.15,过于简单,而区分度为0.14,低于淘汰值0.19。因此,新大纲实施以后去掉了这种题型,是合理的。

根据注音写汉字是2012和2015年共有的题型,2012年本题的难度和区别度的平均值分别为0.36和0.48,2015年难度和区别度的平均值分别为0.47和0.40,总的来说,比较合理。2012年中,所有小题区分度均高于0.3,但有4道试题难度低于0.3。涉及到的4个测试字中,3个甲表字,1个乙表字。难度较低的原因主要是因为测试字出现的词形或曾作为锚题反复出现(如第100题“并蒂莲”),或在日常使用中较为高频(如第97题“堕落”),因此,对于这类测试字,改变其出现环境,可以达到一定的陌生化效果,提高试题难度。2015年共有4道试题难度不在0.3~0.7区间之内,4道试题区分度低于0.3,但需要注意的是,难度的不合适(偏高或偏低)和区分度的不理想并不一定一一对应。第100题和108题的测试字均为甲级字,分别为“盎”和“捋”,这两道试题虽然难度不是很理想,但区别度都比较好;第104题测试字“趿”是丙表字,试题难度为0.86,区别度为0.21,两项指标均不太理想,建议删除或调整测试形式;第108题“袤”是乙表字,试题难度略高,但区别度很好。第94、95、97题难度较好,但区分度均低于0.3,测试字为“教唆”的“唆”、“侥幸”的“侥”、“向日葵”的“葵”,均为甲级字,总体来说是因为测试字或试题较容易而导致的区分度不理想。

在语段中找出别字并改正的题型仅出现于2012年,整题平均难度为0.43,区分度为0.44,比较合理。需要写出的10个正字中,难度不在0.3-0.7区间的共有3题,区别度低于0.3的也是3题;第111题“概”(误字为“慨”)和第117“帐”(误字为“账”)的难度和区别度均低于0.3;第12题“捭”(误字为“稗”)难度虽较大,但区分度很好;第114题“吆”(误字为“幺”)难度指标较好,但区分度不高。

把成语等固定结构补充完整是新大纲实施后重新启用的题型。2015年本题的整体难度是0.62,区别度是0.43。本题整体难度偏高,试题最低难度为0.36,第112、117、118、120题难度均高于0.7,测试字分别是“闪展腾挪”的“挪”、“积薪厝火”的“厝”、“蔫头耷脑”的“耷”和“如蚁附膻”的“膻”。区分度方面,主要是第112题和120题因难度过高导致区分度过低,其他试题区分度均为可接受范围。

需要注意的是,汉字应用水平测试书写部分在阅卷时,对书写规范要求比较严格。很多受测者并非不会写某个汉字,而是书写时不规范,因连笔导致笔画数量减少,笔形改变、笔画关系改变等,这些情况均会判定为书写错误。因此,通过卷面反映出来的书写能力应该略低于受测者实际的书写能力。此外,目前汉字应用水平测试的主要参测者来自高校师生和中小学教师,其汉字应用水平应该高于普通人群平均水平,如果扩大汉字应用水平测试的受众面,那么试题的难度和区分度可能会有所变化。

四、汉字应用水平测试书写试题难度影响因素分析

一般来说,试题的难度和区分度关系密切。试题太容易或太难,高水平的受测者和低水平的受测者所得分数没有差异,要么都会做,要么都不会做,题目不能提供关于受测者水平差异的信息,那么它的区分能力就很弱。综合分析2012年和2015年汉字应用水平测试书写试题,我们发现,汉字书写试题的难度主要受以下因素影响:

(一)汉字属性影响试题难度

1.字频

测试字的难度会受到汉字使用频率的影响。一般来说,常用字的书写难度要低于非常用字的书写难度。

2.字表

测试字属于甲级字表、乙级字表、丙级字表,在一定程度上影响了试题的难度,从总体倾向上来说,丙级字难于乙级字,乙级字难于甲级字,但也常有例外,这主要是因为试题的难度还会受到其他因素的影响。

3.读音特征

测试字为形声字,但声符表音不准确会增加汉字本身的难度。例如“趿”是形声字,但声符“及”与整字读音差别很大,声母、韵母、声调均不相同。而且,“趿”不是常用字,其读音很容易收到“及”“级”“极”等常用汉字的影响而误读。

4.形体特征

测试字本身笔画是否繁多,结构是否复杂且不可分析,分析出来的部件是否均为成字部件,是否含有易与其他部件混淆的部件、是否有易混淆的整字等等,这些形体上的特征会影响汉字本身的难度。一般来说,测试字如果以下某个方面比较突出,如笔画数量多、结构复杂且不可分析、分析出来的部件有不成字部件,有易混淆的部件或正字等,其自身难度就会增加。

(二)测试字出现语境影响试题难度

测试字本身的难度会影响试题的难度,测试字出现的语境(可以定义为试题中包含这个测试字的最小词语)是否常用,也会影响试题的难度。有些汉字,笔画不算多,结构也比较简单,但因其语境不常用,所以难度也较高。

例如,2015年第103题测试字为“一泓清水”的“泓”,甲表形声字,笔画不多,结构也比较简单,难度却达到0.50,超过了本题型的平均难度。我们对比了同题中的一个乙表字,第109题测试字“惬”,笔画数为11,其最小语境为“惬意”,本题难度为0.43。查询北京大学CCL语料库,发现在8000万现代汉语语料中,这两个测试字出现的语境有非常大的差别。“一泓清水”仅出现19例,“一泓”(“泓”作为量词)也不足220例,但“惬意”却出现了1078例。从上面的对比中,可以发现,测试字出现最小语境的使用频率影响到试题的难度。

(三)试题考察项目多少影响试题难度

汉字书写试题中,根据拼音填写汉字这种题型,考察的能力相对来说比较单一。但有些题型,不仅考察了受测者是否会正确书写汉字的能力,还考察了受测者的其它能力。

2008-2013年汉字应用水平测试试卷中出现的找出语段中的别字并改正的题型,要求受测者首先要找出用错的别字,再书写正确的汉字。受测者的错误可以分为两种:第一种是找出了别字,但未能正确书写;第二种是没有准确地找出别字,所以更谈不上书写正确了。根据第一种情况,可以判断受测者在该汉字的书写能力方面存在缺陷;但第二种情况中,受测者首先是在误字的应用上存在缺陷,其次是在正字的应用上存在缺陷,但正字的应用缺陷不一定是书写缺陷。因此,这一题,与其说是考察汉字书写能力,不如说是考察汉字综合应用能力。

把成语等结构补充完整这一题,与其说是考察汉字书写能力,不如说是考察对成语等固定结构的掌握能力。例如,2015年难度在0.7以上的4个汉字,分别是“膻”“挪”“厝”“耷”。这4个汉字中,有3个甲表字,仅“厝”一字属于丙表;4个汉字结构也相对简单,没有什么易混淆的部件,但因为没有拼音提示,受测者不熟悉这些成语,因此无法正确作答。汉字应用水平测试结束后,笔者采访了部分受测者,有不少人表示,4个成语中,“如蚁附膻”“积薪厝火”是从来没见过或用过的;在有拼音提示的前提下,综合运用百科知识,“挪”“耷”“膻”字均可以正确写出。还有受测者提到,本题型因没有拼音提示,故务必要保证所填汉字的唯一性。如试题“蔫头脑”,标准答案是“耷”,但汉语实际使用中也有“蔫头蔫脑”。它们在CCL语料库中出现的频率分别为13和9,没有本质区别。汉语中很多成语有不同形式,如“烟消雾散”也可以是“云消雾散”“烟消云散”等,这在出题的时候一定要注意。

五、汉字书写试题难度分析模型构建探索

上文中,我们根据2012和2015年的汉字应用水平测试试题和成绩计算了汉字书写部分试题的难度和区分度,分析了影响测试中汉字书写试题难度的各种因素,包括汉字本身的属性(字频、字表、读音、形体等)、测试字出现的语境、试题考察项目的单一性等等。

目前,如果想得到汉字应用水平测试试题的难度信息,需要借助于实测或试测的结果。但无论是实测还是试测,均受到客观条件的限制,且需投入大量的人力和物力。而汉字应用水平测试字表中收字5500个,这些测试字能以字、词、句等不同的测试形式出现,试题数量从理论上来说是无限多的,因此,很难通过测试的方法获得不同测试字、不同测试形式的所有试题的难度。在这种情况下,参照汉字应用水平测试已有的实测结果,根据影响汉字书写试题难度各影响因素的权重,构建一个汉字书写试题难度分析模型、对不同试题的难度进行预测显得尤为必要。

汉字书写试题的难度可以分为两种:一种是客观难度,一种是主观难度。前者依赖于大规模的实测或试测,后者可由研究者根据相关信息计算给出。相关信息包括人工标注的影响汉字书写试题难度的各种汉字属性、包含测试字的最小词语出现频率、已经测试过的试题难度系数等。模型主要用于调整各因素的权重,使人工判定的主观难度系数逐渐接近由测试结果计算得出的客观难度系数。

模型的建立是一个循环、调整的过程。第一步,研究者主观拟定影响试题难度的各因素所占的权重,计算已测试题的难度,此为主观难度;第二步,根据测试结果,计算测试试题的难度,此为客观难度;第三步,将主观难度和客观难度对比,调整影响试题难度的各因素所占的权重。这个过程反复进行,对比的范围不断扩大,在此基础上调整得出的各因素所占权重越来越合理,根据模型计算得出的主观难度将逐渐接近客观难度。

汉字书写试题难度分析模型的建立,对汉字应用水平测试其它部分试题难度的分析也有借鉴作用。当试题难度的计算不再依赖于大规模的测试时,题库建设、测试命题工作的科学性都将得到提高,这有利于促进汉字应用水平测试相关工作朝规范化的方向发展。

[注释]

①例如字音认读部分,原来题干为汉字,测试字在词中的读音,现在仅出现汉字;字形辨识部分原来有10题的题干是以语段的形式出现,现在均以词语的形式出现。

②因没有查阅到2007年的试卷,故未考察本年度的汉字书写部分。2018年有6张平行测试卷,仅随机抽取其中2份进行统计。B卷汉字书写部分有一个表外字,是“曜”,所以合计中比例低于100%

猜你喜欢
受测者区分度题型
离散型随机变量常考题型及解法
常见数列创新题型归纳
巧妙构造函数 破解三类题型
怒气冲冲 或因睡不好
投射技术在人才选拔中的应用解析
图形推理测量指标相关性考察*
随机抽样题型“晒一晒”
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
英语阅读测试题的设计