ExamQA的构建及其在考试统计与质量分析中的应用

姚秋阳+吴发明+何芋岐+杨建文+聂绪强

摘要：考试统计和质量分析是教学过程中规范化管理的不可缺少的环节，其分析结论可为教学质量管理、教学研究、教学革新提供依据。当前的考试仍以纸质考试形式为主，考试成绩的统计和考试质量分析等工作常以人工或辅以Microsoft Excel等办公软件进行，耗时费力，且错误率较高。目前相关开源软件极其有限。本工作利用Perl语言建立了一款名为ExamQA的工具，可以快速、自动化完成成绩统计和考试质量分析，为考试管理提供方便节约时间。

关键词：ExamQA；考试统计；质量分析；Perl

中图分类号：TP391.1 文献标识码：A 文章编号：1009-3044（2017）28-0062-03

Abstract： Both of the statistical analysis and quality evaluation of examination results is important work for the management of examination. Their conclusions provide the theoretical basis for teaching evaluation， research and reform. Currently， most of the exam is proceed in paper format. The statistical analysis and quality evaluation for examination is often carried out manually or supported by Microsoft Excel software， which is time-consuming and with high error rate. However， current tools are limited. Here we successfully built a tool named ExamQA in Perl language， by which the job can be done efficiently and auto-rapidly.

Key words： ExamQA； statistical analysis； quality evaluation； Perl

考试统计和质量分析是课程考试、技能考试、执业资格考试等各种考试中的关键环节，相关分析结论可为教学质量管理、教学革新、知识技能评估、选拔人才提供理论依据。尤其是在高等学校、中学等日常教学管理中，考试统计和质量分析是教学过程的规范化管理中不可缺少的环节。当前的考试仍以纸质考试形式为主，考试的成绩统计和考试质量分析等工作常以人工统计或辅以Microsoft Excel进行，因而耗时费力，且错误率较高。随着科技发展，网络考试也开始得到应用。网络考试方便快捷，但是也存在一些问题，如服务器或网路不稳定、停电、学生操作失误、空间或计算机数量不足等因素难以大规模应用。网络考试无需改卷，相关成绩统计可自动化完成，但是网络考试系统也缺乏系统化、个性化的考试质量分析。目前，很少有开源、免费的软件为考试统计和质量分析提供一站式分析服务。本工作建立利用“实用报表提取语言”（Practical Extraction and Report Language，Perl）建立了一款ExamQA（Quality Analysis for Examination）工具，可以快速自动完成成绩统计和考试质量分析，能对每一道试题、每一份试卷、每一个班级的总体质量做出科学的分析和评价。

1 材料与方法

1.1 ExamQA的下载与要求

计算机语言：Perl。

使用环境：windows和linux均可。

其它要求：Statistics：：Descriptive，POSIX為perl模块；Txt和Microsoft Excell常用办公软件作为辅助。

下载地址：ExamQA工具包及其使用详细说明可在遵义医学院药学院生药学教研室网站下载http：//yxy.zmc.edu.cn/info/10298/87202.htm。

1.2 数据案例

本文以《药用植物学与生药学》课程的考试成绩数据为例对ExamQA的使用和功能进行示范和说明，相关数据可以随该软件一同下载。

1.3 考试统计和质量分析的理论方案

使用ExamQA完成考试统计和质量分析的主要项目包括：（1）常规的成绩统计；（2）试卷的信度；（3）试题和试卷的难度；（4）试题的区分度。

常规的成绩统计：使用Perl语言可快速统计出考试的基本信息，如试卷题目数量（大题、小题分别列出），考生信息（应到人数、实到人数、缺考人数）、平均分、标准差、最高分、最低分、及格人数、不及格人数，及格率，优秀率，名次，成绩分布（10个分数段）。要完成成绩统计需要将每一小题的原始数据按照一定格式进行组织（如表1），可先将原始数据输入Microsoft Excell文档，再复制到txt文档作为输入文档。

质量分析之难度（Difficulty）：难度指应试者解答试题的难易程度，为避免主客观试题计算难度的差异，常采用答错率或正确率来度量[1-2]。ExamQA使用答错率进行衡量，可在整份试卷、各个大题、每个小题三个不同水平提供难度分析。某一题的难度Pi =1 — xi/w，Pi 为难度系数；xi 为考生在某试题的平均得分；w为某试题的分值（即满分）。整份试卷平均难度的计算公式；P=1 — X/W，其中，P为整份试卷的平均难度，W为试卷的满分，X为所有考生卷面成绩的平均得分。难度可根据相应的阈值将难度分为多个等级，按照课程考试标准，本文使用的标准为：P>0.7为超难，0.4

质量分析之信度（reliability）：信度指试卷的一致性程度，是用来衡量考试质量的稳定性和可靠性的一个重要指标。信度的计算方法很多，对于教学考试或测验，分半法（split half reliability）最为常用。ExamQA将试卷每一大题都按奇偶题号把试题分为两部分（如某一大题有5道小题，则将最后一题的分值分为2份），计算每个考生在两半试题中的总分数，然后利用皮尔森积差相关方程（Pearsons product moment correlation）求出这两半试题得分的相关系数rho，再用斯皮尔曼-布朗公式（Spearman-Brown prediction formula）校正，即得整个试卷的信度系数。

质量分析之区分度（discrimination）：区分度指试卷测验项目对考生实际水平的区分程度或鉴别能力。对于一般教学测验或科目考试而言，就是所出的试卷能否将不同层次的学生成绩拉开档次，能否鉴别学生的理论和技能水平差异。ExamQA采用极端分组方法计算区分度，即将考生成绩按总分高低排序后从高、低两端各抽取27%的人数组成高分组、低分组，用以下公式计算两组间区分度。本文将区分度根据下列标准分为以下等级：0.4≤D为优，0.3≤D<0.4为良，0.2≤D<0.3为合格，D<0.2为差；D≤0为劣。

2 结果与讨论

2.1 ExamQA的实现与操作

ExamQA工具主要由6个Perl脚本构成，其主要应用流程见图1，各分析项目及其理论基础见上述方法部分。ExamQA工具利用Perl语言编写，使用前需要在系统中安装perl解释器。该解释器是开源的，perl程序包及其模块的安装都有相关使用说明，操作十分简便。ExamQA在linux和windows系统下都可以运行，可以广泛使用。在window系统需要在开始菜单栏中进入Dos命令窗口，按照相关说明运行命令即可快速获得相应的分析结果。按照考试管理规范，试卷分数统一标以正分，除选择题、是非题外，要求标出各小题或各知识点的得分，因此可以根据评卷情况输入每一小题的得分。ExamQA的原始输入文件只需要按照表1格式组织便可得到一系列的考试统计和质量分析结果，操作简便易行。只要把每一道题的结果都按照此格式录入txt文档作为輸入文件，ExamQA可以应用于其它各种形式的考试，包括网络考试。

2.2 输出结果

1） 卷面分值

表1中的原始输入文件经过ExamQA的运行计算首先自动生成表2的结果。由于纸质形式的考试和成绩登记上报都是人工操作过程，根据笔者经验通常有5%左右的错误率。而表2提供的结果可以用于进行卷面成绩核对，很容易在卷面总分、大题、小题三个层次发现人为错误。该核对步骤一方面避免考试管理责任事故的发生，另一方面也保证了后续考试统计与分析的科学性和有效性。

2） 常规统计

常规统计项目主要包括试卷题目数量（大题、小题分别列出），考生信息（应到人数、实到人数、缺考人数）、平均分、标准差、最高分、最低分、及格人数、不及格人数，及格率，优秀率，名次，成绩分布（10个分数段）。这些统计项目主要用于个人、班级、学校水平的比较，以便于不同层次的主体发现自身在知识技能的差距和不足。

3） 考试信度、难度、区分度

试卷的质量常用信度、难度、区分度和效度四个指标进行评估。由于效度常使用逻辑分析法进行定性分析，目前对其进行定量分析仍不完善[2]，因此ExamQA暂时不提供效度的分析。信度指标表示考试的整体水平上的稳定性和一致性，ExamQA使用分半法进行计算。该步骤的皮尔森积差相关法运算是最难实现的步骤之一，这一步骤的结果得到了第三方软件R软件cor.test（a，b，method="pearson"的验证。ExamQA可在整份试卷、各大题、各小题三个层次上提供难度、区分度分析。由于每一小题可看作是试卷组成的最小组成单位，这样ExamQA可将质量分析具体至试卷的最小元素，可以评估每个试题的出题质量和教学效果。当前，大多数学校或教研室都积极开展试题库建设，ExamQA提供的难度、区分度信息可以大大扩展试题库的功能。例如，一方面，可将已使用过的试题的难度、区分度纳入试题的选入标准，利用难度合适、区分度好的题目建立某一科目的试题核心数据库；另一方面，在命题过程中利用试题库的难度、区分度信息抽取合适的题目进行命题，这样可以根据情况需要随时调整考试难易程度，保证考试的有效性和稳定性。

4） 高难度、低区分度题目的筛选

ExamQA可依据特定标准筛选出高难度和低区分度的题目：超难等级的题，P>0.7；区分度差等的题为D<0.2；区分度劣等的题为D≤0。根据分析，高难度和低区分度的试题通常有两大原因：一是题目出现错漏，需要修改；二是老师在教学过程中对相关知识点没有讲解到位，或学生未充分理解掌握；三是题目超纲，学生答题纯属猜测。以ExamQA附带的案例数据集为例，第4.1题为“名词解释—单身复叶”，该题难度值为0.814，区分度为0.11，对本次考生而言为超难、差等区分度的题目。进一步分析其中原因我们认为：题目本身没有问题，课本有相关内容，只是属于了解内容；对于大部分学生都答错，说明学生尚未理解和重视该知识点。这些分析帮助指导教师在下学期的教学过程中注意加强该知识点的讲授。

2.3 优缺点

目前有报道的考试分析系统有基于数据库式[3]、Microsoft Excel[2][4]、Internet的软件[5]以及一款名为Examanls软件[6]。这些软件都并未完全公开或无法自由下载，与它们相比，ExamQA工具最大的优势是完全公开并免费下载使用。其次，在其他方面ExamQA也有较强的优势，可以高通量、快速、自动化完成成绩统计和考试质量分析。输入原始文件后，ExamQA可在3秒内获得全部结果。需要说明的是，ExamQA的原始输入文件需要按照表1格式每一试题的分数，该步骤较为耗时，以附带的数据为例（考试人数为70人，试题总数为54小题），当2人进行配合输入时，需要1.5小时。相比较而言，ExamQA仍然比有Microsoft Excell辅助的统计分析要方便快捷多倍。此外，ExamQA利用Perl语言编制，由于编程语言的特点，目前尚不能直接形成可视化的图形结果。但是ExamQA提供的数据可以通过其它软件如Microsoft Excel，R等进行图形化。endprint

随着网络技术、数据库技术等的发展，近十多年无纸化网络考试兴起。值得一提的是，虽然基于Microsoft Visual Basic[7]，ASP.NET[7-8]、Java EE[9]等技术的网上考试系统被陆续报道，但是这些系统都侧重于考试过程本身，如利用试题库自动组卷、网上考試、自动评卷、成绩查询等功能，缺乏对考试数据的深入挖掘和考试质量评价。黄海[10]开发出了一款基于人工智能可以进行考试质量评价的软件，进一步扩展了网上考试系统功能。虽然ExamQA与该人工智能考试系统相比在功能方面没有其全面，但是ExamQA专注于成绩统计和试卷质量评价，且轻巧简便，可以应用于包括网络考试在内的各种形式的考试。

3 结论

传统考试分析与总结常缺少对试卷质量的评价。本工作建立利用Perl语言根据科学的统计理论与方法建立了一款名为ExamQA的工具，可以快速、自动化完成成绩统计和考试质量分析。本工具的相关分析结论可为学生的自主学习管理、教师的教学研究与教学革新提供理论依据。除常规科目考试外，该工具也可以应用于资格能力测试的试题分析、试题库建设、网络考试分析等。

参考文献：

[1] Yuan W， Deng C， Zhu H，et al. The Statistical Analysis and Evaluation of Examination Results of Materials Research Methods Course[J]. Creative Education， 2012（ 3）：162-164.

[2] 李东斌，刘发明，刘于江. 考试质量量化分析理论及软件实现[J]. 赣南师范学院学报，2003（3）：66-69.

[3] 吴荣梅，李大生. 一种考试分析管理系统计算机软件的开发[J]. 教学研究，1998（03）：140-142.

[4] 郭娜，姜凤良，刘义良，等. 医学院校基于Excel考试分析系统的设计与应用[J]. 基础医学教育，2011（2）：143-146.

[5] 吕庆莉，陈桦. 基于Internet的考试分析评估系统及成绩统计分析的实现[J]. 微电子学与计算机，2006（11）：102-108.

[6] 何明高，吴福根. 对试题和试卷质量的分析——考试质量分析专用软件介绍[J]. 教育探索，2001（2）：31-32.

[7] 邓绯. 无纸化考试系统研究与设计[D].成都：西南交通大学，2005.

[8] 林栩. 基于ASP.NET在线考试系统设计与实现[D].成都：电子科技大学，2013.

[9] 吴清. 在线考试系统的设计与实现[D].西安：陕西师范大学，2014.

[10] 王添财. 基于Java EE的在线考试系统的设计与实现[D].广州：华南理工大学，2014.

[11] 黄海. 基于人工智能的考试系统研究与实现[D].成都：西南交通大学，2015.endprint