在线写作自动评改系统在高职英语写作教学中的反馈效度研究

王露芳

(广州工程技术职业学院，广州，510075)



在线写作自动评改系统在高职英语写作教学中的反馈效度研究

王露芳

(广州工程技术职业学院，广州，510075)

摘要:随着教育事业的进步，高职教育得到了很大的发展。其中英语写作教学作为高职英语教学中的重要组成部分，对于高职学生的培养有着至关重要的作用。批改以及反馈作为英语写作教学中的一个关键环节，对于高职学生英语写作能力的提升有着不可忽视的作用。而当前，高职学校英语教师师资力量缺乏以及英语写作教学相对落后成为了高职教育中亟待解决的问题。在线写作自动评改系统的应用是英语写作教学中的创新之举，因此本文结合理论与实际教学经验，对在线写作自动评改系统在高职英语写作教学中的反馈效度进行研究分析，旨在促进英语写作教学效率的进一步提升。

关键词:在线写作自动评改系统，句酷批改网，高职英语写作教学，反馈，效度

[doi编码] 10.3969/j.issn.1674-8921.2016.01.007

1. 引言

1.1研究背景与意义

根据调查表明，大多数高职院校的学生都觉得英语写作有一定的难度，而导致学生写作能力差的主要原因在写作训练不足、教师指导反馈不及时等。在英语写作教学中，仅靠教师逐份的批改作文，不仅工作量大，而且反馈周期长，所以要全面了解学生的英语写作情况是一项难度较大且复杂的任务。而大数据的应用可以做到轻松统计、准确测评、及时反馈，尤其是句酷批改网为广大师生搭建了一个非常高效的写作平台，借助系统的技术优势，将反馈和自动评分相结合的实时数据创造性地应用于写作教学过程中，融入到现有的写作教学体系，构建了一个切实有效的英语写作教学模式。句酷批改网等在线自动评改系统的应用有效地激发了高职学生英语写作的兴趣，督促学生自主写作，使学生的英语写作水平得到了很大的提升。本文结合实践经验与调查，对在线写作自动评改系统在高职英语写作教学中的应用进行调查研究，并提出几点应用建议，以期对改进英语教学方法有现实意义。

1.2国内外研究现状

目前，国外研发使用的在线自动评改系统达到数十种，其中以PEG、IEA以及E-rater应用最多。这几种系统的侧重点各有不同，其中PEG注重的是语言形式，而IEA注重的是作文内容，但是E-rater注重的是内容以及形式的结合。所以从某种程度而言，这些系统更加适合于母语学习者，因此在我们国家的适用性并不强。

在我国，关于写作网络教学的研究并不丰富，尤其是高职院校大学生英语写作网络教学的实证研究非常少。在国内，大都使用网络教学平台是新视野网络学习平台、蓝鸽校园网语言学科平台等。这些教学平台的研究与应用，给我国英语写作教学提供了一条有利的途径。

1.3研究内容与目标

本文主要以“句酷批改网”在英语教学中的实际运用为例，对在线写作自动评改系统在高职英语写作教学中的反馈效度进行研究分析。本研究主要有三个主体部分：

第一部分是对在线写作自动评改系统的技术特点以及应用进行分析，旨在对相关的理论知识有较为全面的掌握；第二部分通过调查研究对在线写作自动评改系统有效性进行分析；第三部分是针对在线评改系统的不足之处提出几点针对性的措施。

2. 在线写作自动评改系统的技术特点及其应用

2.1自动评改系统的涵义

本文主要以句酷批改网为例，因此对句酷批改网做以下简介：

句酷批改网是一种基于云计算技术和语料库的英语作文自动在线批改系统。句酷批改网通过将学生的作文和语料库资料进行对比，通过科学的算法得出相应的分数，并对学生作文进行点评。句酷批改网的主要作用在于给学生提供了一个新的写作环境，并且对学生作文及时地给出诊断性反馈和评分，在一定程度上激发了学生的写作兴趣以及写作能力，也进一步提高了英语教师的教学效率。句酷批改网从文章结构、词汇、内容、句子四个方面进行句酷评分、句酷提示以及句酷体检报告(石晓玲2012)。

同时，句酷批改网在对写作内容按句点评的同时，分别从文章结构、词汇、内容、句子四个方面进行共性点评以及薄弱点分析。所以，自动评改系统的应用，对于高职写作教与学的效率的提升有非常积极的意义(赵丹2015)。

2.2自动评改系统的特点

目前，国内应用广泛的句酷批改网，在激发学生写作兴趣的同时，有效地降低了教师的批改工作量，对于减轻学生以及教师的负担有积极的作用。因此，针对句酷批改网这一自动评改系统，将其特点总结如下：

(1) 使用便捷

在线自动评改系统操作比较简单，教师只需要登录评改系统，布置作文并注明写作要求即可，系统会自动生成作文号。而学生只需要登录学生账户页面，然后搜索作文号，完成教师布置的英语作文题目后提交即可(张艳红2012)。

(2)反馈及时

在线自动评改系统在学生提交作文后能够及时对其进行分析，自动识别语法、词汇、词汇搭配等易出现的错误，及时地给出评改分数以及修改建议。

(3)按句点评

在线自动评改系统能够对作文内容常见的词汇、语法搭配等错误进行检测之外，还能逐句将错误类型进行分类，并为学生提供知识点拓展以及列举参考等，从而为学生提供更加全面的指导，有助于学生自主学习效率的提升(李艳2014)。

(4)抄袭检测

以句酷批改网为例，在线自动评改系统在学生提交作文之后，会以句子作为检测单位，检测作文内容是否与语料库、互联网、其他学生的写作内容重复，以此为教师提供教学参考。

(5)进度报告

在线自动评改系统为教师和学生提供进度报告，能有效地见证写作成长过程。一方面，进度报告不仅对学生写作的薄弱环节、知识点掌握情况有全面的分析，同时也有利于学校了解教师的教学情况。另一方面，在线自动评改系统为教师的教学进度安排提供了重要的参考依据(乔洪亮 2014)。

2.3在线写作自动评改系统的应用

我校作为教育部首批教育信息化试点学校，自主研发校内CRP系统，给教学、科研都提供了极其便利的条件。但自动句酷批改网推广以来，我校将其积极地融入到高职英语教学当中。我校外语与商贸系现有实训室及电脑，完全满足句酷批改系统进行英语作文写作教学需求。因此，句酷批改网在很大程度上促进了我校的英语教学质量(王莉2015)。

但是，句酷批改网在应用当中，也存在一系列值得思考的问题。比如，句酷批改网的评改与教师评改的差距较大等。所以，对在线自动评改系统进行深入的研究调查，对于促进该系统的应用以及教学效率的提升是十分必要的。

3. 在线写作自动评改系统有效性的调查研究

3.1研究问题

以句酷批改网为例，对在线写作自动评改系统在高职英语写作教学中的反馈效度进行研究。因此，本文主要研究的问题有以下几点：

其一，高职学生在英语写作中的主要问题；

其二，高职学生对在线自动评改系统的认同度；

其三，教师评改与系统评改的区别；

其四，在线自动评改系统应用中存在的问题，有哪些改进建议。

3.2调查对象

本次实验的实验对象为2013级高职学生。为了能够更加准确地反映研究情况，在确定研究对象的过程中，充分考虑了学生写作能力、专业特点。最终确定了英语专业学生50人，非英语专业50人，共100人。这100名学生每周在在线自动评改系统句酷网上提交一篇英语作文，由系统给出评分与点评。

3.3调查方法

(1) 问卷调查

进行了十次作文训练后接受问卷调查，调查问卷的内容主要有五个方面：英语写作目的、英语写作水平的认知；句酷批改网使用情况；对作文中错误如何纠正的看法；对句酷批改网的看法以及评改看法；在线评改系统的改进建议(杨晓琼2015)。

(2) 访谈法

为了更加客观地反映调查内容的质量，本研究对部分教师以及学生进行了单独访谈与记录。主要是对在线评改系统使用前后的具体情况进行分析。

(3) 抽样调查法

在英语专业以及非英语专业学生中各抽取作文样本五篇，由任课老师人工批改以及在线自动评改系统进行批改。然后对各个方面进行对比分析。

3.4调查结果

3.4.1问卷调查与访谈结果

问卷的有效性为100%。经过对调查结果的相关资料进行归纳总结后，其结果分析如下：

(1) 写作认知分析

通过问卷的有效整理，大部分高职学生都认为自己的英语写作水平很一般。学生对此有不同的看法:41.6%的高职学生觉得自己英语写作思维能力较差，往往表达含糊；37.4%的高职学生觉得自己前后表达不连贯，表述水平低；67.3%的高职学生认为自己最容易犯错的地方就是语法；62.8%的高职学生认为自己词汇量不足，往往用词不当；55.7%的高职学生认为写作句型太单一。

综上，高职学生英语写作中有待提升的是语法、词汇以及句型等方面的知识(侯芬2015)。

(2) 句酷批改网使用情况

在调查中，85%以上的高职学生希望通过句酷网来提高自己的英语写作水平，而且90%以上的人对此抱有极大的信心。同时，也有65%左右的高职学生，只有在老师的要求下才认真地使用批改网。但是只有少数学生会认真对待批改网的批改结果，也就是仅25%左右的高职学生会根据批改意见进行修改或者重新写作。

(3) 对如何纠正错误的看法

在回答喜欢教师书面批改还是面批的问题当中，绝大部分高职学生喜欢教师面批，而其中英语专业要多于非英语专业。在赞同教师面批的学生当中，有58.8%的学生非常认可教师在用词以及语法上做出了非常细致的点评。调查得知，对于基础较差的学生，教师还特意在旁边做出了修改参考。同时，在这一问题的调查中，有20%左右的学生比较赞同老师的等级评分制(周一书2013)。

(4) 句酷批改网的反馈效度

首先，大部分学生表示，对批改网最为认同的是在线评改迅速及时，能够在最短的时间内了解自己的写作情况以及评改分数。其次，高职学生认为，句酷批改网的另一优势是能够“按句点评”，这样能够最大限度地了解自己写作的薄弱环节。但与此同时，部分高职学生对于句酷网提供的词汇量拓展抱有不赞同看法，这部分学生认为逐句批改虽然提供了大量的词汇量拓展，但是缺乏系统性，且很大程度上忽视了写作思维的指导。综上分析，有48%的高职学生非常喜欢在线自动评改系统，42%的学生能够接受自动评改系统进行写作点评，但也有10%的学生并不太喜欢在线自动评改系统的评改方式。通过调查，在线自动评改系统对于高职学生的语法以及词汇帮助有明显效果(栾新华2012)。

3.4.2抽样调查分析结果

本文在研究对象中选取了十篇作文样本进行人工批改以及在线网改的对比。首先，研究过程中对十篇作文样本进行了具体的统计和分析。分析的参数标准为：作文的主体思想是否明确；文章结构是否合理；段落连贯性是否良好；文中语法是否使用准确；句型结构是都恰当；语法搭配是否合理贴切；词语拼写是否正确等。根据错误的程度以及性质不同进行加权计分。本文统计结果如下(陈凤2014)：

内容批改网反馈(N=10)教师反馈(N=10)思想(1=1%)0%17%篇章(1=1%)6%34%连贯性(1=1%)11%36%语法(3=1%)93%87%句型(3=1%)64%56%词法(3=1%)89%82%规范(5=1%)0%75%

其次，本研究对抽样调查的样本进行了定性分析。分析结果表明：

第一，在线自动评改系统会提供大量的近义词辨析，但是教师评改并不注重这类信息的提供；

第二，教师的评改意见更加具有针对性。在线自动评改系统评改内容比较宽泛，大都为提示性，不够具体，但是教师的评改意见比较直观明了，不仅针对性地标出各种错误，而且能直接将错误点改正过来；

第三，教师评改更具灵活性。在线自动评改系统评改中往往保持原有句型，而教师评改的句型多样，更有助于学生的句型拓展。

总而言之，通过调查表明，大部分学生倾向于教师的评改。但是随着教师任务量的增多，很难实现这一需求。在线自动评改系统因其海量的词库、语库空间，能够对高职学生的英文作文做出比较全面的评改以及及时的反馈。所以大多数学生喜欢使用在线自动评改系统，并且能够根据点评意见修改作文。所以，在线自动评改系统在很大程度上起到了促进高职学生英语写作能力提升的作用(余杏2014)。

但是调查研究表明，在线自动评改系统也存在许多需要改进的地方。比如，在线评改主要是集中语法以及词汇的点评，但是忽视写作思维的指导。所以对于作文质量以及作文水平很难做出非常客观与准确的评价。因为写作水平不仅仅依靠语法以及用词来判断，同时与写作的流畅性、文章的措辞、句子结构的复杂性以及文章的构思等等都有非常密切的关联(李红英2011)。

4. 在线作文自动评价系统教学建议

4.1提高自动评改系统信度

随着高职英语教育水平的提升，在线自动评改系统的应用也更加广泛。因此对在线评改系统进行不断改进与创新是十分必要的。所以要在充分了解各在线自动评改系统的基础上，结合信息技术的应用，加大在线自动评改系统的智能化，以此提高评改系统的可信度。

同时，加大在线自动评改系统的研发力度，研发构建新的在线自动评改系统，从语言处理等技术上提升评改系统对于英语作文思维、内容、结构、语法以及词汇等方面的点评，对不同评价方面做出单个与系统性的评分。

4.2构建多元化的反馈机制

在高职英语写作教学中构建多元化的反馈机制，是创新教学的重要举措。在教学中建立自动评改系统反馈、教师反馈、同伴反馈等多元化的反馈机制来弥补原来的单一反馈模式，不仅是在线自动评改系统发展的趋势，同时也是英语写作教学的创新之举。根据研究表明，同伴反馈在英语写作评改中有着非常重要的作用。同伴反馈也就是同学之间相互批改作文，不仅有利于提高高职学生英语学习的兴趣，同时也有助于学生自主地请教、质疑、查阅资料等行为的养成。总而言之，多元化的反馈机制更能够体现写作评改的公正客观，也更有助于学生英语写作能力的提升。

4.3进行线上线下结合指导

通过上述研究表明，不少学生只有在老师的监督下才能够主动完成在线自动评改系统中布置的写作任务。因此，对于主动性较差的学生，教师应进行线上线下相结合的指导。教师可以采取抽查的方法，对学生的作文进行批改，使线上线下相结合，对成绩较差的学生给予更多的指导，从而提高英语写作教学效率。

5. 结语

高职英语教学的发展，在线自动评改系统也得到了进一步的研究与应用。通过调查表明，在线自动评改系统既有其存在的局限性，也有其存在的优势。在线自动评改系统虽然存在评改的不足，但是它不仅符合高职英语教学的要求，同时也顺应了以现代信息技术为依托的教学发展潮流。一直以来，我国教育倡导自主学习，但是国内仍然有一部分高职学校更加注重课堂讲解，所以英语写作缺乏实际有效的训练。随着计算机技术的普及，给这种教学模式的发展带来了新的指导，尤其是在线自动评改系统的应用，很大程度上改变了英语写作教学模式。在线自动评改系统不仅能够客观地对英语作文做出评价，同时也能够给学生提供个性化的指导与点评，并且反馈及时，使学生能够在最短的时间内接受评改信息并做出修改，对于学生学习效率的提升有非常重要的意义。

本文通过对100名学生进行“在线写作自动评改系统在高职英语写作教学中的反馈”调查，较为全面地总结了高职学生对于自身写作水平的认知情况以及在线自动评改系统的使用情况，并针对在线自动评改系统存在的不足提出了几点针对性的建议。从课题研究角度而言，本文对于在线自动评改系统的改进以及英语教学效率的提升有非常现实的意义。当然，本文调研也存在许多不足之处，比如调查范围相对较窄、调查内容有待深化等等。

参考文献

陈凤. 2014.一项关于句酷批改网在大学英语写作教学中的应用研究[J].东华理工大学学报(社会科学版)(2):173-7.

侯芬. 2015.在线写作自动评估系统在大学英语写作教学中的应用——以句酷批改网为例[J].中国教育信息化(4):24-27.

李红英. 2011.我国高校多元化英语作文评改方式研究[J].浙江海洋学院学报(人文科学版)(4):66-69.

李艳. 2014.教师反馈与自动反馈对非英语专业学生写作的影响对比[D].中国海洋大学.

栾新华. 2012.在线写作自动评价系统对大学生英语写作能力的影响[D].延边大学.

乔洪亮. 2014.基于写作自动评价系统的大学英语写作教学研究[D].东北石油大学.

张艳红. 2012.大学英语写作教学的动态评价研究[D].上海外国语大学.

石晓玲. 2012.在线写作自动评改系统在大学英语写作教学中的应用研究——以句酷批改网为例[J].现代教育技术(10)：67-71.

王莉. 2015.在线写作自动评价系统应用研究[J].安阳工学院学报(1):100-3.

杨晓琼、戴运财.2015.基于批改网的大学英语自主写作教学模式实践研究[J].外语电化教学(2):17-23.

余杏. 2014.高职英语写作与测试训练系统设计与实现[D].吉林大学.

赵丹. 2015.高职英语写作中教师反馈与在线自动反馈的对比研究[D].山东师范大学.

周一书. 2013.大学英语写作反馈方式的对比研究[J].外语界(3):87-96.

(责任编辑杨丽)

[中图分类号]H319

[文献标识码]A

[文章编号]1674-8921-(2016)01-0053-04

作者简介：王露芳，广州工程技术职业学院外语与商贸系副教授。主要研究方向为英语教育。电子邮箱:380899887@qq.com

*本文是教育部职业院校外语类专业教学指导委员会“基于大数据的高职英语写作教学创新研究”(编号GZGZ5414-45)课题的阶段性成果。