人工智能视域下应用型院校英语写作多元反馈模式构建
——基于 iWrite2.0写作自动评阅系统的实证研究

祁 晶

(运城学院 外语系,山西 运城 044000)

写作反馈是英语写作教学任务环节中不可或缺的一部分,对于提高学生的写作水平起到至关重要的作用。英语中的写作反馈是对写作者所提供的文本内容进行建设性判断和评估,对写作者未来写作以及写作过程发展进行指向性评价[1]。近几年关于英语写作反馈研究的重点主要集中在反馈者、文本修改以及写作质量上[2],即不同的反馈者如何提高反馈质量以达到期望的文本修改水平。随着人工智能技术的发展,越来越多的智能技术被应用到自然语言处理以及教学领域,特别是写作自动评阅系统AWE(Automated Writing Evaluation)在二语写作教学过程中的应用,比如批改网、句酷网、iWrite等,提高了二语写作反馈的效率。写作自动评阅系统的出现也为构建写作多元反馈模式提供了可能。该研究旨在对应用型院校大学生英语写作反馈模式的现状进行调研,发现目前大学英语写作反馈中的问题,并从人工智能视角(以iWrite系统为研究平台)构建符合应用型院校大学生学习能力发展的英语写作多元反馈模式。

1 研究现状

1.1 国外研究

反馈者针对学习者在任务进行过程中的表现提供相应的改良信息,从而完善该学习任务的过程就是反馈。在二语写作反馈相关研究中,写作反馈有效性一直是近些年所关注的重点议题[3]。改良信息形式可以是分数、等级、口头评价、书面评价或建议。通过开放性的写作任务(比如论文和报告)来促进二语的学习本身就充满复杂性和挑战性,需要写作者有较强的动机去识别和利用反馈中的有效信息。在二语写作中,写作反馈主要来自教师反馈、同伴互评和机器反馈,它对于培养学生的写作能力、写作动机以及写作潜力起着重要作用。Evans[4]就发现由于调研过程中的各种影响因子,比如反馈设计、学生参与度、任务类型等,都导致对于写作反馈的研究结果多样化。Vinagre &Muoz[5]则将机器反馈作用纳入研究,发现通过计算机接收书面反馈的学习者比未接收反馈的学习者语言准确度显著提高。Elola&Oskoz[6]在结合机器反馈的写作案例研究中发现,教师对于学习者的需求以及个性的了解也会影响反馈的方式、工具以及频次。学习者对于文本的形式倾向于接受书面反馈,而对于内容和结构则更倾向于接受口头反馈。一些学者认为写作反馈对写作者的认知、动机以及情感会产生一定的影响,而且通过线性角度分析写作者写作能力和写作反馈的关系,发现写作反馈对于写作者能力的提升具有正向有效性[7]。目前也有部分学者对不同写作反馈方式的有效性进行了相关对比研究,但结果并不一致。

1.2 国内研究

国内关于英语写作多来源反馈领域的研究整体呈上升趋势,并在2019年达到了研究高峰期[8]。随着多媒体技术的快速发展,越来越多的学者开始将机器评阅作为研究中的考量因素。蔡基刚[9]将在线同伴反馈纳入自动评分系统,发现该模式引导下的学生写作兴趣显著提高。学者们也开始逐步聚焦于将多种反馈模式进行对比研究,探究其对于学生英语写作水平能力的影响。杨丽娟,杨曼君,张阳[10]就将三种不同来源反馈模式进行对比研究,发现教师反馈与同伴反馈相结合的反馈模式,对于学生在写作词汇、结构和内容方面的影响最为显著。黄静,张文霞[11]就对多种来源反馈方式对中国大学生的作文修改所产生的影响进行了相关实证研究,发现多种方式结合的写作反馈极大提高了学生的学习主动性。而李亦华[12]则从动态理论视角出发,对比研究不同来源反馈方式对于学生的写作水平是否有正向的影响。实验结果也表明,教师干预下的多种反馈方式更能提高学生的写作水平,但同时也给学生带来一定的焦虑感。对于写作水平变化的衡量标准也逐渐聚焦于文本的复杂度、流利度以及学生的投入度。徐鹰和韩芬[13]就从行为投入的视角对学生对于自动作文评语系统反馈过程中的投入度进行实证研究,实验结果显示学生对于自动作文评阅系统的行为投入呈现非线性的递增趋势,认知投入比较稳定,而情感投入则从积极转为消极。王慧慧[14]也在对比不同来源反馈模式的研究中发现实验周期和学生专业背景对写作反馈有效性也有一定的影响。所以无论是对多种不同来源反馈的对比分析,还是对于不同维度学习者投入度的分析,都缺少对反馈效果以及影响因素的分析,没有提出或构建符合当下学生写作能力现状的反馈模式,特别是针对应用型院校大学生英语写作能力的反馈模式。

2 研究设计

2.1 研究问题

(1)不同评价方式下应用型院校大学生英语写作水平有无差异?

(2)影响应用型院校大学生英语写作反馈的因素有哪些?

(3)如何构建符合应用型院校大学生写作能力的多元反馈模式?

2.2 研究对象

该项目的研究对象是山西某地方应用型高校商务英语专业二年级的学生,4个班共133人,年龄分布在20—22岁。该专业属于二本A类专业,招生分数线比当年高考国家二本分数线高二十分左右,由于生源的差异,在制定人才培养方案以及课程大纲时,都需要认真衡量学生的语言差异性,从而制定符合地方应用型院校学生水平的课程教学方案及评价方式。而作为语言类课程,则更应该考虑地方应用型高校学生的能力及语言水平差异。课程选择商务英语专业二年级的《基础英语写作》,该课程的周学时为2学时,实验周期是16周。实验前,对4个班的学生进行前测,结果显示并无显著性差异。

2.3 研究工具

研究工具包括二语写作现状调查问卷、半结构化访谈和iWrite写作平台测试。研究者首先结合调研目的编制学生调查问卷和教师调查问卷,旨在对当前应用型院校大学生二语写作反馈方式及现状进行了解,并从中探究其影响因素。半结构化访谈主要围绕对于两种不同方式学生和教师的感受,以及如何在反馈的基础上进行修改。每位受试的访谈时间为20分钟。

写作测试选择在iWrtie平台进行,该平台不仅可以实现对写作内容从语言、内容、篇章结构以及技术规范四个维度的评价,还可以同时进行教师反馈以及同伴反馈。结合该实验的研究方向,所有受试都在iWrite平台参与前测以及后测,从而确保评价的公平性和有效性。

2.4 研究过程

整个研究过程分为三个阶段:准备阶段、实验阶段和数据收集分析阶段。

准备阶段

其中，P为总人口数，Pi为各教育程度的人口数，而各教育程度的系数取值则依据中国现行教育体制。具体为：拥有小学学历的受教育年限为6年，初中为9年，高中为12年，大学及以上为16年以上，在此我们取最低年限16年。

该研究是为了调研不同反馈方式对应用型院校大学生英语写作能力的影响,所以在实验初期就拟定了两种不同反馈方式:一种是机器反馈,一种是教师反馈+同伴反馈+机器反馈。每两个班执行一种反馈模式。在整个写作项目过程中,4个班的学生都需要在iWrite平台完成6次写作任务(1次前测,4次实验任务,1次后测),为了确保任务难度的一致性,写作任务均选自于iWrite平台题库中的真题,正如表格1所示,结合参与学生的实际英语水平,本次项目中的6次写作任务中前测和后测为官方真题,实验任务1、实验任务2、实验任务3和实验任务4则来自外研社模拟题,体裁均为议论文。考虑到不同学生在作同伴反馈时可能存在反馈详实度的差异,所以为学生设计了固定的同伴反馈模板,反馈维度主要包括词汇、句型、结构、内容准确性等多个维度。在实验初期完善所有学生和教师问卷的设计以及访谈的提纲,并对所有受试在平台进行测试。

图1 研究流程图

表1 写作任务列表

实验阶段

在实验开始前,了解到大部分受试的同伴反馈经验较少,仅有互相打分及口头反馈的反馈经验,所以实验开始前对所有受试进行同伴反馈培训,目的是让所有受试了解反馈模板的使用以及反馈的维度,确保同伴反馈的有效性。结合课程大纲的教学内容及安排,所有受试每4周完成一次写作任务,一共完成所设定的4次写作任务,所有写作任务限时120分钟在线完成提交,不限制提交次数,但评分以最后一稿进行评价。控制组在iWrite上完成写作任务直接在线提交,进行机器评阅。实验组则按照实验要求,依次接受机器反馈、同伴反馈和教师反馈,并按照反馈意见进行修改,形成终稿,最终提交到iWrite上进行评分。第16周,在完成最后一次写作任务提交后,对两个组别进行后测,在iWrite上进行统一评分。

图2 写作过程图

数据收集和分析

后测结束以后,对iWrite上所有的数据进行下载、标注和记录。并在后测结束后的30分钟内向学生和教师发放调查问卷。共向学生发放调查问卷162份,回收162份,其中有效问卷158份。学生调查问卷由35个客观题和5个主观题组成。向教师发放调查问卷25份,回收25份,有效问卷25份。教师问卷由30个客观题和5个主观题组成。其中两类调查问卷的客观题部分都采用了Likert五级量表,分别通过“非常不符合”“不符合”“不确定”“符合”和“非常符合”五个类别让参与者进行选择。并在后测后两天内完成半结构化访谈任务。采访3位专任教师和8名同学。每位访谈者的受访时间都在20分钟以内,在访谈过程中,准备教师自己反馈过的作文题目纸质版,以及学生在写作过程中所有收到反馈的纸质版作文,以便帮助他们在访谈过程中回忆写作题目的具体内容以及自己的反馈过程。全程对访谈内容进行录音、转写和标记,最后选择SPSSAU软件对所有收集到的数据进行分析。

3 结果与讨论

3.1 不同反馈方式对比分析

通过对两个组别最终的后测成绩进行t检验分析,发现两组之间的成绩存在一定的差异性,如图3所示,对照组的平均成绩为82.46,而实验组的平均成绩为85.63,实验组比对照组均分高出3.17,整体来看实验组经过16周的综合反馈模式实践,即机器反馈、同伴反馈和教师反馈相结合的模式,平均成绩有所提高。

图3 后测平均成绩对比图

表2 t检验分析结果

通过效应量(Effect size)进一步分析两组实验数据的差异幅度,通过表3可得知Cohen’s d值为0.507,对比临界点0.2,0.5和0.8,发现两组实验数据差异幅度中等,并没有显现出较大的差异。可以看出虽然实验组在使用多元英语写作反馈模式(即机器评阅、同伴反馈和教师反馈相结合的模式)之后成绩有所提高,但相较对比组并没有特别大的差异。造成这个结果的原因也有待分析,可能和实验周期、反馈方式或反馈者投入等因素有关,这也为后期的英语写作多元反馈方式的研究提供了新的研究视角。

表3 效应量指标分析

3.2 大学英语写作反馈现状及成因

通过对学生和教师的问卷调查以及访谈,了解目前应用型院校大学英语写作课反馈现状。学生和教师也从不同的角度分析目前大学英语写作课反馈的现状及其原因。

(1)大学英语写作反馈现状

在整个问卷调查过程当中,共收到158份有效的学生调查问卷。其中94.3%的学生认为英语写作反馈非常符合现在大学生英语写作的需求,能够提高自身的写作能力,5.7%的学生则不确定目前的英语写作反馈是否能够提升自身的英语写作能力。但是大部分同学都对机器反馈持积极肯定的态度,其中97.5%的学生都认为机器反馈可以很好地给自己的英语写作提供及时的反馈意见,促进自己英语写作质量的进一步提升,但仍有2.5%的学生并不确定机器评阅是否能够更好地提升英语写作质量。88.6%的同学认为同伴反馈可以有效提高英语写作质量,而7.6%的同学则认为同伴反馈不能够提高英语写作质量,还有3.8%的同学并不确定同伴反馈是否可以提高英语写作质量。而对于教师评阅这种传统英语写作评阅方式,63.2%的同学认为是可以提高英语写作质量以及自身写作能力的,23.8%的同学认为不能够提高自身写作能力,也有13%的同学并不确定教师单独反馈是否可以有效提高写作质量以及提升自身写作能力。但是99.4%的同学都认为教师反馈的内容可以弥补同伴反馈和机器反馈的不足。令人出乎意料的是,100%的同学都认为将机器评阅、同伴反馈以及教师反馈结合到一起的多元反馈方式可以提高英语作文的写作质量,可以通过这个过程提升自身的写作能力。因为问卷是面向所有的受试,所以无论使用过多元反馈模式还是没有使用过多元反馈模式的同学都对这种多元反馈模式有非常高的期待值。

根据所收集到的25份有效教师调查问卷,发现100%的教师都认为机器反馈的方式在很大程度上提高了自己写作课堂的反馈效率。但对于机器反馈的有效性仍有16%的教师持有保留态度。对于智能评阅系统的评价,94%的教师都认为智能评阅系统极大地提高自身的工作效率,可以更高效地反馈学生英语写作中所存在的问题,但仍有6%的教师对智能评阅系统的反馈效果持有保留态度。在课程当中设置同伴反馈环节的教师占到了62%,也有25%的教师不确定自己的课程当中是否完整进行同伴反馈,在问卷的补充说明中,部分老师解释不确定的原因,因为在写作课程讲授的过程中,会让多名学生针对某些同伴写作中的词汇、句子、段落等方面进行口头反馈,提出其中的问题以及如何进行改进,但是并没有使用写作反馈模板针对整篇作文进行完整反馈。仍有13%的教师并没有在英语写作评阅过程中设置同伴反馈环节。

(2) 影响因素分析

在完成3位教师和8位同学进行访谈后,结合学生及教师问卷调查结果,对目前应用型院校英语写作反馈的现状及其原因有了进一步了解,主要表现在以下几个方面:

首先,班级容量大。对于地方应用型院校,班容量大一直是一个无法忽视的问题,特别是对于这种语言类课程,班级容量就直接决定了上课的效果。该校目前写作课的班级容量最少是40人,最多会出现两个班级合班的现象,数量可以达到80—90人,这也为教师带来较大的反馈工作量。3位教师均表示,班级容量大就会影响到英语写作反馈的周期和效率。其中2位教师借助iWrite智能评阅系统,表示确实极大地提高英语作文的反馈效率,作业布置的数量会有所提升,从以前3—4周布置反馈1篇,到现在基本1—2周都会布置写作任务,智能评阅系统反馈维度丰富,主要从句型、结构、篇章、技术规范等方面给予学生反馈,教师也会结合反馈能容进行讲解。另外1位教师表示自己采取传统评阅方式,由于班级人数多,周学时少(该校每周写作课学时为2学时),布置作业后2—3周才能完成所有学生的作文评阅与反馈工作。8位受访学生中有7位同学都使用了iWrtie智能评阅系统,他们都认为智能评阅系统可以及时给予反馈,自己可以立刻针对其中的问题进行改正。而另外1位同学需要等待的反馈周期较长,最长有四周给出反馈,但是已经忘了这篇文章的大部分内容。

其次,学生投入少。其中1位教师认为虽然智能评阅系统能够极大提高教师的反馈效率,但是反馈的内容相对比较简洁,学生在修改过程中是否投入大量精力思考造成错误的原因也会影响学生本身英语写作能力的提升。这位老师提到:“机器反馈确实非常便捷,但是学生是否有仔细看这些反馈?是否有思考造成这些错误的原因?还是说直接系统给出替换词我就改为这个替换词,并没有进一步思考为什么系统要给出这样的替换词?所有这些因素或多或少都会影响到学生自身写作能力的提升。”很多学生仅限于完成教师布置的写作任务,自己从来没有在作业任务之外,主动进行过模拟写作。这8位同学几乎都没有在老师要求之外进行过模拟写作,他们也表示自己感觉自身的写作能力较高中并没有特别大的提升,甚至有2位同学认为,几乎停留在了高中写作水平,作文中使用的还是自己比较熟悉的句型、词汇和表达。

第三,缺乏思辨能力。当问及修改过程中是否思考错误原因时,有2位同学表示自己会认真阅读系统给出的评阅内容,并结合自己的文章总结错误的原因。5位同学表示,看到及时反馈,就是立即替换掉自己的用词,并没有认真想这个词是否合适,认为系统给出的都是最佳选项。但也有同学对该系统的技术评分方面提出自己的疑惑。因为自己发现即使按照系统给出的替换词进行替换并提交以后,得到的评价分并不一定比之前的版本高,这也导致很多学生为了刷出较高的分数甚至会提交十多个修改版本,而不是思考写作本身的问题,缺乏一定的思辨能力,这也从一定方面影响了学生对于反馈意见的投入度。

3.3 多元英语写作反馈模式构建

基于实验、调查问卷以及访谈的分析结果,可以看出对于应用型院校目前的英语写作反馈现状来说,结合当下先进的人工智能技术和智能评阅系统,构建高效的多元反馈模式迫在眉睫。应用型院校学生英语水平特别是写作水平的提升,不能仅仅依靠教师一周一次课的讲解,而需要将先进的人工智能技术与教师的课程理念特别是英语作文评阅理念有效结合,才能最大程度提高课堂效率,增加学生的写作积极性。基于目前应用型院校学生英语写作评阅的现状,将人工智能技术融入英语写作课程以及评阅过程当中,从而构建一个高效的英语反馈模式。正如图4所展示的多元英语写作反馈模式,可以将机器评阅、同伴评阅与教师评阅融合到一起对学生的英语作文进行评阅。

图4 多元英语写作反馈模式

首先,学生可以自主通过写作平台提交自己的英语写作初稿,可以快速获得机器自动评阅平台(比如iWrite平台)从语言、内容、篇章、结构等几个维度给出的反馈意见,学生根据反馈意见进行第一轮修改并提交,修改完以后进行同伴互评,因为所选择的iWrite平台具有同伴互评的功能,可以直接进行同伴互评。在进行同伴互评之前需要进行规范的同伴互评培训,让学生们了解同伴互评的目的以及操作方式,可以给出固定的同伴互评模板进行互评。同伴互评的方式不能只是简单地给出分数或等级,这样并不能有效地反馈出学生英语写作中的问题。没有同伴反馈的自动评阅系统或平台,可以通过让学生按照固定模板进行同伴反馈,并提交电子版或纸质版反馈。同伴反馈后学生进行第二稿的修改,在平台进行提交,教师可以通过iWrite平台直接进行评阅,学生收到教师的反馈修改意见后,进行第三轮修改,并最终形成英语写作终稿。通过构建这样多元的英语写作反馈模式,学生可以全面地了解自己写作中存在的问题,并对这些问题进行及时修改,从而进一步地提高自身的写作能力和水平。

4 结语

大学英语写作反馈是提高大学生英语写作水平的重要环节之一,尤其对于大部分应用型地方院校来说,学生的英语写作水平及能力比较薄弱,那么如何快速获得积极有效的写作反馈则显得尤为重要。不同于传统的英语写作评阅中教师进行反馈的模式,该研究所提出的多元英语写作反馈模式将机器评阅、同伴互评以及教师反馈有效的结合到一起,在反馈环节形成一个完整有效的闭环,极大地提高了学生获得反馈的效率以及质量,让学生真正意识到自己英语写作中存在的各种问题,并进行针对性的修订,从而进一步的提高学生的写作能力。但此次研究所设置的研究周期较短,选取的研究样本数量相对较小,还存在一定的局限性。但该多元写作反馈模式已经在实验院校实施了较长时间,也取得相对不错的效果,对其他应用型院校的英语写作教学及评阅具有一定的参考价值,也能为英语写作中人工评阅和机器评阅相结合的研究提供新的研究视角和思路。