基于SETT框架的无障碍字幕教学视频研究与实现

冉若曦，李晗静，吕会华

（1.北京联合大学北京市信息服务工程重点实验室，北京 100101；2.北京联合大学特殊教育学院，北京 100075）

基于SETT框架的无障碍字幕教学视频研究与实现

冉若曦1，李晗静2，吕会华2

（1.北京联合大学北京市信息服务工程重点实验室，北京 100101；2.北京联合大学特殊教育学院，北京 100075）

字幕作为视频中视觉和听觉的桥梁，对聋人视频学习有着重要的研究意义，研究采用SETT框架匹配聋人阅读字幕辅助技术，再以中文分词的技术方式，完成无障碍字幕视频的开发。对无障碍字幕进行行为测试，显示聋人观看带有无障碍字幕的视频答题平均得分高于普通字幕2.17分，对提高聋人字幕阅读能力效果显著。

无障碍字幕；中文分词；聋人

0 前言

教学视频是将教师要传授给学生的知识、技能等内容制作成视频形式，以辅助现代化多媒体教学。教学视频能够帮助老师更加生动、形象地展现出在课堂上无法实际操作的内容，同时又真实地记录了教学内容，方便学习者能够随时随地反复学习，是现代化教学中必不可少的重要辅助工具。［1］而在教学视频中，聋人因听觉与语言方面的限制，接受不到音频信息，只能通过字幕文本来获取视频中的信息，所以字幕在聋人视频学习中扮演着重要角色。但是，聋人大学生在文字阅读方面与健听人有很大的差距。Hyde研究发现，聋生对理解文字题没有任何信心，倾向于寻找问题中的关键词语，按照关键词语的提示解答问题，从而导致许多错误。［2］聋生解答数学文字题存在元认知水平低下、解决问题时速度过快、过于冲动、缺少全面的思考和反思等困难。这是Mousley等人1998年发布的研究结果。［3］于素红发现，聋生不能建构正确问题模型的原因，不是由于缺少逻辑-数学知识，而是由于阅读方式无规律，文字语义理解能力薄弱。［4］张宁生等人在2004年提出，对聋人使用一定的阅读辅助方法可以提高聋人的阅读效率。［5］因此，一套适用于辅助聋人阅读的字幕形式，在聋人视频学习中将有重要的研究意义。本研究基于这样的一个事实，提出了短语级别的中文分词对字幕进行改造的方案，改造完成的字幕在本研究中被称为无障碍字幕，本研究所提出的无障碍字幕主要针对聋人在视频观看中字幕阅读的问题，目的是通过对字幕的改造，达到提高聋人阅读字幕文本能力的效果。

在本研究中，无障碍字幕的生成首先是通过基于SETT框架对聋人阅读的需求做出分析，匹配合理的辅助技术，之后，在假设该方案可以提高聋人对字幕文本信息获取能力的前提下进行试验，并对结果进行分析，结果表明，基于短语级别的无障碍字幕主效应显著，可以对聋人阅读字幕信息的获取起到一定的辅助作用。

1 基于SETT的聋生视频课堂需求分析

SETT框架，即学生（Student）—环境（Environment）—任务（Task）—工具（Tool），可用于评定辅助技术适配。SETT框架认为，学生辅助技术评定适配的影响因素由学生（Student）、环境（Environment）、任务（Task）与工具（Tool）4要素组成。［6］应用该模式进行聋人字幕阅读辅助技术适配，首先要搜集聋人信息、学生所处的教学环境及其必须完成任务方面的信息，然后在对这些信息分析的基础上识别问题，明确聋人的特点和需要，最后将学生的特点、需要与潜在的辅助技术适配。［7］

本课题选取18名聋人大学生进行调查分析。根据SETT框架理论，对聋人大学生程序设计课堂进行辅助技术评定时，需要搜集背景信息、识别问题和明确聋人大学生的特点和需要，将聋人大学生的特点和需要与潜在的可用的辅助技术相匹配，形成辅助技术解决方案。

1.1 被试背景信息

本课题通过问卷调查法收集信息，调查对象为本科聋人大学生，信息如下：共18人，10男8女，年龄在20～24岁之间，对视频教学都有一定的学习经验。14人佩戴助听器，0人有电子耳蜗，调查者的听力等级全部在70分贝以上。

在环境信息收集过程中，根据SETT框架，该部分信息的收集主要通过观察法，在观察过程中，需要明确被观察对象在环境中正在做什么，需要做些什么，以及被观察者在完成任务的时候借助了哪些工具。为此，作者与聋人同学一并参与聋人课堂活动，并对聋人视频进行了长久的观察分析，最终的观察结果如下：聋人在观看视频教学的过程中，首先会选取有字幕的视频进行观看；其次，在播放器选择方面，不同的聋人会选择相同或不同的播放器，即聋人在该方面没有特殊的需求，同时，聋人在视频观看中，往往容易分心，很难长时间坚持，作者对这一现象进行调查询问，得到的结果很多原因都是很难通过字幕完全了解视频授课内容，最终导致放弃；聋人在观看视频教学时所处的环境对聋人的观看并不会起到太大的影响，因为听力的缺失，无论是在教室还是在实验室，聋人在看视频时都不会被周围嘈杂的环境所影响。

1.2 明确聋大学生的特点和需要

在SETT框架中，一般需要对以下问题进行识别研究：（一）被调查者的文本理解能力水平高低？被调查者需要做什么？他们有什么障碍或困难需求；（二）在当前的环境中有哪些资源可以利用来解决这些问题；（三）为了解决当前困难和障碍，有哪些问题需要解决？本课题采用调查问卷和专家小组讨论两种方式来明确聋人大学生的特点和需要。

调查问卷用来明确聋人在阅读字幕时的需求。调查问卷根据聋生对理解文字题倾向于寻找问题中的关键词语，解决文字存在元认知水平低下，阅读方式无规律，文字语义理解能力薄弱等问题设计，主要以选择题的方式给出，涉及聋人在阅读字幕时是否存在断句困难、专有名词难以理解、字幕速度过快等问题。

在专家小组讨论的过程中，本研究邀请了从事特殊教育事业研究的多位教授、教师、多名聋人大学生以及从事信息无障碍辅助技术研究的研究生一同组成专家小组，对聋人字幕阅读的需求以及调查问卷的调查结果进行深入探讨。本研究将设计涉及的调查问题以及对问题的具体描述如表1所示。

表1 聋生阅读字幕时的需求Table 1 Video watching needs for hearing impaired student

1.3 辅助方案的适配分析

为了找出适当的辅助技术方案，应该将之前分析的聋人需求罗列出来，并将这些需求转化成为辅助技术中的技术特征。在SETT中，提供了一种工具以供将聋人的困难、需求和能力相适配，这种工具叫做《SETT框架：工具选择》，本研究利用该工具中的工具识别表来对聋人需求进行适配，具体的适配过程如表2所示。

表2 《SETT框架：工具选择》Table 2 SETT scaffold tool selection

根据表2的适配结果，本研究将针对聋人在阅读字幕文本时存在的问题设计相应的辅助方案。

2 无障碍字幕教学视频的设计方案

根据之前的调查分析，本研究给出了字幕文本的韵律切分、字幕文本的专有名词标注、字幕文本中韵律信息中的重音词标注、播放速度调整、字幕文本字体规范等技术为核心的设计方案，具体的设计开发实现流程如图1所示。

本研究中，首先对视频教学课堂的视频进行了采集，视频采集过程由专业的视频拍摄公司协助，采集结束后对字幕信息进行提取，字幕文本以句为单位，每句作为一行，进行处理。

字幕文本采集结束后，先对字幕文本分词，再对字幕进行人工处理，主要的目的是处理成为以词为单位的句子，词之间用空格进行划分。同时，在字幕文本处理的过程中，将含有重音信息的字幕文本用红色进行标注。之后将处理好的字幕文本合成到视频文件中，字幕文本在视频中的位置为下边框，居中。最后导出视频文件。完成的无障碍字幕教学视频效果如图2所示。

3 无障碍字幕教学视频的应用试验

3.1 被试

本课题参照聋人研究中被试的选取标准［8］，使用《瑞文标准推理测验》筛选工具对被试进行筛选，被试选取标准为：除听觉障碍外，没有其他障碍；失聪年龄在3岁及3岁以前（语言发展之前）；听力损伤在70分贝以上，视力或矫正视力正常。经过筛选，选取聋人大学生共18人参与测试，其中10男8女，年龄在21～25岁之间。被试的具体信息如图3所示。

3.2 材料

测试中选取3段视频教学资料，该3段教学视频资料为计算机思维本科课程视频，皆为被试者的必修课程。在视频资料内容的选取中，采用专家小组的形式筛选，专家小组包括从事特殊教育事业的教授、教师、研究生以及聋人大学生3名，以确保所选视频资料内容对于聋人大学生是可以读懂的。然后将这3段视频资料分别进行字幕处理，处理成为两段字幕不同的视频资料，一个为普通字幕的视频资料，一个为无障碍字幕视频资料，处理结束后，将有6段视频资料，其中视频资料的具体信息如表3所示。

表3 实验材料详情Table 3 The details of test materials

同时，对视频内容编写相关的问答题，共3套，每套题有10道关于对应视频的问题，均为4选1的选择题，在实验中，每人将答2套试题，答题量为20题。针对本研究的内容，还有一份调查问卷，问卷主要针对聋人在观看无障碍字幕时的主观感觉进行调查，内容包括：你觉得观看带有无障碍字幕的视频是否对你的理解有所帮助；你觉得无障碍字幕的优点有哪些；对无障碍字幕还有哪些意见等，其中，选择题3题，主观题2题，一共5题。

3.3 实验过程

本次测试采取同一个被试观看不同字幕的视频资料后，回答问题的正确率来验证无障碍字幕与普通字幕是否存在显著差异。在测试中，针对每一个被试，首先，在3段视频中随机抽取两段视频作为本次测试的资料；然后，再进行一次随机选择，以确定抽取到的两段视频资料中哪一段作为无障碍字幕视频来测试，两段视频的观看顺序也将在此次随机选择中决定；之后，被试根据抽取的情况分别观看视频，观看结束后等待10分钟，再进行问题回答；最后，填写调查问卷，即最后的实验统计量为18 ×6×10×5。

4 结果与分析

实验结束后，对被试的答题成绩进行了统计，如图4所示。

对实验得到的成绩数据进行统计分析，分析过程使用SPSS 19.0软件，得到被试在观看两种不同字幕后答题成绩的均值（M）以及标准差（SD），以及统计结果的主效应显著性，结果如表4所示。

方差分析表明，在聋人观看无障碍字幕视频时的主效应显著，F=14.29，P=0.001＜0.05，说明聋人在观看两种不同字幕的视频时，对视频信息的了解具有明显的差异。

表4 普通和无障碍字幕视频观看后统计分析结果Table 4 Results of statics analysis data

同时，在针对聋人主观调查问卷中，认为无障碍字幕在理解、关键词和记忆方面对自身有效的结果如图5所示，可见有大部分的被试认为无障碍字幕在帮助自己定位关键词和记忆视频内容方面有着很好的作用。

从以上的实验结果中可以看出，无障碍字幕教学视频从一定程度上可以提高聋人观看视频时的效果，不过，这部分还需要设计更为详细、更为长久的教学实验来论证其有效性。总体来看，无障碍字幕教学视频是符合聋人需求的，具有重要的研究意义。

5 结束语

随着字幕需求的不断增加，字幕的研究还应该再进一步深入。同时，研究者对字幕的呈现方式引起的认知功能的关注还很少，针对不同阅读能力以及不同障碍的人群，如何让字幕更好地帮助聋人理解视频内容，从而起到视频无障碍的建设也是未来急需解决的问题。同时，针对字幕研究多模态话语的认知机制，试图找到最有效的方法匹配“阅读”和“听力”，这一点对于聋人阅读观看视频也是非常重要的。字幕应用在聋人阅读领域的研究，应该是全纳教育的一部分。本研究基于这些事实，对字幕文本进行改造并进行论证，在今后还将集中在无障碍字幕生成的自动化程度，以及无障碍字幕对聋人记忆和理解方面的效果进行进一步研究。

［1］陈长胜.基于视频的课堂教学策略研究［D］.武汉：华中师范大学，2011.

［2］Hyde M，Bergen R Z，Power D.Deaf and hard of hearing students：performance on arithmetic word problems［J］.American Annals of The Deaf，2003，148（l）：56-64.

［3］Mousley K，Kelly R R.Problem-solving strategies for teaching mathematics to deaf students［J］.American Annals of the Deaf，1999，143（4）：325-336.

［4］于素红.聋生解决加减文字题的认知研究［D］.上海：华东师范大学，2007.

［5］张宁生，黄丽娇，David S M，等.认知策略教学对聋人学习者的影响［J］.心理科学，2004（1）：193-197.

［6］Zabala J S.SETT Scaffolds［EB/OL］.［2016-03-01］.http：//www.joyzabala.com/Documents.html.

［7］郑俭.在特殊教育个别化教育计划中纳入辅助技术：基于SETT框架［J］.中国康复理论与实践，2013，19（5）：421-425.

［8］乔静芝，张兰兰，闫国利.聋人与健听大学生汉语阅读知觉广度的比较研究［J］.应用心理学，2011（3）：249-258，264.

（责任编辑 李亚青）

Research and Implementation for Teaching Video with Accessibility Subtitle Based on SETT for Hearing Impaired Students

RAN Ruo-xi1，LI Han-jing2，LV Hui-hua2
（1.Information Service Engineering Key Laboratory of Beijing，Beijing Union University，Beijing 100101，China；2.Special Education College of Beijing Union University，Beijing 100075，China）

As a bridge between visual and auditory，subtitle study has a significance meaning for hearing impaired people video studying.Used the SETT framework to analyze the needs of subtitles in the Chinese for hearing impaired students during video teaching，and then put forward the accessibility subtitle based on Chinese word segmentation.After verified the accessibility subtitle effect，the test results show that the hearing impaired students who watch the video with accessibility subtitle have an average of 2.17 higher in scores than who watch video with common subtitles.It means that the accessibility subtitle has positive effect for hearing impaired students in subtitles reading.

Accessibility subtitle；Chinese word segmentation；Hearing impaired

G 762

A

1005-0310（2016）03-0088-05

10.16255/j.cnki.ldxbz.2016.03.016

2016-03-23

北京市属高等学校高层次人才引进与培养计划项目（IDHT201304073，IDHT20130513），北京市教委课题（SQKM20141417002），2014年北京教育科学规划重点课题（AD1412），教育人文社会科学研究规划基金资助项目（14YJC740104）。

冉若曦（1989-），男，甘肃平凉人，北京联合大学硕士研究生，研究方向为信息无障碍辅助技术。E-mail：397740156@qq.com