基于德尔菲法的高校精品在线开放课程评估体系构建研究

吴岚艳，李 洁

(1.黄山职业技术学院 国际护理学院，安徽 黄山 245900；2.安徽理工大学 经济与管理学院，安徽 淮南 232007)

2011年，教育部正式出台《教育部关于国家精品开放课程建设的实施意见》后，我国各高校掀起了在线开放课程风暴，至今形成了资源共享课、视频公开课、MOOC和SPOC等多种类型的中国特色在线开放课程体系。2020年，受新冠疫情影响，在线开放课程短时间内激增，同时，出现质量参差不齐的问题。质量评价是解决这一问题的关键。然而，我国在线开放课程质量评价缺乏通用、科学的评价方法，亦未形成全面、有效的评价体系。因此，笔者应用德尔菲法(又称“专家调查法”)构建了高校精品在线开放课程评价体系，为更好地建设精品在线开放课程提供参考。

一、资料与方法

1.初步构建指标体系。本着科学、全面、客观和实用性原则，笔者以“CELTS-22.1”(网络课程评价规范)为蓝本，根据高校精品在线开放课程的特点，结合学习者的评价，初步构建了精品在线开放课程评价体系，其中一级指标6个、二级指标35个。

2.函询专家。考虑到失访/无效率，笔者最终从北京、山东、安徽、上海等省市的高校中选取专家20人纳入本研究。

3.专家函询表。专家函询表包括三方面内容：(1)封面信：包括函询背景、目的、要求及注意事项；(2)专家基本情况表：包括姓名、性别、年龄、工作年限、职称、对函询内容的熟悉程度及选择的判断依据等；(3)高校精品在线开放课程评价指标体系：对体系中每个维度的指标都根据Likert5级评分法进行评分，并设置修改、删除和增加意见栏。

4.函询过程。2019年8—11月，采用当面发放咨询表或E-mail方式进行了两轮德尔菲专家函询。第一轮问卷回收后，及时根据专家的意见及建议对指标体系进行修订，形成第二轮专家函询问卷，以同样的方式反馈给专家。第二轮专家函询意见出现集中趋势，由此，初步构建高校精品在线开放课程评价指标体系。

5.指标筛选。根据专家对指标的重要性评分，计算均值和变异系数(CV)，筛选标准为重要性评分均值小于4分，CV大于0.30的指标。[1]同时，对专家提出的删除、增加、修改要求的指标，经研究小组集体讨论后确定。

6.评分标准。重要性根据Likert5级评分法进行评分，非常重要=5分、重要=4分、中等=3分、不太重要=2分、不重要=1分；熟悉程度按非常熟悉计1.00、很熟悉计0.80、比较熟悉计0.60、不太熟悉计0.40、不熟悉计0.20；判断依据中，实践经验按判断依据的大、中、小分别计为0.50、0.40、0.20分，理论分析按判断依据的大、中、小分别计为0.30、0.20、0.10分，参考国内外文献、同行了解、直觉分别计为0.10、0.05、0.01分。

7.统计学方法。采用Excel 2007进行数据录入；采用SPSS17.0统计学软件进行数据分析，其中计数资料计算构成比，计量资料计算均数、标准差及变异系数；采用Yaahp10.3层次分析法软件计算评价指标的权重。

二、结果

1.函询专家积极性。专家函询表的有效回收率代表了专家积极性。本研究两轮函询均发放专家函询表20份，第一轮回收函询表19份，第二轮回收函询表18份，回收率分别为95%和90%，有效回收率均为100%。

2.函询专家权威性。权威系数主要取决于专家对函询内容的熟悉程度和判断依据，权威系数=(熟悉程度+判断依据)/2，[2]两轮函询中，专家权威系数均大于0.70，说明专家的权威性高(见表1)。

表1 函询专家权威系数

表2 函询专家权威系数

4.高校精品在线开放课程评价指标体系的确定。第一轮专家函询后，根据指标删除标准及具体专家建议，将一级指标“建设环境”改成“网络技术”，删除了3个二级指标“内容再生性”“界面可视性”和“资源共享”。将二级指标“辅助性学习资料”具体化为“考试题库”和“实训指导”，形成6个一级指标、33个二级指标的高校精品在线开放课程评价指标体系(第2版)。第二轮专家咨询后，专家无删除、修改及增加指标。最终建立了包含6个一级指标和33个二级指标的精品在线开放课程评价指标体系(见表3)。

表3 高校精品在线开放课程评价指标体系

三、讨论

1.专家的选择是应用德尔菲法建立全面、科学评估指标体系的关键。本研究选择了20名从事高等教育教学工作的专家，平均工作年限25年，硕士以上学历占比70%以上，高级职称占比80%以上，综合考虑函询专家的地域因素，从而保证了函询结果的可靠性。两轮函询中，专家的积极性、权威性和协调系数均较高。综上所述，本研究建立的高校精品在线开放课程评价指标体系是较为可靠的。

2.在高校精品在线开放课程评价指标体系中，课程内容权重最高，其作为课程传递知识的主要载体，权重较高也在预期之内。然而，一项基于扎根理论的在线开放课程评价研究显示，[3]从用户角度出发，很多在线课程的内容与学习者的期望并不一致，学习者选择在线课程的目的更多是辅助学习，而非获取基础知识。因此，在制作精品在线开放课程教学视频时，应考虑学习者的实际需求。教学资源权重仅次于课程内容排名第二，特别是教学视频，研究表明，操作录制类教学视频不仅学习效果要明显好于图文解说类视频，而且能给学习者带来更好的学习体验，[4]同时，教学视频中教师图像呈现方式也会对学习效果产生影响。[5]因此，精品在线开放课程教学资源的评价中，教学视频的权重最高。教学设计的权重排名第三，传统教学设计是将教学诸要素有序安排，确定合适的教学方案，一般包括教学目标、教学方法、教学组织等内容。精品在线开放课程教学设计的评价在传统之余加入了媒体设计、交互方式的内容。师资队伍排名第四，教师是决定课程质量的关键因素，这不仅取决于教师的知识水平，也与教师的语言素养、教学风格和态度息息相关。课程应用权重排名第五，精品在线开放课程的应用为优质教育资源共享贡献了力量，因此，本研究将课程应用相关指标，如课程点击率、用户活跃度、学习完成度和考试通过率作为课程应用的二级评价指标。网络技术权重最小，这可能与网络技术在在线开放课程中只起到辅助作用有关。事实上，网络技术中系统特性、课程导航、可控性、交互性、内容检索都严重影响学习者的学习兴趣。比较突出的是学习者在网上观看课程需要较长时间的缓冲和下载，不利于精品在线开放课程的学习。[6]目前，国内精品在线开放课程在网络硬件环境和支持服务等方面还存在一定欠缺。

3.本研究构建的高校精品在线开放课程评价指标体系，目前还只是指标体系框架，尚处于探索阶段，需要在实践中逐步完善，形成具体化、可操作的指标内容并形成初始量表。本研究计划对高校已建成的精品在线开放课程进行预评估，并根据出现的问题进一步完善。