学业成就与学业风险的预测

范逸洲 汪琼

【摘 要】

学习分析作为一个从数据中建构意义的研究领域，在过去几年的发展中备受学界关注。学习分析领域的核心问题之一是如何利用数据预测学习者的学业成功或者失败？围绕这一问题，国内外学者开展了大量实证研究，取得了丰富的研究成果。但是，预测指标研究的相关综述却存在一定局限性，如忽视指标适用的学习场所和情境、模糊指标匹配的学习任务类型和参与主体，或是有些综述缺失了领域内的代表性学者、研究和应用。因此，本文通过系统的文献检索和综述，从预测指标适用的学习场所和任务类型出发，梳理了倾向性指标、人机交互指标和人际交互指标三种类型的常用预测指标。本文详细地介绍了过往学业表现、初始知识、学习驱动力、正面或负面学习行为、学习者情感状态、知识表征事件、人际交互频次、社群意识等一系列得到广泛验证的关键预测指标，并将按照“学校场所和工作场所”和“个体学习和群体学习”两个维度划分的四个象限，在每个象限中选取一个典型的学习分析系统进行剖析，这些典型系统是Signals系统、SNAPP系统、Learn-B系统和Cohere系统。本文最后总结了预测分析相关研究的特点和趋势，并指明了未来研究与实践的注意事项和潜在的研究方向。

【关键词】 教育大数据；学习分析；预测分析；预测指标；学业成就；学业风险

【中图分类号】 G420 【文献标识码】 B 【文章编号】 1009-458x（2018）1-005-12

一、综述的背景与聚焦

大数据（Big Data）发展的核心动力来源于人类测量、记录和分析世界的渴望（迈尔-舍恩伯格， 库克耶， 2013），教育大数据也正在深刻地影响和改变着教育。但我们冷静地意识到：相较于信息产业、医疗领域等，教育领域对于大数据的测量、收集、分析和汇总仍然处于不甚理想的境况。麦肯锡《大数据》报告在综述了各大社会研究与应用领域后指出：在大数据飞速发展的今天，教育领域是在大数据中受益最少的领域之一，缺乏“数据驱动的思维（Data-driven mind-set）”是教育领域当今面临的主要障碍（Manyika， et al.， 2011），而学习分析领域的快速发展则有望扭转这一悲哀的局面。

第一届国际学习分析与知识学术会议将学习分析定义为：为了理解和优化学习过程以及学习环境，对于学习者及其所在情境的数据进行的测量、收集、分析和汇总工作（Siemens & Long， 2014）。这一定义明确了学习分析领域的三个关键特征：旨在解决的问题（理解和优化学习过程与环境）、数据的来源（学习者及其所在情境）和对于数据可做的处理工作（测量、收集、分析和汇总）（Siemens & Long， 2014）。

结合学习分析的定义和国内外学者对学习分析的阐述，本文形成了对学习分析领域的三点基本认识：

第一，学习分析是一个领域（Field），而不仅是一种技术、方法或者工具；

第二，学习分析是基于问题和数据的研究领域，是一个通过收集、处理和分析数据进而理解数据、从数据中建构意义（Sense-making）的过程；

第三，学习分析的主要目标是通过建模和预测，有效地辨别存在潜在学习风险的学习者，强调可指导行为的洞见（actionable insights）。

而在整个学习分析领域之中，预测分析则是基础、重要的也是核心的子领域（Siemens， 2013）。国内外学者围绕“如何预测学习者的学业成功或者学业失败？”这一学习分析的核心问题，开展了大量关于预测指标、建模方法和干预策略的研究，也有学者对这一问题进行了综述。

Brown从学习者的固有指标（Dispositional Indicators）、行为表现指标（Activity and Performance Indicators）和学生作品（Student Artifacts）三个类别，梳理得到广泛验证的预测指标，并讨论了不同指标的预测能力和应用案例（Brown， 2012）；从预测或解释的对象来看，Berry归纳了四类影响学习持续性的指标（社会因素、心理因素、组织因素和经济因素），以及三类影响学业成就的指标（学业因素、人口统计学因素和文化社会因素）（Berry， 2017）。

具体到学习分析的实际应用，Usamah通过综述14个典型的学习分析系统和应用，梳理出了学习者往期学业表现、课程参与情况、学习者背景、社交表现等多个预测学业表现的重要指标（Mat， et al.， 2013）；也有学者将学业能力、个人财产情况、学业目标、学习动机等能够预测学业风险或成就的指标，视为分属于学生信息系统和课程管理系统的变量，并在这两个系统内分别识别存在风险的学习者并开展干预（Bukralia， 2015）。Verbert等人则从学习分析仪表盘的角度，综述了面授环境下、小组合作环境下、混合学习环境下和在线学习环境下可用于表征学习情况的五类数据源及指标，它们分别是学习行为（包括学生作品）、社交互动、资源使用、花费时间和练习测验结果（Verbert， et al.， 2014）。

围绕预测指标这一话题，最近几年，国内学者则相对更加聚焦于与学习行为相关的预测指标，例如：武法提和牟智佳基于学习者行为分析提出学习结果预测框架（武法提， 等， 2016），并在MOOC情境下检验了视频学习次数、文本学习次数、评价参与时长等关键指标的预测能力（牟智佳， 等， 2017）；李爽等基于學习者在线学习行为投入归纳出六个指标维度（李爽， 等， 2016）；贾积有和于跃洋提出的基于速度、质量和数量三个维度的在线学习活动指数（Online Learning Activity Index， OLAI）（贾积有， 等， 2017）；贺超凯和吴蒙则通过分析edX平台上的16门MOOC，归纳出多维度的学习者学习行为特征，并对部分典型行为特征进行了数据挖掘和预测（贺超凯， 等， 2016）。

上述综述和研究都从不同的层次和视角增进了我们对于如何预测学习者成功或失败这一重要问题的理解，但过去关于学习分析中预测指标的综述也存在一定的局限性，例如：忽视学习场所和情境，预测指标对学习结果的预测能力往往局限在特定的文化背景、学科背景、学段背景等教学情境中，不阐明学习场所和情境容易造成预测指标和模型误用（Shum， 2012）；模糊学习任务类型和参与主体，预测指标往往被放置于特定的学习任务类型中发挥作用，需要注意区分个体学习和协作以及合作学习任务，并在不同任务类型中分析预测指标起作用的机制（Wagner & Ice， 2012）；以往关于预测指标的综述也出现了缺失某些代表性研究的问题，特别是对于学习分析领域中某些关键学者和典型案例的缺失，导致我们对于预测指标相关研究的认识仍不全面。

本研究的目的正是力图解决上述问题，通过关注预测指标适用的学习场所和情境厘清预测指标匹配的学习任务类型和参与主体，梳理出学习分析领域代表性研究和典型案例中采用的预测指标。通过建立学习分析领域的预测指标体系，为后续围绕预测分析展开的研究提供参考，也为实践领域对学习进行的预测和干预提供思路。

二、綜述方法

本综述用学习分析、预测分析、预测指标等关键词进行了系统的中英文文献检索。这些文献绝大多数发表于经过同行评议的学术期刊①和国际学术会议②，并大多发表在2006年至2016年这十年间。

为了确保本综述能够覆盖领域中的代表性学者和典型案例，在基于关键词的数据库检索之外还单独检索领域内的主要学者和代表性研究团队的研究文献。通过统计历届国际学习分析与知识学术会议的委员会和参与者、学习分析研究协会的会员和学习分析暑期学校的主讲人等，本综述初步确定了学习分析领域主要的学者：Dragan Gasevic、Shane Dawson、George Siemens、Ryan Baker、Simon Buckingham Shum、Phillip Long、Xavier Ochoa、Erik Duval、Rebecca Ferguson 和 Leah Macfadyen等。通过将代表学者的文章（116篇）和关键词检索的文章（183篇）进行交叉匹配，并按本文综述的聚焦对文献进行筛选。

文献筛选的标准：首先，该研究要有明确的预测对象，即学习者的学业成就和学业风险以及相关的认知技能提升等；其次，该研究要阐明其研究的学习场所和参与主体，对没有介绍教学任务类型和过程的研究暂不参考；最后，对文献中研究方法不明确、预测指标介绍不充分、分析过程不清晰的研究暂不参考。最终本综述采纳的文献为83篇。

在对这83篇文献进行阅读、梳理和归纳时，本综述特别关注了每篇文献中研究所处的学习场所和情境、任务类型和参与主体，以及这些预测指标和研究可能适用的归类框架。

（一） 学习场所和情境

对学习分析研究所在的学习场所的划分，与学习分析领域的发展历史和主要团队的研究经历密切相关。早期教育数据挖掘和学习分析的研究团队，传承自上世纪90年代前后智能导师系统的研究团队，其关注的应用场景主要集中在 K-12 教育中，特别是学校教学场所下的学科教学。同时，本综述发现学习分析领域。另外一类代表性的研究团队来自加拿大、英国、荷兰等国的开放大学，这类研究的应用场景主要集中在成人学习和远程学习的环境下，更多地与学习者具体的工作场所相结合。

学校场所的教学与学科知识密切相关，而工作场所的教学则往往与实际问题和专业发展相关，两者的教学目标、组织形式、内容逻辑和评估方式等都存在很大的差异。因此，在梳理预测指标时，本综述在学习场所和情境的维度上划分为学校场所（School）和工作场所（Workplace）。

（二） 任务类型和参与主体

对学习分析研究所关注的任务类型和参与主体的划分，则受到领域内使用的不同技术手段影响。在学习分析领域，具有坚实数据挖掘技术基础的学者主要具备两类技术：机器学习的技术和社会网络分析的技术。机器学习的技术主要关注个体行为的数据挖掘，通过训练机器而达到预测个体行为的目的；社会网络分析的技术则更关注个体在群体中的关系、位置和交互模型，常常用来分析论坛讨论等。因此，不难看出，学习分析关注的任务类型和参与主体往往可以分成两大类：个体（Individual，大多数情况下学习者独自学习）和群体（Cohort，大多数情况下学习者会在群体中进行合作学习或协作学习）。

上文中提到的代表性学者的研究，都可以从学习场所和任务类型两个维度进行剖析。例如，Ryan Baker的早期研究大多关注课堂教学中师生使用智能导师系统的学习过程，聚焦在 K-12 阶段的学科教学（如小学数学），多采用数据分析与田野调查结合的方式开展研究，关注智能导师系统中个体学习者的正面或负面行为，并对学习结果进行预测。Baker在上述研究情境框架中，分属在 School-Individual 象限。但随着他于2013年开设了“大数据与教育”这门MOOC，其研究场所也逐步扩展到 MOOC 等非传统学校教学环境。

（三） 预测指标分类框架

正如上文介绍其他综述时提到的，不同的学者对预测指标有着不同的分类方式，并没有形成统一的分类框架或标准。本文通过分析国内外学者对预测指标的一般分类思路，经过对文献的梳理和归纳，将学习分析领域通常归纳为两大类指标：倾向性指标（Dispositional Indicators）和行为表现指标（Activity and Performance Indicators）。

倾向性指标主要指学生进入学习环境时自身已经带有的一些属性，包括他/她的固有指标（如性别、年龄、种族等）和过去的经历（如社会经济背景、上学期GPA、初始知识等）。在适应性学习的文献中，倾向性指标也常被称为静态指标，即进入学习环境后不会随着学习过程而改变的指标（斯伯克特， 等， 2012）。

行为表现指标主要指学生在学习过程中体现的动态指标，如浏览在线课程的频次和时长、论坛发帖的数量、线上讨论的师生和生生交互程度等。静态指标和动态指标对于学习结果的预测是相辅相成的，学习初期静态指标（如初始知识、智力、兴趣）的预测能力较强（Whitener， 1989），而随着学习过程的推进，倾向性指标的预测能力明显衰减（如图1），而行为表现指标则成为核心的预测指标（Park & Tennyson， 1986）。

图1 倾向性指标和行为表现指标预测能力变化①

在本研究中，动态指标得到重点的关注和分析，并被分为人机交互变量和人际交互变量。因为学习分析研究大多数为技术辅助的教学，人机交互特指学习者（有些情况下也包括教学者）与学习管理系统（LMS）等计算机环境之间的交互行为；人际交互变量则包括了师生和生生之间的问答、讨论等交互行为。

因此，对预测指标的综述有以下三个特点：

第一，在学习场所和情境上，注重学校场所（School）和工作场所（Workplace）；

第二，在任務类型和参与主体上，分成个体（Individual，个体学习任务）和群体（Cohort，合作学习或协作学习任务）两类；

第三，在梳理预测指标的框架上，提出了“倾向性指标-人机交互指标-人际交互指标”这样一个分类框架。

下文将重点按照这个分类框架展示学习分析领域中得到广泛验证的几个关键预测指标。

三、学业成就和学业风险的预测指标

（一） 倾向性指标

在学生进入学习环境之初，针对学生的学业表现，有些倾向性指标就体现出较高的预测能力，良好的初始知识和高初期表现的学生往往能够在最终呈现“成功”的学习状态（Mckay， Miller， & Tritz， 2012）。这些研究发现所处的情境大多数为学校场所下的个体学习。常用的高预测能力指标就是GPA等核算学生过去学业表现的数据指标，如密歇根大学的Tim McKay认为学期初学生的GPA为学期末的学业表现贡献了近一半的预测能力（Mckay， et al.， 2012）。在某个单门课程或某个学习项目表现的预测上，借助决策树等工具，学习者相关的过往成绩也表现出一致的良好预测能力（孙力， 等， 2015； Bainbridge， et al.， 2015）。

在诸多著名的学习分析应用环境下，如在普度大学的Signals系统、密歇根大学的E2 Coach系统、北亚利桑那大学的GPS学习系统中，虽然具体采纳的数据不同（如学生入学测验综合得分、过往学期的平均课程得分等），但学生过往的学习成绩都是各系统采纳的核心预测指标（Arnold & Pistilli， 2012； Mckay， et al.， 2012）。过往学习成绩较高的学生往往体现出“优秀”的惯性，本身也具备较为积极的学习态度、较强的学习能力，有更大的概率在今后的学习中继续获得较高的学业成就；反之，低过往学习表现的学生则存在潜在的学业风险。

除了表象的学习成绩，学生的知识掌握情况也是对学业成就强有力的预测指标。20世纪90年代前后，主流的适应性学习研究学者认为初始知识是随后学习最重要的决定性因素（Alexander & Judy， 1988； Glaser， 1983； Tobias， 1994）。学生在进入学习时具备的知识储备，在很大程度上决定了其学习的难易程度、理解的深入程度和应用的熟练程度，并且对其学习的目标导向有影响。

除了初始知识之外，学生具备的其他技能和基础，如语言能力，往往也会导致学业成就的差异。例如，在美国中小学阶段的学科教学（Snow & Biancarosa， 2003）或者全球背景下的MOOC教学中（Halawa， 2014），学习成绩的差异往往与语言熟练程度的差异密切相关。因此，初始知识和技能状态的高低往往可以作为预测学业表现的关键指标之一。

倾向性指标除了学生的往期学习成绩、初始知识等固有的指标，也包括一些心理学测量出的倾向性指标。例如，Simon Buckingham Shum和Ruth Crick在2012年介绍了“learning power（学习驱动力）”这个概念，并综述了其用于预测学业成就以及认知能力的相关研究（Shum & Crick， 2012）。研究通过综述学校场所和工作场所的教学（包括了个体学习的应用和合作学习的应用）发现：学习驱动力能够有效地作为预测指标，估计学习者能否获得较高的测试得分，也能预测其在学习中和学习后体现出的自我调节的学习能力（包括制定学习目标、开展学习评估、进行自我反思等），在有些情况下也与学生能否开展高阶思维相关（Shum， et al.， 2012； Crick， et al.， 2015； Godfrey， et al.， 2013）。

关于几个关键倾向性指标的梳理，可参见表1。

（二） 人机交互指标

在各种技术辅助教学的学习环境下（如学习管理系统、智能导师系统、MOOC等），学习者的学习就是其与计算机发生交互的过程。通过人机交互的行为数据，进行学业表现和认知能力预测成为一个重要的研究方向。

人机交互行为的频次和时长往往能够成为重要的预测指标，因为较高的交互频次和较长的登录时长往往意味着学习者花费更多的时间和精力用于内容学习（努力程度），也显而易见地容易获得较高的学业表现（Brown， 2012； 牟智佳， 等， 2017； 王亮， 2015； 贾积有， 等， 2017）。但是，这并不意味着获得高学业表现的学生一定存在高交互行为，有些获得高分的学生并没有积极地参与网上学习环节。在线学习的努力程度如果发生巨大的转折（Turing Track），比如过去有着丰富人机交互行为的学生（浏览次数多、发帖数量多等），其浏览数量和发帖数量骤减，则往往意味着该学生正在离开课程或存在明显的学业风险（Brown， 2012）。

Baker等人也认为负面的学习行为对潜在学习风险有着较强的预测能力（Baker， et al.， 2010）。Baker早期的研究聚焦于智能导师系统中存在的“玩弄系统”（gaming the system）行为，玩弄系统行为指的是滥用帮助和系统性试错等可以不通过思考而获得正确答案的行为（Baker， et al.， 2004）。而大量的实证研究表明，在控制住初始知识和学习能力等变量的基础上，玩弄系统行为对学习者的学习成绩有显著的负面影响，是学业风险预警的关键指标（Baker， et al.， 2004）。玩弄系统行为不仅会在短期内（如中学时的一个学期）造成课程学习的失败，从长期看来，存在玩弄系统行为的学生在其大学阶段选择专业时也与其他学生存在显著差异：这部分学生更倾向于避开STEM专业，更多地选择商科、社会学、公共服务等学科（Pedro， et al.， 2015）。

从学习者行为投入的类型来看，参与、坚持、专注等外在行为表现也是内在情感状态的一种反映（李爽， 等， 2016）。因此，除了具体的行为，学生在学习过程中体现出的情感状态也是对学业成就具有较强预测能力的变量。通过识别和对比六大类学习中常见的情绪状态（厌倦、受挫、困惑、专注、高兴和吃惊），诸多跨国家（美国和菲律宾）和学习环境（智能导师系统、对话导航、教育游戏等）的研究表明：对学习有最持续、最负面影响的是厌倦的情感状态，而受挫对学习的负面影响则并不显著（Baker， et al.， 2010）。在情绪状态方面，随着最近几年可穿戴设备的兴起，也有团队利用可穿戴技术设备监测学习者的生理状态（如心率、步频等），并借此关联学习者的情绪状态（如学习中的抗压能力和应对挑战能力等），进而预测学习产出（Mitri， et al.， 2016）。

在人机交互指标中，除了主流的通过log数据等代表的客观交互数据，也有学者开始通过关联分析或语义分析的技术对学习者的人机交互数据（如在线写作中表达的观点）进行分析。有研究发现，在博客或写作作业中能够将教授的概念和知识形成原创性的新理解并在新的扩展性质的情境下进行使用的学生，往往意味着具有较好的理解和应用能力（Jóhann & White， 2012）。类似的研究也存在于工作场所中：Ley和Kump通过将学习者的日常学习行为与潜在知识或技能进行关联，形成的知识表征事件（Knowledge Indicating Events）頻次被证明是良好的预测指标。知识表征事件和原创性得分等高级变量被认为是可以预测高阶思维能力和良好认知能力的指标之一（Lárusson， et al.， 2012； Ley & Kump， 2013）。

关于几个关键人机交互指标的梳理，可参见表2。

（三） 人际交互指标

与人机交互指标一样，人际交互的参与程度也能对学业表现和认知能力有一定的预测能力，如美国鲍尔州立大学使用的MAP系统将学生在线讨论的参与频次、发帖数量等作为预测其学业表现的关键变量之一（Mat， et al.， 2013）。同样的结论也在国内诸多文献中得到了验证（郝巧龙， 等， 2016； 牟智佳， 等， 2017； 贺超凯， 等， 2016）。

除了参与交互的投入程度，在人际交互中学习者构建的互动链接和体现出的中心度则能显示成功学生和失败学生之间的不同（通过最终课程分数判断）（Macfayden & Dawson， 2010），如位于社会网络边缘或无连接的学生普遍存在一定的学业失败风险，需要引起自身和教师的关注，并采取特定干预（Dawson，2010）。基于这些学生行为变量的分析以及数据的可视化，Dawson等人开发了SNAPP系统（Bakharia & Dawson， 2011），该系统的工作原理和效果将在下文进行详细阐述。

交互行为之上，是个体对于交互的认识、把控和体验。在学习分析领域，有学者深入研究人际互动中学习者个体对自我学习的把控能力和学习社区（往往也可以扩展到实践共同体和探究共同体的范畴）的参与情况。如在工作场所的情境下，Gragan Gasevic及其团队关注学习者能否浏览他人学习目标和学习轨迹，并在参与讨论对话的过程中对自身的自我调节学习技能习得有所帮助（Holocher-Ertl， et al.， 2011； Gasevic， et al.， 2012）。研究发现，学习者能否将自身的学习目标与所在工作环境的组织发展目标相结合（这往往需要教学设计者加以引导），也就是说学习者的成就目标取向（Goal Orientation）情况，是其专业发展成功的影响因素之一。

而在这些研究中，学习者表现出的社交意识（social awareness）或社群意识（Sense of Community）则深刻地影响了学习者认知能力的发展（Siadaty， Gasevic， & Hatala， 2016； McMillan & Chavis， 1986），对相关意识的测量也成为潜在的预测指标。教学者和设计者为学习者提供的技术脚手架（比如，借助可视化工具让学习者了解同伴的学习路径、学习目标和问题解决策略等），能够有效地提升学习者的社交意识，最终促进学习者的学习过程和学业产出（Siadaty， et al.， 2016）。同时，这种促进也体现在学生自我调节的学习策略和技能提升方面（Gasevic， et al.， 2012）。

围绕社交意识或社群意识概念，Rovaid等学者也提出了诸如CCS量表等测量工具，Shane Dawson等人在学习分析领域内也进一步实践和验证了这些测量工具的有效性。但在这里值得指出的是，社群意识等概念在人际交互中属于中介变量的位置，学生的交互频度等基础指标可以预测其高低，其自身的高低也能进一步预测学业表现和认知能力的发展（Dawson， 2004）。

除了上面谈到的交互行为、中心度、目标取向和社群意识等预测指标，体现高阶思维的对话模型（如学术争辩和探索性对话）也能够较好地预测高层次认知能力的发展（Shum， 2008）。在这方面，Shum及其英国开放大学的同事们致力于开发有用并好用的工具（如Cohere），并深入探讨了这种工具的设计原则以及应用过程（Shum， 2008），该模型将在下文进行详细阐述。总的来说，Shum等人发现，研究者通过话语分析可以寻找到探究性对话的标志性词汇或者对话模式（包括分享、挑战、评价或审慎思考等），并基于此设计预测或推荐模型，让师生能够意识到哪里正在发生有意义的深度对话（Ferguson & Shum， 2011）。

本文关于几个关鍵人际交互指标的梳理，可参见表3。

四、预测分析的典型应用

上面以具体指标为单位，综述学习分析领域重要的三类预测指标以及这些指标适用的学习场所和任务类型。下面，本文将按照“学校场所和工作场所”和“个体学习和群体学习”两个维度划分的四个象限，在每个象限中选取一个典型的学习分析系统，对预测分析做进一步的阐述。

（一）学校场所与个体学习：Signals系统

Course Signals系统是美国普渡大学于2007年开发的学习预警系统，经过多年的实践和研究，Signals系统已经成为当今学习分析领域最为成功的实践案例之一（如图2）。最初的Signals系统是针对普渡大学大一新生开发的，用以预测学业表现和学生保留的数据挖掘工具，服务于师生以达成更高的学习成功率和学生保留率，属于典型的学校场所下主要服务于个体学习情境的学习分析应用（Arnold & Pistilli， 2012）。

系统主要依据四个预测指标：表现行为（课程内截止开展分析时学生获得的分数）、努力程度（相较课程评价水平学生在学习管理系统内交互的频次等）、过往学业成绩（包括高中时期的GPA分数、标准化考试得分等）以及学生的基本数据（如年龄、住处等社会经济背景信息）。通过特定的学业成功算法（student success algorithm，SSA），学生的学习过程状态被划分成红灯（高风险）、黄灯（预警）和绿灯（良好）三个状态。状态通过可视化的手段反馈给老师和学生，以便老师采取一系列的干预措施，包括将Signals信号在学生端凸显、给高风险学生推送邮件、当面约谈等。随着系统的迭代开发，学生端也逐渐能够看到自己各门课程的Signals状态，并可以主动采取某些自我干预的行为（Arnold， et al.， 2012）。

图2 普度大学Signals系统应用①

一项跨度三年的研究结果表明，在学业成就和学生保留的层面，使用Signals系统的学生群体学业成就明显高于不使用该系统的学生群体，相应的学生保留率也显著高于不使用该系统的学生群体。特别是在2007年入学的学生中，使用2次以上该系统的群体学生保留率达到了93.24%，而同年入学的学生中不使用该系统的群体学生保留率仅为69.40%。另外，从具体的课程学习行为看，关注学习信号并从Signals系统中提取反馈的学生，往往能够获得更好的学业成就，并且其中有更高比例的学生主动寻找教学资源（Arnold， et al.， 2012）。

（二）学校场所与群体学习：SNAPP系统

SNAPP（Social Networks Adapting Pedagogical Practice），是Shane Dawson团队在2008年开发的基于社会网络分析技术、针对学习管理系统内论坛讨论行为的实时可视化工具和教学反馈工具。该工具主要分析的数据为学习者和教学者在学习管理系统中，处在合作学习的学习任务时，进行在线讨论的交互行为，属于典型的学校场所下主要服务于群体学习的学习分析应用（Bakharia & Dawson， 2011）。

该系统主要的教学应用包括：识别讨论中高交互或孤立的参与者（在交互网络中与他人没有连接的人或处于中心位置的人，如图3第一幅）、识别讨论的模式或结构化缺陷（教师为中心的讨论模式，如图3第二幅）、自我社会关系网络分析图（ego network analysis）（识别社会网络关系中的强联系和弱联系，如图3第三幅）、监控网络发展和讨论连续性以及跨论坛的评估和比较等（Bakharia， et al.， 2011）。

工具的开发充分考虑了社会网络技术与教学实践的结合，特别是研究成果转化成可指导行为的洞见。例如，SNAPP帮助教师如何在密集而复杂的社会网络关系图中找到有待深入了解的模式：在图3的自我社会网络关系图中，选中某一位学生后（粗线圆圈标记），系统会将其交互行为进行连线，将方向、中心度、发帖量和联系强弱可视化。在该学生发生交互的所有学生网络中，与之存在强联系的学生边缘和连线呈现粗黑线，而与之存在弱联系的学生则呈现细黑线。结合以往社会网络分析的研究：强联系意味着共识和对某个知识信息的固化，弱联系意味着观点的差异和新知识的产生。这样的可视化结果对于教学干预的指导价值是：如果教学者希望发生更多的发散性讨论，则应该鼓励更多具有学科和专业背景差异的学习者找到彼此并开展讨论（Bakharia， et al.， 2011）。

（三）工作场所与个体学习：Learn-B系统

Learn-B是Gragan Gasevic团队于2012年基于语义分析技术和工作场所下的自我调节学习理论所开发的学习环境原型，属于典型的工作场所下主要服务于个体学习情境的学习分析应用（Gasevic， et al.， 2012）。

Gasevic等学者将自我调节的学习视为组织内学习（organizational learning）的一部分（Gasevic， et al.， 2012），强调明确组织内学习目标（组织层次）是促进工作场所自我调节学习（个人层次）的重要途径。按照自我调节学习的理论框架，Learn-B被设计成7个主要的学习步骤。

在该系统中（如图4所示），刚进入系统的公司新员工可以看到公司整体的愿景、工作和能力需求。通过匹配自己的工作职责和能力需求，该新员工可以看到一系列按优先级排序的能力清单，并基于此设置自己的学习目标。当员工在设定目标时遇到困难后，他可以通过了解其他相似阶段的员工学习了什么、达成了什么能力作为参考。在设定目标后，系统会按照该员工设定的目标推荐和匹配相应的学习活动，形成初步规划好的学习路径。在进入学习路径后，系统会提供学习自我监控的工具，让员工可视化地了解到自己在该能力任务上的进展情况。不仅如此，该员工还能看到其他员工发布的在相似能力任务下的能力发展更新、学习文档分享、学习任务递进等信息（Social Wave），并且通过可视化的界面将自己的学习与组织整体的情况做比较（Gasevic， et al.， 2012）。

开发团队将Learn-B的工作场所下自我调节学习的关键步骤和Learn-B提供的主要干预工具做关联度分析，研究发现Learn-B的几个关键工具或干预能够很有效地支持员工的自我调节学习。最主要的一个研究发现是：如果系统提供的干预能够唤起或者提高员工的社群意识，则往往能够预测正向的学习产出（Gasevic， et al.， 2012）。

（四）工作场所与群体学习：Cohere系统

Cohere是英国开放大学Simon Buckingham Shum团队2008年前后开发的基于Web 2.0设计原则的在线研讨、观点分享工具。在宏观上致力于为全球化背景下重要实践和研究问题提供基于语义分析技术和可视化技术的学术争辩工具，属于典型的工作场所下主要服务于群体学习情境的学习分析应用（Shum， et al.， 2012）。

基于工作场所下学习者产生的数据集，Cohere关注学习分析领域的四個问题：第一，参与者的注意力集中在哪里？第二，参与者在对话中所持的态度如何？第三，学习话题的分布如何（如图5所示的话题分布及关联）？第四，组内部参与者之间的社会网络关系如何？（Liddo， et al.， 2011）

研究发现，通过话语分析研究者可以寻找到探究性对话的标志性词汇或者对话模式（包括分享、挑战、评价或审慎思考等），基于此可以设计预测或推荐模型，在学习环境下让师生意识到哪里正在发生有意义的深度对话（Ferguson， et al.， 2011），而参与者在Cohere环境下的对话中（如学术争辩和探究性对话）往往能够激发更高的参与程度和对知识更深的理解，同时也有可能发展出较高层次的认知能力（Ferguson， et al.， 2011）。

五、总结

通过上面的综述，可以看出学习分析领域中预测指标研究的特点。

第一，预测指标和模型的建立往往植根于情境之中，如特定的教学机构、具体的学科内容或不同的学习层次以及特定的数据采集能力（Wagner & Ice， 2012； Shum， 2012）。目前，学习分析领域内预测指标的研究仍然有限，大多数预测指标由于自身属性的原因都难以得到跨学习场所和任务类型的可靠的交叉验证，具有普适性的预测指标并不多。因此，一方面，使用预测指标时应审慎地看待学习环境等因素差异，审慎地选择预测指标并构建预测模型；另一方面，这也是未来研究者对于某个或某些预测指标开展深入研究的方向之一。对于普适性指标的研究也是未来研究的方向之一，如学习驱动力、坚毅（Grit）等综合性较强的指标跨情境的检验。

第二，21世纪的学习被理解为一种参与过程（Thomas & Brown， 2009），学生参与的频次多少与程度深浅能显著地预测学业表现。在学习管理系统中，学生发生更多的浏览行为、花费更多的时间学习、发出更多的帖子和回复等正面的参与行为，都能在一定程度上预示着较高的学业表现。而积极行为的消失和负面学习行为的出现，则往往意味着学习者存在一定的失败风险。特别是从情感动机层面和行为表现层面，学生玩弄系统、粗心、厌倦情绪等典型的负面行为和情绪对识别学困生有着非常高的预测能力。同时，将传统教育心理学具有学理基础的概念与学习者客观的行为进行匹配，也是非常有前景的研究方向，这有助于加强教育学研究与实践的进一步结合。

第三，学校场所的预测需求集中在学业表现，而工作场所的预测需求则不仅关注学业表现，更关注认知技能在实际工作中的运用及其效果。工作场所相对于学校场所，更强调问题解决的目标导向以及自我调节的学习策略养成。在工作场所的背景下，以往的自我调节学习研究存在过分强调个人学习或利己学习的前提（Jackson， et al.， 2000），忽视了工作场所的社会属性以及学习者的学习与实践都是以所在共同体为中心（Gasevic， et al.， 2012）。因此，工作场所的研究相对集中在人际交互的层面，特别是构建实践共同体（或探究共同体）中的社群意识和组织目标取向等高层次预测指标。但总的来说，聚焦在工作场所中专业发展领域的研究相对较少，对于可靠的预测指标还有待进一步的挖掘，而这也是未来潜在的研究方向之一。

学习分析是教育技术专业新兴的研究领域，而作为一个研究领域，预测分析仅仅是其中的一个子领域或子话题。关于预测指标的研究与实践，需要我们秉持“从数据中建构意义”的理念，力图真正运用预测指标对学习者建立准确理解、对教学过程做出专业判断、对学业风险做出有效干预。随着对于建构意义的不断深化理解，研究者和教学者都应该充分意识到学习的复杂性和多样性，特别重视研究的情境与实用性以及学习理论的应用和迁移。同时，需要警惕的是，对于数据无意义的挖掘、分析可能会对教学产生误导和不可知的负面影响，因此如何构建意义以及分析过程中的隐私保护等问题显得格外重要。

[参考文献]

贺超凯，吴蒙. 2016. edX平台教育大数据的学习行为分析与预测[J]. 中国远程教育（6）：54-59.

贾积有，于悦洋. 2017. 学习活动指数LAI及在线学习活动指数OLAI的具体分析[J]. 中国远程教育（4）：15-22.

李爽，王增贤，喻忱，等. 2016. 在线学习行为投入分析框架与测量指标研究——基于LMS数据的学习分析[J]. 开放教育研究，22（2）：77-88.

牟智佳，武法提. 2017. MOOC学习结果预测指标探索与学习群体特征分析[J]. 现代远程教育研究（3）：58-66.

斯伯克特，任友群. 2012. 教育传播与技术研究手册[M]. 上海：华东师范大学出版社.

孙力，程玉霞. 2015. 大数据时代网络教育学习成绩预测的研究与实现——以本科公共课程统考英语为例[J]. 开放教育研究（3）：74-80.

維克托·迈尔-舍恩伯格，肯尼思·库克耶. 2013. 大数据时代：生活、工作与思维的大变革[M]. 浙江：浙江人民出版社.

武法提，牟智佳. 2016. 基于学习者个性行为分析的学习结果预测框架设计研究[J]. 中国电化教育（1）：41-48.

Alexander， Particia A， Judy， et al.（1998） The Interaction of Domain-Specific and Strategic Knowledge in Academic Performance.[J]. Review of Educational Research， 58（58）：375-404.

Arnold K E， Pistilli M D.（2012） Course signals at Purdue：using learning analytics to increase student success[C]// International Conference on Learning Analytics and Knowledge. ACM， （p267-270）.

Bainbridge， J.， Melitski， J.， Zahradnik， A.， Eitel J. M. Lauría， Jayaprakash， S.， & Baron， J. （2015）. Using learning analytics to predict at-risk students in online graduate public affairs and administration education. Journal of Public Affairs Education， 21（2）， 247-262.

Baker R S J D， DMello S K， Rodrigo M M T， et al.（2010） Better to be frustrated than bored： The incidence， persistence， and impact of learnerscognitive-affective states during interactions with three different computer-based learning environments[J]. International Journal of Human-Computer Studies， 68（4）：223-241.

Baker R S， Corbett A T， Koedinger K R.（2004） Detecting Student Misuse of Intelligent Tutoring Systems[C]// International Conference on Intelligent Tutoring Systems. 531-540.

Bakharia A， Dawson S.（2011） SNAPP：a birds-eye view of temporal participant interaction[C]// International Conference on Learning Analytics and Knowledge， Lak 2011， Banff， Ab， Canada， February 27 - March. DBLP，168-173.

Berry， L. J.（2017） Using Learning Analytics to Predict Academic Success in Online and Face-to-Face Learning Environments[D]. US：Boise State University. 1-129

Bukralia R， Deokar A V， Sarnikar S（2015）. Using Academic Analytics to Predict Dropout Risk in E-Learning Courses[M]// Reshaping Society through Analytics， Collaboration， and Decision Support. Springer International Publishing， 67-93.

Crick R D， Huang S， Shafi A A， et al.（2015） Developing Resilient Agency in Learning： The Internal Structure of Learning Power[J]. British Journal of Educational Studies， 63（2）：121-160.

Dawson S P， Winslett G M， Burr L.（2004） Toward A Quantitative Analysis Of Online Communities[J]. Online Learning.

Dawson S.（2010） ‘Seeing the learning community： An exploration of the development of a resource for monitoring online student networking[J]. British Journal of Educational Technology， 41（5）：736-752.

Ferguson R， Shum S B.（2011） Learning analytics to identify exploratory dialogue within synchronous text chat[C]// International Conference on Learning Analytics and Knowledge. ACM， 99-103.

Gasevic D， Jovanovic J， Kai P， et al.（2012） Self-regulated Workplace Learning： A Pedagogical Framework and Semantic Web-based Environment[J]. Journal of Educational Technology & Society，15（4）：75-88.

Glaser R.（1984） Education and thinking： The role of knowledge.[J]. American Psychologist， 39（2）：93-104.

Godfrey P， Crick R D， Huang S.（2013） Systems Thinking， Systems Design and Learning Power in Engineering Education[J]. International Journal of Engineering Education， 30（1）：112-127.

Halawa S.（2014） MOOC dropouts： What we learn from students who leave[J].University World News， available at：www.universityworld news.com/article.php

Holocher-Ertl T， Fabian C M， Siadaty M， et al.（2011） Self-regulated Learners and Collaboration： How Innovative Tools Can Address the Motivation to Learn at the Workplace？[M]// Towards Ubiquitous Learning. Springer Berlin Heidelberg， 506-511.

Jackson T， Mackenzie J， Hobfoll S E.（2000） Communal aspects of self-regulation.[J]. Continental Shelf Research，31（14）：275-300.

Jóhann Ari Lárusson， White B.（2012） Monitoring student progress through their written "point of originality"[C]// International Conference on Learning Analytics and Knowledge. ACM， 212-221.

Ley T， Kump B.（2013） Which User Interactions Predict Levels of Expertise in Work-Integrated Learning？[M]// Scaling up Learning for Sustained Impact. Springer Berlin Heidelberg，178-190.

Liddo A D， Shum S B，（2011） Quinto I， et al. Discourse-centric learning analytics[C]// Proceedings of the 1st International Conference on Learning Analytics and Knowledge. 23-33.

Macfadyen L P， Dawson S.（2010） Mining LMS data to develop an “early warning system” for educators： A proof of concept[J]. Computers & Education， 54（2）：588-599.

Malcolm， Brown.（2012） Learning Analytics Moving from Concept to Practice[R]. EDUCAUSE Learning Initiative：EDUCAUSE， 1-5.

Manyika J， Chui M， Brown B， et al.（2011） Big Data： The Next Frontier For Innovation， Competition， And Productivity[J]. Analytics.

Mat U B， Buniyamin N， Arsad P M， et al.（2014） An overview of using academic analytics to predict and improve studentsachievement： A proposed proactive intelligent intervention[C]// Engineering Education. IEEE，126-130.

Mckay T， Miller K， Tritz J.（2012） What to do with actionable intelligence：E2Coach as an intervention engine[C]// Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM， 88-91.

Mitri D D， Scheffel M， Drachsler H， et al.（2016） Learning Pulse： Using Wearable Biosensors and Learning Analytics to Investigate and Predict Learning Success in Self-regulated Learning[J]. Learning Andlytics & Know Ledge Conference.

Park O， Tennyson R D.（1986） Computer-based response-sensitive design strategies for selecting presentation form and sequence of examples in learning of coordinate concepts.[J]. Journal of Educational Psychology， 78（2）：153-158.

Pedro M O Z S， Baker R S， Heffernan N T， et al.（2015） Exploring college major choice and middle school student behavior， affect and learning：what happens to students who game the system？[C]// International Conference. 36-40.

Shum S B， Crick R D.（2012） Learning dispositions and transferable competencies：pedagogy， modelling and learning analytics[C]// International Conference on Learning Analytics & Knowledge. 92-101.

Shum S B， Ferguson R， Shum B， et al.（2012） Social Learning Analytics[J]. Journal of Educational Technology & Society， 15（3）：3-26.

Shum S B.（2008） Cohere： Towards Web 2.0 Argumentation[C]// Conference on Computational MODELS of Argument： Proceedings of Comma. IOS Press， 97-108.

Shum S B.（2012） Policy Brief： Learning Analytics[R]. Moscow： UNESCO Institute for Information Technologies in Education， 1-11.

（下转第44页）

Siadaty M， Gasevic D， Hatala M.（2009） Lets Meet： Integrating Social and Learning Worlds[C]// International Conference on Computational Science and Engineering. IEEE， 879-884.

Siemens G， Long P.（2014） Penetrating the Fog： Analytics in Learning and Education.[J]. Educause Review， 46（2）：S866.

Siemens G.（2013） Learning Analytics The Emergence of a Discipline[J]. American Behavioral Scientist， 57（10）：1380-1400.

Snow C E， Biancarosa G.（2003） Adolescent Literacy and the Achievement Gap： What Do We Know and Where Do We Go From Here？[J]. New York， NY：Carnegie Corperation.

Thomas， D.， Brown， J.S.（2009） Learning for a World of Constant Change： Homo Sapiens， Homo Faber & Homo Ludens Revisited. In Proceedings of the University Research for Innovation： Proc. 7th Glion Colloquium （Montreux， Switzerland）.

Tobias S.（1994） Interest， Prior Knowledge， and Learning[J]. Review of Educational Research， 64（1）：37-54.

Verbert K， Govaerts S， Duval E， et al.（2014） Learning dashboards： an overview and future research opportunities[J]. Personal & Ubiquitous Computing， 18（6）：1499-1514.

Wagner E， Ice P.（2012） Data Changes Everything： Delivering on the Promise of Learning Analytics in Higher Education.[J]. Educause Review， 47：8.

Whitener E M.（1989） A Meta-Analytic Review of the Effect on Learning of the Interaction between Prior Achievement and Instructional Support[J]. Review of Educational Research， 59（1）：65-86.

收稿日期：2017-08-11

定稿日期：2017-09-11

作者簡介：范逸洲，博士研究生，北京大学教育学院（100871） 。

汪琼 ，博士，教授 ，博士生导师，北京大学教育学院 ，北京大学数字化学习研究中心主任（100871） 。

责任编辑 郝 丹