教育元宇宙促进沉浸式学习的潜在领域、主要障碍与驱动技术

●单梦悦 胡永斌 杨传文

从本质上讲，Facebook(或Meta)描述的元宇宙的概念就是扩展现实(Extend Reality，XR)。扎克伯格(Iuckerberg)认为，元宇宙是一个基于XR的“具身化互联网”(Embodied Internet)，其具有的临场感、虚拟化身、瞬间移动、虚拟商品、自然交互等重要特征使得人们可以走进这个虚拟空间体验它。[1]基于扩展现实的教育元宇宙受到普遍重视，它最明显的优点就是可以为课堂提供一种沉浸式的教学互动场景，并同时满足物理世界和虚拟世界中的教与学需求。[2]教育元宇宙为后疫情时代的教育提供了潜在的新途径，沉浸式学习加速演化。沉浸式学习研究网络(Immersive Learning Research Network，iLRN)成立于2014年，旨在研究沉浸式学习的基础理论、技术前沿以及应用潜力，即元宇宙时代的学习理论(沉浸式学习理论)和核心技术(XR技术)。迄今，iLRN已在北美和欧洲等多个国家连续举办八届国际研讨会，主题覆盖沉浸式技术和系统、认知和教学分析、学习和培训应用、游戏化学习以及展望未来的创新等。iLRN“XR和沉浸式学习项目(The State of XR &Immersive Learning Project)”通过定期调查XR和沉浸式学习图景，确定最有效的技术应用、教学方式和其他创新，以推进XR和沉浸式学习相关的研究和实践，并支持K-12到高等教育以及工作场所和终身学习的整个学习过程。2022年2月17日，项目发布了首份《扩展现实与沉浸学习发展报告》(State of XR &Immersive Learning Report)。基于此，本文深度解读《扩展现实与沉浸学习发展报告》(以下简称《报告》)，了解当前XR和沉浸式学习的最新进展，以促进未来教与学方式的变革，为教育元宇宙促进学习、提升教育质量等学术研究和教育实践提供参考。

一、报告框架

《报告》着眼于未来教育发展，由iLRN、美国高等教育信息化协会(EDUCAUSE)、学校网络联盟(CoSN)等共同完成。100多位教育工作者、教育领导者、研究者、技术专家及其他学习领域的人士组成全球专家小组，通过四个月的在线讨论、撰写形成该《报告》，框架如下图所示。在此期间，专家小组以三个主要研究问题为核心开展了连续三轮的调研与对话，并最终以组内投票的方式确定了《报告》主题，即：(1)沉浸式学习的潜在领域；(2)XR技术的主要障碍；(3)学与教变革的驱动技术。

首先，XR与元宇宙战略家、纽约新学院XR和HCI创新实验室主任玛雅·格奥尔基耶娃(Maya Georgieva)报告了未来3年内XR促进学习的七个潜在领域：促进真实学习体验、激发创新创造能力、在学习中融合沉浸式叙事、在STEM中整合沉浸式学习、利用社交虚拟现实平台促进协作、创设沉浸式混合现实学习空间与实验室及开发未来劳动者的能力。其次，乔治城大学高级学者布莱恩·亚历山大(Bryan Alexander)阐述了技术采用时在访问、经济、互操作性、教师、教育内容和基础设施等方面的六大障碍。最后，基于XR与相关技术融合的广阔生态系统，Digital Bodies联合创始人、ShapingEDU项目创新者埃默里·克雷格(Emory Craig)探讨了催化发展的核心技术：XR资源、触觉反馈和感官接口、体积捕捉和动作传感、游戏、人工智能以及基于循证的XR学习设计，以了解其改变学与教的潜力，促进未来教育的发展。

二、教育元宇宙的潜在领域：沉浸式学习的需求和机遇

(一)促进真实学习体验

《Learning in Virtual Worlds》[3]第六章中，海伦·法利(Helen Farley)总结了众多学者的研究，提出真实性学习的十个本质特征：现实相关性、学生定义任务、学生完成任务、学生从不同视角检查任务、提供协作、提供反思、提供评价、跨学科整合应用、创造产品、竞争性解决方案和多样化结果。但是，为学习者提供符合上述特征的体验一直是一项挑战。随着XR教育用例和应用程序跨学科发展，设计要素和功能以促进元宇宙中的学习体验备受关注。如，STRIVR《沉浸式学习终极指南》强调感知和情感上的保真让人在虚拟世界中保持临场感，能够面对挑战、做出决策并体验结果，这对于知识保留和迁移至关重要。[4]因此，XR技术和沉浸式学习可作为学习者有意义体验的新型杠杆。

(二)激发创新创造能力

西蒙·派珀特(Simon Piper)的建构主义观认为，直接参与到一种现象去创造学习，可以引起对该现象更深层次的理解。他还提出，应使用计算机应用程序帮助学生探索和发现学习活动中的微观世界，激励批判性思维的发展。XR赋予学生快速创造、协作、共享和原型的“超能力”，以及可视化、构建具身和假设测验场景的能力。2020年，VR/AR全球峰会学生竞赛中，纽约新学院阿克尚什·乔杜里(Akshansh Chaudhary)的VR体验作品获奖并获名“空间性(Spatiality)”，展示了学生使抽象联系变得有形的创新能力。[5]教育元宇宙正在激发学习者作为创意设计师和制造者的能力，这也将引领他们创造出有意义的学习机会。教育元宇宙构建的教学世界将充分实现派珀特的理想。

(三)在学习者融合沉浸式叙事

XR具有精确模拟仿真的潜力，但XR的全部潜力将利用人们对叙事的需求，以一种跨学科方式来实现。WITHIN联合创始人克里斯·米尔克(Chris Milk)将XR和沉浸学习视为“一种媒介的基础，而此媒介可能比电影、戏剧、文学以及将人们联系起来的任何其他媒介都更强大”[6]。英国伯明翰大学Virtual Mayflower项目采用多种XR技术创建了一个教育“灵境”，并支持虚拟化身间的教育互动，这一融合多学科的“发现之旅”使学生真实参与到历史故事和文化交流中。K-12和高等教育的很多项目跨越了学科界限，沉浸式体验在促进人类共鸣方面的潜力为元宇宙提供了独特的机遇。教育是元宇宙最重要的场景，显示出其促进教育实践多样性、公平性和包容性的力量。

(四)在STEM中整合沉浸学习

XR的趋势标志着一种新型的范式转变：从物理或平面式仿真过渡到沉浸式、具身场景和环境。很多示例展示出XR技术对学习者STEM教育体验的深刻影响，如Veative、zSpace等公司为K-12教育提供全套XR科学仿真设备、Dreamscape Immersive和ASU合作的STEM及其他学科的线下线上课程XR体验、宾夕法尼亚州立大学的虚拟生态森林[7]等。元宇宙中的STEM仿真可以通过自适应学习和重复练习，从而进行游戏化。总之，数字环境中的沉浸感至少可以在三个方面促进教育：多角度、情境学习和学习迁移。[8]以上示例展示了教育元宇宙强化STEM学习的方法，在不久的将来，与STEM相关的教育机会将继续在各学科和众领域中增加。

(五)利用社交虚拟现实平台促进协作

从Ivan Sutherland创造出第一款VR头显到2012年Oculus Rift的出现，XR基本上是一种单用户体验。虽然Second Life以来出现了“沉浸式”环境，但这些平台仍基于平面屏幕，并非真正的元宇宙体验。早期社交虚拟现实平台出现在2015-2016年，在简单功能下提供服务。今天，广泛的沉浸式社交XR平台可以满足从社交网络(如VRChat)到科学研究(如Nanome)的各种需求。因此，XR作为一个社交和协作型企业，为各种各样的学习带来新希望。完全沉浸式的Engage、AltSpace和Spatial等平台以及Virbela、FrameVR和Mozilla Hubs等元宇宙空间已成为大学在教学、学习以及社交等活动中实现虚拟环境的途径。

(六)创设沉浸式混合现实学习空间与实验室

混合现实学习空间和实验室已在K-12和高等教育中快速发展，一些大学将它们纳入现有的创客空间、图书馆和开放区域，部分大学着手建立专门的VR/AR实验室。新冠肺炎疫情加速了各大学为教学活动探索教育元宇宙的步伐，以达到支持远程学习、创设社交虚拟现实空间、提供3D创意工具的目的。远程教学中对数字工具、课程管理、实践体验以及师生互动的需要，可以通过XR技术得到理想的支持效果。迪肯大学VR实验室、Microsoft Zurich、Facebook Reality Labs(FRL)等XR实验室为未来研究提供了思路。随着XR技术的成熟，未来几年，元宇宙中混合现实实验室将会激增。

(七)开发未来劳动者的能力

K-12和高等教育都面临重塑自我以满足日益增长的创新型、敏捷型劳动力的需求。新的工作类别将部分或全部取代其他工作，新职业的技能要求将在大多数行业发生变化，并改变人们的工作方式和工作地点。[9]为满足按需培训的需求，XR已被企业迅速采用，如STRIVR利用沉浸式体验和行为科学来提高员工的敬业度、保留率和安全。医疗保健行业也在开展软技能培训，如MPathic使用虚拟人物来帮助医疗人员和实习生学习如何在提供护理时理解语言和非语言信息。随着XR的快速发展，触觉反馈和人工智能等技术创建的深度逼真模拟。

三、教育元宇宙的主要障碍：沉浸式技术的采用和挑战

(一)访问可用性

以用户能够使用的方式将其与技术联系起来是技术采用的基本障碍，通常由法律和企业供应链中造成。如，部分头显和XR软件对不同地区来说遥不可及，Oculus Quest 2在中国不可用，一些中国供应商提供的XR技术在美国和欧洲不可用。另外，作为一项新兴技术，预测产品需求往往具有挑战性，如HoloLens和Oculus Quest头显因需求超出预期而供不应求。一旦可用，配置技术以最大化用户可用性是扩散的主要难关之一。XR许多软硬件仍无法为各种残疾人所用，具体来说，媒体主要是视觉的，视障者无法使用；对于听障者，XR音频不可用。目前，使用沉浸式技术为用户设计不同呈现方式的无障碍访问极其复杂。随着教育元宇宙应用的扩展，解决这些问题的必要性将相应增加。

(二)经济可用性

许多虚拟现实技术及其产品都是昂贵的，大多数头显售价数百乃至数千美元。专家小组乔治·巴卡-阿科斯塔(Jorge Bacca-Acosta)指出：这一问题具有国际层面，在一些发展中国家，VR头显或AR眼镜等设备成本非常高，相关机构没有足够的预算购买，少数负担得起这些设备的大学主要用于科学研究，因此，学生在学习过程中使用这些技术的机会并不多。此外，其他基础设施成本如计算机硬件、高性能PC、网络带宽等也是教育元宇宙亟须突破的难关。经济上限制了XR技术在学校的使用，并可能加深国家之间的数字鸿沟。

(三)互操作性

从基本的网页和API到pdf、html5和mp3等格式，用户可以在数字世界中找到基于互操作性和共享标准的内容和服务。而XR的大部分内容都被锁定在某些硬件、软件和商业结构中，由于安全性、缺乏标准和商业模式等原因，这一封闭的生态系统会在不同程度上减少或禁止数据移动和访问。因此，从2D到3D技术的转变是一个飞跃，尤其在通过元宇宙实现数字化具身活动的媒体需求极其强烈的情况下，大量的创新、发现和实验可能先于标准和互操作性的发展。目前，XR协会开发者入门指南、IEEE ARLEM标准等有助于提高XR互操作性，实现XR技术互操作性仍任重道远。

(四)教师培训不足

2018年，EDUCAUSE报告指出：“校园早期采用者会自学使用3D技术，但许多用户需要支持服务才能使用。3D技术培训课程和研讨会能够突破早期采用者的稀有圈子，在校内获得广泛支持与关注。”除技术采用，教育工作者还需要教学法和教学设计支持。社交媒体和在线论坛等形式的在线同伴支持正在萌芽，XR在线活动也能帮助教育工作者，如iLRN在Virbela Virtual Campus中举办有关XR教育的虚拟世界会议。此外，高等教育已开始提供XR支持的研究生课程，如加利福尼亚州立大学北岭分校设立教学设计硕士学位，专注于XR、沉浸式游戏和仿真。因此，探索基于元宇宙构建的课程，能够更好地为教育实践做准备。

(五)教育内容缺乏

与任何新兴技术一样，教育工作者需深思如何为XR创建教育用途的内容。与创作任何教育材料一样，出版商需要创作时间，完成下一步加工需要员工具备专业技能，如技术、学科知识、知识评估等能力以及对受众的了解。事实上，关于XR的发展速度，商业培训将比教育组织更快。因此，元宇宙的教育内容这一研究领域需要更多关注。相关研究中领先的是医学领域，其在开发学习用途的模拟仿真材料方面已有数百年的惯例；STEM领域也在XR开发中处于领先，内容可视化是STEM课程的主要课题。此外，博物馆、艺术等领域也存在XR创作。在可预见的未来里，面向各类学习者群体的高质量XR内容的呼声将持续增长。

(六)基础设施匮乏

部署技术应用需要基础设施的基线，组织机构必须能够提供正确的软硬件和网络组合来处理XR。同样重要的是人力，要求相关人员不仅能流畅地使用技术，还可以将其部署到教育环境中，解决技术采用的难题。在低社会经济和农村地区，硬件、流式应用程序带宽、学生移动设备质量和教师数据更新频率等均是亟须解决的难题。总之，XR的使用仍是小规模的试点或课堂项目，企业级或全校范围的使用很少见，在早期采用阶段，需要技术和人工脚手架才能成长。

四、教育元宇宙的驱动技术：学与教变革的催化与发展

(一)灵活开放的XR资源

通过学习对象存储库(Learning Object Repository，LOR)访问开发XR内容仍是一项基本挑战。作为一个新兴的实践领域，使用XR开发高质量的内容通常是一项成本高昂且劳动密集的工作。与传统开放教育资源不同，开发完整的XR体验通常需要一个庞大的团队，不仅有内容专家，还包括软件工程师、用户体验专家、场景建模师、2D和3D艺术家、声音设计师和制作人等。目前，开放的XR资源正在多个领域涌现，包括开放存储库、商业供应商、其他非学术组织开发的集合及更聚焦的教育项目。值得注意的是，在解决开放存储库的需求时，前瞻性思考至关重要。

(二)触觉反馈和感官接口

XR早期研究侧重于视听输入，但触觉反馈和感官接口能加深临场感和沉浸体验，因此，这种技术可能重塑元宇宙在教育中的使用。触觉分为被动模式和主动模式，前者涉及定位低保真现实世界对象与XR中的高保真虚拟对象的同步。但是，更具开创性的研究在主动触觉领域，即将所有人类感官整合到XR体验中。结合触摸和非接触式(超声波)技术的创新型触觉反馈开发如西北大学软硅无线贴片[10]、芝加哥大学正在研究的数字联觉[11]等。此外，一些研究项目正专注于为元宇宙开发非物理接口，以充分挖掘眼动与手部追踪的巨大潜力。脑机接口取得长足进步，这一前沿研究将深刻改变触觉反馈的实现，并最终改变我们与技术的关系。

(三)体积捕捉和动作传感

在过去十年里，随着技术的进步，动作捕捉已经转移到消费者层面，初创公司和高等教育XR实验室都可以负担得起。当前，媒体工作室和大学中已经在使用动作捕捉解决方案，如OptiTrack动作捕捉平台应用于世界上第一例AR手术、VR游戏以及《The Lion King》360度全景视频的制作。这组技术的未来发展包括高级化身、实时人体跟踪以及多用户虚拟空间，Facebook Reality Labs(FRL)正专注于开发高级化身的开创性工作，如复制人体动作、面部表情和眼球运动，以突破当前XR体验和环境界限。这些发展将带来新的灵活性和开发大型元宇宙场景的选择权。

(四)XR与游戏

游戏行业是元宇宙创新的主要驱动力之一。该领域的催化发展有三个：XR游戏、XR游戏机制的集成和基于场景的学习(Scenario-based Learning，SBL)。正如《The Art of Game Design：A Book of Lenses》一书杰西·谢尔(Jesse Schell)所言：“适用于棋盘类、纸牌类和运动类游戏的心理学基本原理也是制作顶级视频游戏的关键。”[12]因此，游戏的力量在于动态地鼓励用户专注、参与并坚持关键任务。传统的学习游戏为玩家提供了角色和互动的功能，而XR使玩家完全沉浸在环境中，SBL使玩家可以在反映自己真实经验的虚拟环境中面临挑战并解决问题，在低成本重复过程中练习并加深记忆。

(五)XR与人工智能

与所有范式转换型技术发展一样，XR最重要的价值在于与其他技术进行融合，尤其是人工智能(AI)。这将深刻影响虚拟环境的生成方式、高级化身的使用以及用户体验的数据收集和分析。将AI应用于XR环境的创建和传送的相关研究正在进行中，以解决高分辨率渲染问题。另一用途是人工智能驱动的化身(具身人工智能)和虚拟助手，如Soul Machines高级化身、Magic Leap全息助手。最后，AI应用于分析数据密集型XR环境对于未来开发自适应、个性化学习体验至关重要，但XR和AI的融合可能会在未经用户知情同意的情况下收集数据，其引发的隐私问题不容忽视。

(六)基于循证的XR学习设计

XR给用户——技术关系带来范式转变，传统的教学设计不会无缝转入虚拟领域，有关认知心理学和神经科学发展的研究需要在学习环境中得到更广泛的应用。随着XR在医学和STEM学科中的使用迅速扩大，基于循证的XR学习设计将在该领域首先得到成熟发展。XR学习设计得益于医疗保健领域使用的问题解决法，包括培养探究精神、提出问题、寻找证据、评估证据、证据与学习专业知识相结合、监测和评估结果、发布和传播结果等七个阶段。高等教育XR设计也正在开展。此外，就如何测量教育元宇宙中手势的有效性以支持具身学习的系列研究也已开展。

五、启示与借鉴

(一)赋能教育教学创新，开辟元宇宙教育新方向

教育元宇宙的学习理论与核心技术在高等教育和K-12教育教学创新方面表现出重大价值，新冠肺炎疫情加速了全球范围内各大学、组织机构探索虚拟学习和增强学习的进程。紧抓教育元宇宙机遇，在各类教育应用场景中推动教学质量提升势在必行[13]。高具身、强交互、沉浸性等真实学习体验将助力教育元宇宙发展成为智慧型学习平台、沉浸课程、虚拟学校、孪生校园和开放大学等形态，作为五种创新型教育应用模式，在全新的场域中为教育教学系统提供高质量课程及教学服务，同时，能够达到提升校园数字化服务能力的目标。教育元宇宙是元宇宙最重要的应用场景，在各种创新应用中，促进未来教育发展、教学质量提升是其价值性的关键度量。

(二)构建具身学习环境，把握沉浸式学习新机遇

场景学习的发展能够促进教育改革[14]，文中提到的基于场景的学习融合了游戏动力学的设计，通过构建高具身的循证学习环境，让学习者沉浸在教育元宇宙中，动态地鼓励学习者专注于当前事件、参与挑战和解决问题。此类具身学习环境的构建需要搭载沉浸式平台如AltSpace、Spatial、Virbela等，采用触觉反馈、感官接口技术整合人类所有感官体验加深临场感，采用体积捕捉、动作传感技术实现高级化身、人体跟踪并创建多用户虚拟体验空间等。最主要的是，教育元宇宙中具身学习的潜力远远超出了教育过程的形式和内容，它还将改变开展科学研究的方式，以及如何设计和构建满足未来社会需求的循证学习环境。可以预知，沉浸式学习的前景是它提供了一个前所未有的机会去做以前教育者如约翰·杜威只能梦想的事情：将人类体验的方方面面带入学习环境。

(三)拓宽可使用工具集，创新学与教资源新类型

XR不仅是另一套教育技术工具，而且代表了学习者与内容、教师和同伴互动的范式转变。拓宽教育工作者的工具集对于支持课程和课外项目、创新教育资源、增加学习机会等至关重要。当今教育工作者、技术人员和从业者肩负的职责之一就是结合不同学科和教学对象的特征开发虚拟现实学习资源[15]，并将资源数字化后通过互联网实现优质共享，培养下一代学习者作为XR创新者、科学家、设计师和沉浸式叙事者等的多元能力。随着沉浸式应用和头显的发展，面向师生的新型构建工具已经出现。如，终极地带Zoe(测试版)为中学生和教师提供学习支持和教学支持，其他工具套件如Trivantis、CenarioVR、LearnBrite等也有助于教育工作者开发XR资源、优化课程和课外项目。

(四)深化技术融合应用，探索与构建治理新机制

元宇宙融合了物理真实世界与数字虚拟世界的特征，学习者以虚拟化身进入去中心化的元宇宙开展学习活动，在与团队、陌生人及系统NPC的互动中建构知识与联系[16]。其中，学习的真实性潜藏在学习关系的建立和互动过程中，学习者的数字参与在意义建构中达成。循证学习环境的应用将会使教学由真实课堂环境转向沉浸式学习环境，因此，深化技术教育应用适应教育元宇宙正在带来的教学变革，如教学空间、教学设计、教学活动、师生交互等尤其紧迫。目前，教育元宇宙的应用与治理仍需研究者基于实践继续探索数字虚拟世界中的认知范式和相适应的机制理论[17]。

(五)践行道德伦理规范，培育涉众元宇宙新素养

元宇宙的发展为生活、学习、娱乐带来极大机遇和挑战。上述融合技术(尤其是人工智能、触觉反馈和眼动追踪)将要求在证据收集、数据获取与师生隐私问题之间取得平衡。研究表明，人工智能、大数据等新兴技术会记录不同用户的种族、性别、文化等，并通过自适应来偏向性的嵌入数据或算法，从而导致难以察觉的歧视[18]。因此，政府或相关部门需更新监管框架，确保教育元宇宙的开发、部署和使用践行基于大数据的隐私道德准则，并开展对教师教育者和专业发展机构的隐私道德教育和伦理培训。此外，学校有必要为教师、家长和学生提供培训，提升他们的隐私理念，确保其有意识和能力保护个人数据。