Leap Motion体感技术在教育中的应用现状及问题分析

胡建平 黄国政

（江苏师范大学，江苏连云港，222006）

Leap Motion体感技术在教育中的应用现状及问题分析

胡建平 黄国政

（江苏师范大学，江苏连云港，222006）

体感技术在教育应用领域已经有了很多的实验与探索，Leap Motion由于价格便宜、体积小、精度高和延时低等特点，在短短几年间已经拥有了不少体验用户。它在幼儿教育游戏、初等教育、高等教育及创客教育领域都有了典型应用。Leap Motion体感技术应用在教育中具有可以激发学生学习兴趣、学习沉浸感强、学习体验好等优势，但现阶段无论是在技术层面还是教育层面，Leap Motion在教学中都还存在一些问题需要解决。

Leap Motion；体感技术；Kinect；教育

一、引言

在计算机辅助教学的发展过程中，计算机硬件、软件及现代教育理论都得到了快速的发展，对教育信息化带来了广泛而深刻的影响。但是作为信息技术的重要内容，学习者与机器之间的交互方式相对来说却发展缓慢，甚至成为人类运用信息技术进行教育教学变革的瓶颈。随着人们对认知科学和人工智能的进一步研究，人机交互在最近几年得到了快速的发展。人的感受已经成了当代人机交互设计需要考虑的重要问题，随着人们生活水平的不断发展提高，人们对人机交互的要求也越来越高，希望计算机与人的交互越发自然与方便。[1]在这样的背景下，人机交互的发展也从原来的命令行到现在的图形化界面，正逐步向更高一层的自然用户界面发展。体感技术是继键盘、鼠标和触摸屏之后最新的自然用户界面交互方式，让人们无需使用复杂的控制设备，就可以直接使用肢体动作与周边的数字设备和环境互动，并根据人的动作来完成各种指令。目前使用最广泛的体感技术是微软公司开发的Kinect技术，Kinect使得人机互动不再局限于掌上控制器，利用人体结构的探测以及人脸识别就能实现人机交互，但是Kinect对近距离及高精度识别方面还比较欠缺，而且使用需要占用一定的空间，而Leap Motion的出现，正好填补了这个领域，对于体感技术领域来说，是一个很好的补充。

二、Leap Motion体感技术

Leap Motion是Leap公司在2013年发布的用于电脑平台的体感控制器，中文名为“厉动”，包括一个控制器硬件以及一套复杂的软件平台。Leap Motion采用独特的软硬件结合技术，利用红外成像原理，追踪双手、手指及手持小工具等的活动，使用双手就能实现虚拟实境和扩增实境，就像在真实世界中那样与数字内容进行互动，具有高精度和超低延时等特点，误差在0.01毫米以内，延时为5-10ms，能够以超过200帧/秒的速度追踪双手，这样的精准程度足够保证用户顺利完成人机互动所需的操作。

Leap Motion控制器是一个比一般U盘略大的USB控制器设备（如图1所示[2]），主要核心部件有两个红外线摄像头、三个红外线LED光源、一片窄带滤光片和USB高速芯片。Leap Motion是一个基于双目立体视觉的光学跟踪系统，如同人眼一样，利用双摄像头可以对空间物体进行坐标定位，利用视差产生空间纵深感觉。[3]Leap Motion控制器通过红外线LED灯提供背光源，当有诸如手指这样的目标物体运动时，红外光就会被反射过来，窄带滤光片可以过滤掉其它可见光和紫外线，保证红外光能以高透过率通过。[4]在此同时，双摄像头对目标对象进行立体拍摄，从不同角度捕捉画面，经过计算重建目标对象在真实三维空间的各项数据信息。

Leap Motion检测范围大体是一个距离控制器上方25-600毫米的空间，识别范围基本上是一个倒四棱锥体。首先，Leap Motion会建立一个以控制器中心为原点、单位为毫米的右手笛卡尔坐标系，X与Z轴水平，Y轴竖直，如图2所示。[5]当手指等目标对象进入检测范围后，Leap Motion软件为它分配一个在视野范围内不会改变的唯一ID指示符（重新进入检测区域的对象会重新分配ID），为方便查询运动对象的信息，还会附加以Leap Motion提供的相关函数。控制器定期发送目标对象的运动信息（称作帧），一个帧对象Frame包含了Hands、Fingers、Pointables以及Tools等属性，[6]负责提供追踪数据、手势和在可视范围内整体运动因素的列表。控制器根据每帧和前帧检测到的数据，将动作翻译成平移、旋转、缩放等动作因子，利用复杂的算法，生成运动信息，识别、判断目标对象的运动轨迹，最终与显示屏实现交互反馈。

Leap Motion体感控制器支持Windows 7、Windows 8和Mac OS X 10.7及10.8，可以在PC及Mac上通过手势控制电脑。为了便于用户体验Leap Motion的魅力，Leap公司发布了一个名为Airspace的应用程序商店，可以让用户发现、购买、下载支持Leap Motion的应用程序。应用程序分为免费和收费两种，包括计算机控制、实验、教育、科学、游戏、音乐和娱乐等分类，大部分应用都同时支持PC和Mac。Leap Motion还支持第三方应用开发，提供了可以进行二次开发的SDK，包含多个示例，支持许多开发语言，比如C++、C#、Python、 Java and Javascript等。目前，已经有包括迪斯尼、Autodesk、Corel、Google及ZeptoLab在内的公司均已宣称部分旗下游戏软件支持Leap Motion。Leap Motion还与华硕和HP开展合作，将来会与华硕的一体机和高端笔记本捆绑销售。配备Leap Motion技术的Leap Motion键盘是HP的首发产品，为客户带来与使用Leap Motion控制器完全相同的绝佳体验，另外，在HP的部分设备中也将会预装Airspace应用。

三、Leap Motion在教育中的应用现状

Leap Motion体感控制器给了用户一个与电脑交互的全新方式，在传统的鼠标、键盘及触摸屏之外，加入了手势操作与3D动作。Leap Motion的应用程序商店中应用最广泛的app是游戏，但是随着越来越多的热心教育的人参与其中，教育app也在不断增加。利用这些app，Leap Motion体感控制器为用户探寻3D世界提供了一个直观的、身临其境的学习体验。同时，国内外也有不少教育工作者利用Leap Motion和其他工具融合，开发了一些教育软件，进行了教学实践，为Leap Motion在教育中的应用提供了很好的思路。

（一）在儿童教育游戏中的应用

对儿童来说，早期学习经验是至关重要的，为他们习得知识和技能建立基础，并对他们未来的学习行为产生很大的影响。由于孩子们很容易分散注意力，所以利用传统的教学方法教孩子们比较困难。在设计教学活动时，很重要的方面就是吸引孩子的兴趣和关注。美国的高级研究员苏珊·皮特曼提到，“教育游戏涉及信息技术、学术内容和解决问题的过程，可有有效的加速儿童的学习认知过程，它对化解孩子们正在面临的学习困难也是很有帮助的。”[6]当前，专为儿童开发的教育游戏数量正呈爆炸性增长的态势，越来越多的游戏开发商都将目光从娱乐业转到教育业，将参与性极强的游戏与教学结合起来。为创建一个自然的用户界面，将体感技术应用于教育游戏中，对儿童来说可能意味着一个有趣、新颖的实践方式，有助于提高儿童的手眼协调能力，这类游戏可能更具有吸引力和挑战性，可以充分激发他们的学习兴趣并保持更强的注意力。2015年，美国卡内基梅隆大学人机交互研究所发布了一项针对儿童学习方式的研究报告，报告中说体感技术和体感游戏是一种更有效果的学习方式，比简单通过移动平台游戏来的更好，利用体感装置进行学习的儿童学习效率更高。[7]Leap Motion的应用程序商店有很多教育游戏类app，比如Sortee，它是一款快节奏的益智游戏，主要是教孩子对生活中的常见物品进行分类，测试他们对日常物品的感知。当电脑屏幕上出现每件物品时，儿童玩家只有几秒钟时间进行思考，将物品分类，然后在空中滑动手指，轻轻将物品弹入相应的垃圾桶中。孩子们通过Leap Motion控制物品并将其放入分类垃圾桶中，相比键盘和鼠标操作，具有更自然的生活体验。游戏设置的51个逐步具有挑战性的难度级别及过关奖励设置，让孩子们有过关后的成就感，也培养了孩子们垃圾分类的环保意识。

斯里兰卡信息技术学院的K.G.M.P.Nandasiri等人根据学前教育孩子的学习特点，设计开发了名为“Leap Mania”的教育游戏，基于Leap Motion控制器，构建了一个积极和愉快的学习环境，帮助小朋友们学会不同的颜色、不同的形状、英语字母和数字。[8]东南大学儿童发展与学习科学教育部重点实验室的李杨韬等针对当前儿童认知训练系统缺乏自然的人机交互手段的缺陷，使用Leap Motion设备获得手部实时数据，利用Unity3D设计3D游戏场景，[9]开发了一款儿童认知训练系统，增强了儿童的游戏沉浸感，经过一段时间的认知训练，儿童在智力水平等方面都得到了有效的提高。

（二）在基础教育中的应用

科技有能力改变中小学生认识世界的方法，通过Leap Motion技术，可以让学生进入下一代虚拟世界，激发他们对天文、地理、几何、生物、艺术等学科的学习热情。比如在讲解天文知识时，教孩子们认识星系对许多地理教师来说是一个极具挑战性的任务，利用抽象的概念解释行星、恒星、星系等知识很有难度。但是，利用Leap Motion可以很好的解决这个教学难点。Leap Motion的应用程序商店的收费应用程序Solar Walk是一个很好地天文软件，这款3D太阳系模型让学生在时间与空间中遨游，近距离观察所有行星，学习它们的运动轨迹、内部构造、探索历史、兴趣点以及更多内容。学生能够使用Leap Motion控制器，通过手势来放大或远离太阳、行星和卫星，或者通过手指使用索引图，他们就能够了解每颗星球的内部结构、大小、表面温度以及科考任务等。利用手指滑动时间滑块，天空会做出相应运动。孩子们戴上一副青红3D眼镜，利用Leap Motion，可以任意在3D环境里遨游，近距离观察所有行星，探寻星球知识的奥秘。

由于小学生年龄小，对事物往往只关注表面特征，缺乏空间想象力，所以在教学过程中，教师要尽量将抽象的几何图形形象化，逐步培养学生的抽象思维能力。3D Geometry是一个为在三维空间观察和操纵几何图形而设计的应用程序。在教学过程中，教师通过Leap Motion控制器，用手调节旋转和定位，帮助学生观察棱柱、棱锥、棱锥台等几何图形。通过打圈旋转手指来展开几何图形，查看它们在二维空间是什么样子，并通过手指悬停为每个面涂上颜色，如图3所示。通过手势运动拆分几何体，可以帮助学生很好的理解几何体中的点、线、面，以及学习几何体表面面积和体积的计算。

（三）在高等教育中的应用

Leap Motion的出现，为高校各专业学生同样也开拓了一个全新的学习方法，无论是计算机、设计、医药、音乐或自然科学专业，学生们都可以通过前沿的3D互动来学习、实验、探索虚拟环境，用新的方法去解决原来的问题。CrystalViewer是一款用于帮助高校化学相关专业学生观察晶体和分子内部原子排列的免费应用程序，学生配戴一副红/蓝（或红/绿）立体眼镜，配合Leap Motion控制器，通过双手的运动获得非常逼真的3D晶体与分子旋转、缩放的完全交互式体验，方便学生直观地观察化学键，观看原子如何聚集在一起。此外，屏幕工具使学生还能够利用手的运动测量原子间的距离和角度，充分享受身临其境的“屏幕外”3D体验。

华南师范大学的华子荀针对目前高校交互式数字电视节目缺乏合适的体感技术支持问题，采用Leap Motion控制器，配合电脑和投影仪，利用FLASH软件对《电视摄像构图》教学内容进行交互式数字电视节目的设计与开发，并以华南师范大学新闻传播专业的大学生为研究对象，采用单组前测后测对比实验的方法，[10]得出了学生利用Leap Motion体感技术可以提高学习兴趣和学习质量的结论。中国航天员科研训练中心的胡弘等针对我国载人航天地面虚拟训练中采用数据手套采集手势的不足，根据虚拟手构建的需求，利用Leap Motion手势采集设备，对获取的信息建模，构建出符合人手生理学结构的虚拟手，并在设备组装的虚拟操作训练中进行了实验，采用主观评价的方法，得出了该方法构建虚拟手速度快，交互性好，能够很好的应用于航天员虚拟训练中，[11]可以增强虚拟训练的沉浸感和真实感，提高训练效果。

（四）在创客教育中的应用

创客教育是将创客文化与教育结合，以学生兴趣爱好为出发点，依托实际项目，利用新的数字技术和方法鼓励学生进行创造和分享，培养学生创新能力、团队协作精神和跨学科解决问题的能力一种教学模式。互联网、开源软件、3D打印等新技术的应用，为创客教育的普及降低了边际成本。体感技术的发展，为3D打印带了新的生机，可以解决以往通过鼠标在二维环境下建立三维模型时很不方便的难题，Leap Motion传感器提供了桥梁，创造了一个可以用手操纵三维虚拟对象的环境，有助于STEAM学习。国外很多创客空间使用Leap Motion控制器和3D打印机，通过新兴的开源计算机语言Processing进行少儿手绘创作，如图4所示。手绘者在电脑前进行三维绘画创作，Processing sketch通过Leap Motion控制器收集到手指的笛卡尔坐标信息，并利用处理器将这些值转换成3D打印机需要的笛卡尔坐标，然后封装成G-code命令发送到3D打印机将3D作品打印出来。小朋友们通过十个手指，可以随心所欲地进行创作，在空气中根据自己的想象就能创造出自己喜欢的3D作品，这是鼠标无法做到的事情。同样，在机器人领域，也有不少国外的创客空间使用Leap Motion控制器进行了研究，通过一双手就能控制机器人进行一些细微的操作，如图5所示。

温州中学是国内较早开展创客教育的中学，该校信息中心主任谢作如老师是开展创客教育的专家，他认为用面向儿童的简易编程工具Scratch开发各种创客作品，是非常好的选择。[12]谢老师在教学实践中，引入Leap Motion体感控制器技术，利用用于Leap Motion的Scratch 2.0插件程序，指导学生编写出了许多很酷的手势控制方面的游戏，同时，他还指出了“Scratch 2.0 Plug-in for Leap Motion”插件在体感游戏制作方面存在的不足。[13]

四、在教学应用中的问题分析

相对于微软的Kinect体感技术来说，Leap Motion在教育中的应用还处于起步阶段，Kinect更侧重于肢体的整体运动，在增强现实领域应用更为广泛，但空间占用较大、对识别距离有一定的要求、识别精度远不如Leap Motion。Leap Motion定位则更偏向于“桌面”操作，[14]价格较低、占用空间小、识别精度高、延迟低。在教育教学中，如前面的应用案例所述，在某些教育领域，Leap Motion确实具有明显的优势，为信息化教学提供了一个创新的学习方式，可以激发学生学习兴趣、学习沉浸感强、学习体验好，能有效提升学习效果。但是客观来说，由于Leap Motion还处于完善阶段，无论是在技术层面还是教育层面，Leap Motion在教学中都还存在一些问题，在短期内还不可能完全代替鼠标、键盘和触摸屏等传统人机交互设备。

（一）技术层面

1.由于摄像头是自下朝上的，所以在进行双手运动时，设备不能很好的识别上面的手运动，比如我们三维建模双手上下进行运动的时候，往往不能很好的对上面的手进行识别，而且当两个手指靠近时，其中的一个手指也不能很好的识别。2.识别范围不如Kinect，而且存在一定的死角，比如当教师演示PPT文稿时，一旦讲的兴起，挥舞的双手幅度过大，可能会存在离开扫描范围而出现无法控制演示文稿的情况。3. Leap Motion主要识别手部运动，不同于Kinect的肢体识别，所以在构建具备增强现实功能的教学环境方面远远不及Kinect，而只能作为其中的一个有益补充。4.由于Leap Motion应用推广时间不长，无论是Airspace中的应用还是教师自主开发的教育游戏或教学软件都还有限，远远不能满足日益发展的教育需要，而且开发应用软件需要一定的编程基础，对普通老师来说还有一定的难度。5.最重要的是，由于在操作时手一指处于悬空状态，所以长时间使用，手臂会有点疲劳，这样无疑会对学习者，特别是低龄儿童在长时间使用时会产生一定的抵触情绪。当然，随着计算机硬件设备的不断创新、算法的不断优化以及更多的技术研发机构和教育技术从业者加入到教育应用软件的开发，一些不足之处和学习资源的匮乏现象肯定会逐步得到改进，从而更好的为现代化教育服务。

（二）教育层面

1.随着Kinect、Leap Motion等体感技术与教育的不断融合，信息化教学环境和学习方式也受到了一定的冲击，如果将体感技术大规模应用于信息化教学，还缺少相应的理论支撑，需要教育技术研究者在现有理论的基础上通过不断实践、修正，形成一套操作性强的学习指导方法，这是一个漫长的探索过程。[15]2.将Leap Motion应用于教学，在教学模式上需要有所创新和突破，目前来说，还没有完整的教学案例和方案可供参考，需要先行者不断摸索，形成较为成熟的教学模式，然后对教师进行培训，逐步推广，如同微课、翻转课堂的发展壮大一样。3.Leap Motion应用于幼儿游戏教育时，由于幼儿自控能力较弱，如果教师不加以正确的引导，很难达到应有的学习效果。需要教师充分考虑学习者的年龄特点和学习风格，[16]选择合适的教育游戏，设置明确的、可度量的教学目标和评价指标，切实提高教学效果。4.Leap Motion在教学中只是一种全新的辅助工具，不能将其作用绝对化，在教育教学中，不能“盲目化，绝对化”，不是所有的教学内容都适合采用体感技术开展教学，更不能忽略教师与学生之间的情感互动。5.虽然HP已经研发出了配备Leap Motion技术的键盘，但是目前来说，绝大多数用户还是购买的USB接口的Leap Motion控制器，如果要在多媒体机房使用，需要建立完善的规章制度，加强教育和管理，确保教学的顺利进行。

五、结语

客观来说，无论是已经较为成熟的Kinect，还是处于推广阶段的Leap Motion，目前都不足以威胁到鼠标、键盘及触摸屏作为主要人机交互方式的地位。但是，Leap Motion无疑是一个足以改变人们固有观念的产品，为未来人机交互的发展方向指明了目标。相信不久的将来，随着Leap Motion的不断成熟和教育应用的不断发展，Leap Motion会在教育教学中获得更为广泛的应用。

[1]马秀娟.基于自然用户界面的人机交互模式研究[D].西安:西安理工大学，2013.

[2]Frank Weichert,Daniel Bachmannd等.Analysis of the Accuracy and Robustness of the Leap Motion Controller[J]. Sensors，2013，(13):80-93.

[3]Leap Motion控制器工作原理详解[EB/OL].http://blog.sina.com.cn/s/blog_a46bafbf0101bnc7.html.

[4]Leap Motion引爆人机互动革命[EB/OL].http://blog.sina.com.cn/s/blog_4d66b9090101d814.html.

[5]Leap Motion的开发者文档[EB/OL].https://developer.leapmotion.com/documentation/guide/Leap_Overview.

[6]林德江,井志胜,王国德等.基于Leap Motion体感控制技术的数字化展示系统研究[J].火炮发射与控制学报，2015，(12):86-90.

[7]体感技术:从游戏到教育的华丽转身[EB/OL].http://edu.163.com/15/1119/14/B8PSS9VG00294KHN.html.

[8]K.G.M.P.Nandasiri,N.H.C.E.M.Nawarathna,M.M.R.Mohamad等.Advance Technology for Kids to Improve Knowledge and Skills using Motion Gesture Recognition–Leap Mania[J].Sanvitha Kasthuriarachchi，2015，(2):121-124.

[9]李杨韬,禹东川,靳来鹏.基于Leap Motion手势识别的认知训练系统的设计和实现[J].电子设计工程，2016，(5):12-14.

[10]华子荀.Leap Motion支持下教育电视节目提高学生学习质量和效果的研究[J].教育信息技术，2015，(5):60-63.

[11]胡弘,晁建刚,林万洪等.Leap Motion虚拟手构建方法及其在航天训练中的应用[J].载人航天，2015，(5):257-262.

[12]蒋莘,谢作如.中小学的创客课程扫描[J].当代教育家，2015，(6):48-49.

[13]谢作如.用Scratch玩手势控制（下）[J].中国信息技术教育，2015，(11):77-78.

[14]马若飞.Kinect与Leap Motion，不存在的战斗[EB/OL].http://www.ifanr.com/271316.

[15]李青，王青.体感交互技术在教育中的应用现状述评[J].远程教育杂志，2015，(1):48-56.

[16]李玲，胡卫星,赵苗苗等.手势计算技术教学应用的现状及问题分析[J].远程教育杂志，2015，(1):34-38.

[责任编辑：钟 晴]

TP391.4

A

1008-7346（2016）05-0023-06

2016-08-04

本文系江苏省教育厅2013年度高校哲学社会科学研究基金项目 （2013SJD760031）的阶段性成果。

胡建平，男，湖南常德人，江苏师范大学连云港校区数信学院副教授。

黄国政，男，宁夏银川人，江苏师范大学连云港校区数信学院副教授。