多模态交互视角下的学龄儿童教具设计研究

胡鸿　周洲锋　金玉鑫

摘要：针对教学过程中因参与度低、互动性差而影响儿童学习兴趣和效率的问题，运用多模态交互理论，探索强调互动与参与、更适用于儿童教学的多模态交互教具设计。根据多模态交互理论和学龄儿童的多模态交互特性，采用用户体验地图挖掘学龄儿童教具设计需求，并构建适用于学龄儿童教学的多模态交互模型，总结和提炼基于多模态交互的学龄儿童教具设计方法。基于多模态交互视角搭建学龄儿童教具设计模型，并根据模型中不同层次的教具设计要素，以儿童“讲故事”活动为例设计多模态参与式教具并投入教学实践验证。多模态交互参与式教具增添了学习过程的参与性和互动性，锻炼了儿童的创造力、动手能力和认知水平，为提高学龄儿童学习兴趣和学习效率的教具设计研究提供了新思路。

关键词：多模态交互 学龄儿童 教具设计 互动与参与 产品设计

中图分类号：TB47 文献标识码：A

文章编号：1003-0069（2021）06-0088-04

引言

学龄儿童在教学环境中与教具间的交互是影响儿童认知和理解的重要因素。研究证明，儿童在做重复单调、不新奇的事情时，其注意力的维持难度最大;在有吸引力的情况下，症状有所减轻;而在直接而连续的多感官刺激下，注意力的维持情况明显转好。然而，目前儿童教学中通常使用的教具存在交互形式单一、互动性差、同质化严重等问题，导致儿童参与感不足，进而出现走神的情况。儿童教学需要在教具和教学方式中融入更多互动性和趣味性的元素，在儿童行为、教学内容和教具间建立起多维度的联系。本研究将多模态交互理论应用到教具设计中，在由认知、身体、环境所构成的动态统一的背景下探索更符合儿童生理和认知发展特点的多模态交互教具，寓教于乐，提升儿童的学习体验和效率。

一、多模态交互与儿童教具设计

（—）多模态交互理论概述

多模态是融合多种表征方式于一体，通过不同的媒介和手段的运用，作用于人的感知觉通道（视觉、听觉、触觉、味觉、嗅觉等），以达到与外部环境进行互动的目的。随着现代多媒体网络和人机交互技术的飞速发展，“多模态交互”相比于传统的交互方式，通过图像、符号、表情、声音、动作等多种模态信息的输入和输出，以更丰富的形式充分调动主体的感知觉运动通道，使主体更为沉浸地参与到当前的行为活动当中，并形成身体、认知和环境动态统一的认知结构。

（二）儿童教具发展现状

国务院在《中国大百科全书》中将教具定义为“在教学中为学生提供的用于辅助教学和感知的模型、实物等用具。”。按照国家教委颁布的《玩教具配备目录》中的分类，目前儿童教具可分为体育类、构造类、角色表演类、科学启蒙类、音乐类、美工类、图书类、电教类和劳动工具这九大类别，其中科学启蒙类教具在教学中应用最为广泛。本研究选择了一些市面上常見的传统科学启蒙类教具和智能科学启蒙类教具进行分析，如图L可以看到存在以下问题：

对于传统科学启蒙类教具而言，儿童在使用过程中的交互大多集中在视觉和触觉通道，感官刺激较为单一，互动性差，儿童使用过程中也更容易因参与感不强而出现走神的情况。

而市场现有的儿童智能科学启蒙类教具，通常有参与人数和交互形式的限制，导致儿童缺乏与同学和老师间的互动分享，不适于在课堂教学中对儿童沟通协作能力的培养：另外，部分智能教具只是将卡通造型和简单交互技术相结合，交互形式单一，产品形态同质化，无法持续吸引儿童注意力，激发儿童的创造性。总之，参与度低、互动性差是目前儿童教具设计最突出的问题。

（三）多模态交互应用于儿童教具的意义

针对市面上现有儿童教具的问题，将多模态交互理论应用到儿童教具设计当中，有利于发挥儿童主体性，提升学习体验。多模态交互强调个体的感知觉通道在学习和认知活动中的重要作用，在学习过程中，个体的感知觉通道偏好和特点决定了认知内容的不同和认知方式的差异。在多模态交互视角下，从感知觉通道出发思考儿童的感官发展和学习体验，不仅有利于设计者根据儿童的生理特征、认知特征和认知方式等方面考虑如何发挥他们的主体性并提升学习体验，而且有利于从相反的视角思考如何设计教学情境和教学用具，以适应儿童自身的感知觉发展特征和认知特征。

对于儿童教具设计来说，设计出符合儿童身体发展和不同感知觉运动系统偏好的产品显得尤为重要，这不仅决定着儿童能否通过与教具间的多模态交互获得丰富的主体性发挥和学习体验，而且也影响着儿童的认知方式和学习效果。

二、学龄儿童的特征

根据多模态交互理论，儿童在教学情境中所进行的学习活动的方式和产生的体验影响着儿童感知觉运动通道获得的经验，进而影响着认知的塑造。而对于尚处于发育阶段的学龄儿童来说，其感知觉运动通道和认知发展也具有其独特的特征。

（—）生理特征

根据著名心理学家让·皮亚杰的认知发展理论，学龄儿童正处于具体运算阶段，且已经具有了一定的逻辑能力，但具体运算仍需要事物的支持。这一阶段的儿童主要通过自己的身体来探索世界，在感知觉通道方面，他们喜欢通过眼看、手摸、耳听、鼻嗅等方式来探索事物的基本概念，且对于每种交互方式呈现出一定的偏好特点，如表1。

（二）认知特征

学龄儿童的注意力水平尚处于发展阶段。研究证明，儿童在做重复性、不新奇的事情时，其注意力的维持最困难;在连续而直接的强化程序下，注意力的维持情况明显转好。因此，针对学龄儿童的教具设计需因材施教，通过更符合其身心特征的直觉化行为，创造更丰富、更有趣的交互形式和及时的行为反馈，以提升儿童的兴趣，帮助其全身心地投入到教学互动中。

三、学龄儿童教具需求分析

（—）儿童教学流程与教具使用

本研究以北京市半步桥小学三年级儿童为调研对象，展开了实地调研和用户访谈。半步桥小学教师教学主要使用多媒体白板等设备，通过播放视频和口头讲解等单向、线性的授课方式将教学内容讲述给儿童，具体流程如图2。整个教学过程中，仅讨论环节和点评环节涉及学生间和师生间的交互，学生学习参与感明显不足，且教学互动性和趣味性较差，导致部分儿童出现注意力不集中的问题。

（二）学龄儿童教具需求痛点

基于实地调研结果，采用用户体验地图的方式，对学龄儿童在教学过程中的主要行为与情绪进行分析，可以发现儿童在使用现有教具过程中存在功能和情感两个层面的需求痛点，如图3。

1.功能层面：学龄儿童在功能层面的需求主要表现为教育产品能否以合适的方式满足儿童的身心特征及其对知识的需求。针对儿童的身体、心理及认知特征，多模态交互视角下的教育产品采取多个感知觉通道的刺激以有效提升学生的学习兴趣，从而避免儿童出现走神的情况。同时，在学习模式上，加入多人协同模式，以帮助儿童锻炼其沟通协作能力;通过趣味性的复习模式和激励体系，也可以进一步强化儿童对于所学知识的认知和理解。

2.情感层面：由于儿童自身注意力不集中、坐立不安、性格冲动等问题的影响，儿童或因为影响课堂纪律而受到老师批评，或因为学习成绩差而不易受到同学欢迎。通过在教学活动中使用教育产品，让儿童与同学合作，与老师交流，加深儿童与老师、同学的情感联系，既可以加强儿童对于所学知识的认知，也有助于儿童改善和老师、同学的关系，提升学习的积极性。

四、多模态交互视角下的教具设计模型

（—）学龄儿童多模态交互教具设计模型的搭建

根据儿童教具的需求分析，运用多模态交互理论，从使用教具的前、中、后三个阶段的行为出发，在主体行为、认知程度与客体要素的设计间建立起一一对应的关联，最终搭建出儿童与教具的多模态交互模型，如图4。

在儿童使用教具过程中，其身体器官是产生多模态交互的媒介和载体，通过身体与教具间的离身交互和具身交互，大脑获得了多模态的感官刺激，这些感官刺激经由大脑思考和内化，最终形成了稳定的认知，如图5所示。这一流程中儿童的感官通道与客体间的交互主要分为离身交互和具身交互两大类。离身交互主要通过信息通信技术的遥在感，使得人类意识可以与认知载体产生遥在分离，如基于图形用户界面的人机交互等，其交互媒介主要为视觉、听觉和嗅觉等;而具身交互则基于具身认知理论，强调身体、认知、环境间的动态统一特性，其交互媒介主要表现为皮肤、肌肉等行为和动作器官。

（二）儿童与教具的远距离促发要素提取

人类学家爱德华把人的感知觉器官分为距离型器官和直接型器官两大类，其中工作范围较为广泛的距离型器官“眼、耳、鼻”等是儿童初步了解教具并进行深层次行为的关键。儿童通过距离型器官与教具进行了大量的离身交互，同时其身体所获的多模态感官刺激通过视觉、听觉、嗅觉通道等传入感受器，再经由大脑进行加工和处理，以指导身体进行下一步的行为。

儿童在与教具交互过程中，往往出于好奇而将注意力转向吸引其眼球的事物，在这一过程中，教具的形态、色彩、声音、气味等影响儿童第一印象和初步认知的要素，可以称为教具的远距离促发要素，是教具元素的第一层，对应儿童认知程度的第一层“感受”。

（三）儿童与教具的近距离行为要素提取

儿童与教具的远距离要素进行离身交互后产生了初步的认知和了解，随着距离的缩短，儿童与教具之间的人机互动变得更为丰富，在这一阶段儿童运用皮肤组织、肌肉等直接型器官与教具进行更丰富、更直接的行为互动。这些行为主要可以分为：手部动作（包括点击、拖拽、滑动等）、全身动作、语言交流等。通过多种交互行为的结合让儿童全方位的参与到与教育的具身交互过程中，手、眼、脑并用，从而提升用户使用中的体验感和沉浸感。此时，人与物和人与人之间的交互方式以及交互行为决定了儿童在学习过程中的专注程度和接受程度，可以称为教具的近距离行为要素，与儿童认知程度的第二层“理解”相对应;

（四）儿童与教具的内在黏性要素提取

儿童通过与教具间的离身和具身交互获得了丰富的感官刺激，这些刺激信息经由大脑加工最终形成了认知。在这一过程中，教学模式和奖励作为教具的内在要素，影响着儿童学习过程中的体验和态度，是促进儿童认知形成与发展的重要手段。在教学模式方面，儿童由于自身认知水平仍处于发展当中，且学习过程中所接受的知识量大，往往需要通过复习以深入理解和运用这些知识。

因此，通过教具的辅助和引导，让儿童对于所学知识进行复习和应用，可以达到质疑解难、深化理解的教学目标，让知识真正为儿童所掌握;在教学奖励方面，适当的物质奖励和精神奖励可以作为儿童教具的辅助手段，影响着儿童学习过程中的体验和态度，是促进儿童道德品质形成与发展的重要手段。在儿童与教具的多模态交互模型中，教学模式和奖励是第三层的内在黏性元素，对应儿童认知程度层次中的“内化”。

五、学龄儿童多模态参与式教具设计

通过多模态交互教具的辅助和启发，可以使抽象的知识概念与教具之间建立起多维度的联系，并让儿童在与教具交互的过程中，把身体获得的感知觉经验逐步转化为对于所学知识概念的认知。

以“讲故事”这一教学活动为例，常规教学中“讲故事”这一活动，或让儿童阅读图文并茂的故事书，或观看影视视频，或听有声故事，儿童在使用这些产品时通常是使用眼、耳等单通道交互形式，所获得的感知觉刺激较为单一，时间一长很容易出现注意力分散的情况。而儿童在使用多模态参与式教具过程中，與教具实体之间产生了一系列的双向人机交互行为，并形成一种交互丰富、寓教于乐的多模态教学情境。主体置身于多模态教学情境之中，并通过与教具间大量的多通道交互行为获得了丰富的感官刺激和身心体验，同时身体与教具间互动时所获得的感知觉经验和运动经验强化了认知的形成，如图6所示。

（—）多模态教具的使用模式创新设计

为给儿童更丰富、直接的多模态刺激，本产品由智能交互屏幕和拼图两部分组成。其主要使用场景可分为协同创作模式和复习模式。

1.协同创作模式：协同创作模式流程如图了。儿童可自行分工并共同完成不同的角色拼图;完成拼图后，将其放至教具的摄像头前进行扫描，摄像头会实时捕捉拼图内容，从图像中提取特征点，并结合图像识别技术和AR技术，将拼图上的平面图像转化为三维图像的完整故事场景。儿童们可以用手指在三维故事场景中与喜欢的角色进行点击、拖拽等互动行为，屏幕内的角色随着儿童提出故事内容中不同的问题，考察儿童对知识的掌握程度。儿童回答正确角色会说“你真棒”这样的鼓励。如果回答有误，儿童需要在拼图中找到教师指定的故事场景，然后屏幕中的角色会说出正确答案。

2.复习模式：在复习模式中，儿童需要根据智能交互屏幕的语音提示，正确选择符合条件的角色，例如听到语音“单纯的小女孩”正确选中白雪公主，产品就会说“你真棒”这样的鼓励，然后出现三段白雪公主的故事让儿童选择，如图8。若选择正确则可获得一张动画人物贴纸;若选择错误，则需在拼图中找到教师指定的内容后，在屏幕中展示正确答案，并语音鼓励儿童“继续加油”。通过与屏幕中的场景图像和拼图中的场景进行互动，以复习先前学习的知识，AR场景展示的同时也会伴随着主题内容的语音讲解，给予儿童多感官通道的体验，进一步打造沉浸式教学场景与学习模式。

（二）多模态教具产品设计

1.远距离促发要素设计：儿童与教育产品间的远距离交互主要集中在产品形态及产品视听觉反馈方面。在产品形态方面选用柔和的圆角矩形，让产品有圆润可爱的特点，同时增加产品的亲和力;在产品色彩方面，乳白色的产品主体给人以清新，温暖的感觉，搭配LED屏幕中丰富的色彩可以营造出更生动的学习气氛;

在产品视觉反馈方面，屏幕中离身的动画图像伴随着儿童具身的拼图行为实现了二维到三维的转化，这种离身的视觉反馈使儿童所获的二维和三维视觉体验之间建立起了新的关联，并在儿童不断的拼图行为过程中得以激发和强化。

在听觉反馈方面，儿童搭建场景内的元素伴随着自身不同的交互行为进行不同的语音播报和交互，实时讲解动画角色的特征和相关知识，进而使儿童在不断获得听觉反馈的过程中，获得对于抽象概念的理解更深刻、更全面的具身认知。在声音方面，语音讲解使用温柔可爱的卡通音效进行播报，避免儿童的因感到陌生而影响学习效果;同时音量也控制在50分贝以内，避免音量过大造成儿童精神不集中，进而影响学习效率。

2.近距离行为要素设计：儿童与教育产品间近距离的交互主要涉及儿童与拼图间的实体交互以及儿童与屏幕元素间的交互。儿童与拼图间的实体交互主要包括对拼图的抓、捏、移动、按压等行为，与屏幕元素间的交互则主要以点击、滑动、拖拽等行为为主，如图9。屏幕内的动画形象展示效果能够根据儿童不同的交互行为而产生不同的反馈，从而使儿童在参与场景及内容创作的同时把自身的行为与动画场景和故事内容的创作联系起来。这样既加强了儿童与教育产品间的互动性，同时也把儿童的行为与所完成的动画形象建立起联系，使儿童先前通过距离型器官所获的离身认知在具身交互的过程中得到进一步验证和强化。除此之外，儿童在交互的过程中自身的距离感、方位感等日常概念也得到了相应的训练和激发。

3.教具的内在黏性要素设计：本教育产品通过儿童较为熟悉的动画拼图将知识进行传递和呈现，并由学生在课堂上自主选择主题角色拼图。这种寓教于乐的教学方式将图案拼接等知识与儿童的行为联系起来，使儿童能够充分调动自己的感知觉器官与教育产品进行多模态交互，集中而持续的与教育产品进行互动，促进了知识的内化和理解。同时产品的学习模式和内容本身也具有一定的挑战和思考空间，在协同创作模式中，儿童们需要以组为单位，合作分工，共同完成场景的搭建，在游戏过程中促进儿童的沟通能力和合作能力;在复习模式中，产品的一系列激励体系也可以进一步强化儿童对于所学知识的认知和理解。

（三）产品评价

1.用户可用性测试：为了测试多模态教具的可行性，邀请了5名学龄儿童体验“讲故事”多模态交互教具产品原型。模拟课堂学习场景分别使用多媒体教学和多模态交互教具对儿童进行“讲故事”教学，针对故事情节设计了10道难度相近的问题进行评测，以分析对比儿童在使用多媒体教学和多模态交互教具时的学习和注意力表现，测评情况，如图10。

通过表2中的数据对比可以看出，儿童使用多模态交互教具后，对于故事情节的理解变得更为深入和准确。这些现象无论是从直接的数据角度还是间接的生活迁移角度上，都说明了儿童在使用多模态交互教具过程中得到了较好的学习效果，且专注力和参与感有所提升，但后期干预效果的维持情况还需要进一步探讨。

2.专家评价：邀请了5位小学教师及5位学生家长作为专家代表來做专家评价，让他们根据产品维度、用户维度和能力培养维度的9个指标，对原有的多媒体白板和改良后的多模态“讲故事”儿童教育产品进行综合评价和打分，如图11：

可以看出，与常规白板教学相比，改良后的教具设计通过产品与人间的多模态交互行为，有效提升了产品的互动性和儿童使用过程中的参与感，使之更符合儿童的身心特征，同时也使儿童的动手能力、思维能力和创作能力得到了更深层次的训练。

结语

儿童是祖国的未来，也是我国教育教学的重点。本文通过总结学龄儿童教具现状及问题，探讨多模态交互理论在教具设计上的适用性;同时基于学龄儿童的特征分析，搭建儿童与教具的多模态交互模型，并针对教具不同层次的要素展开设计，最终有效提升了学龄儿童的课堂互动性和参与感，同时也在理论层面为研究者如何认知学龄儿童交互行为和认知活动提供了一种新的设计视角。