人类行为模式启发的人机物体传递*

王宪伟, 丛 明，刘 冬，杜 宇，邹 强

(1.大连理工大学机械工程学院，辽宁 大连 116024；2.大连大华中天科技有限公司，辽宁 大连 116025)

0 引言

人机物体传递是诸多人机协作场景中的基本任务。目前在工厂流水线、家居养老、空间探索、医院护理等复杂环境中，机器人大多不能完全脱离人类实现全自动化，还需要依靠于人类的灵活性来完成一些复杂的任务。正如手术中护士能够协助外科医生接过手术刀一样，拥有物体传递交互功能的机器人能够提高被协助者的工作效率，并提高机器人自身的社会接纳度与认可度[1]。

目前提出的人机物体传递方式大部分需要人类主动控制机器人来配合完成动作[2-4]，如使用语音、遥控器等方式，少数则通过识别传递意图来控制机器人配合完成物体传递[5-7]，但是都使用了固定的动作捕捉设备或专用的被传递物体，不能自由搭载于机器人平台上投入实际应用。为了能够让机器人更灵活的配合人类完成物体传递任务，本文从人类行为模式着手，探究人类传递过程中的意图判断方式及传递响应方式，遵循该方式开发一套系统并移植到服务机器人平台并开展实验。

现有的研究证明人们常会通过手臂动作、头部动作等非语言线索来判断他人的传递意图。Kobayashi F等[5]基于固定于手部区域下方的Leap传感器来检测手部动作进行意图判断，Pan MIKXJ等[6]设计了一个用于传接的圆环，并使用视觉对其进行定位从而间接判断传递意图，Pan M K等[7]使用运动捕捉设备获取数据，并基于支持向量机判断传递意图。以上研究虽然取得了一定的实验效果，但都存在着设备固定、检测环境单一的缺陷，不利于服务机器人的搭载，且上述部分方法未考虑传递者手中物体，难以将传递物体与接收物体两种通过相同动作表现的不同意图进行区分。

因此，本文在人类行为模式启发下，创新提出了一种基于视觉的传递意图识别方法，克服过往意图识别的局限性，融合骨骼关节点数据与手持物体存在信息特征实现对传递意图的有效判断，并在此基础上开发了一种摆脱固定设备限制，应用范围更广阔的人机物体传递系统。

1 人类传递行为模型

1.1 问题阐述

Basili P等[8]将人与人的传递过程分为三种主要活动，包括：物体携带、意图判断、物体传递。而本文目的在于解决人给机器人传递物体的过程中机器人的控制问题，因而重点关注意图判断与物体传递阶段人类的行为模式。希望通过设计实验来探究在传递中的动作序列，进一步探讨从接收者的角度如何配合完成物体传递任务。

1.2 实验设置

本阶段实验中，共征集了15名志愿者，均为右手惯用者，身高1.72±0.15 m，体重60±10 kg，年龄25±4 岁，参与者身体状况良好，且近期无手臂、肩颈等部位健康问题。

实验中全程采用两台彩色相机跟拍，同步采集视频信息，每次试验随机选取4名志愿者进入该区域。实验开始后，每名志愿者可以自由选择自身行为，如阅读，上网等，且志愿者会随机接到外界指令，如传递书本、水杯或将签字笔递给其他人等。每轮实验持续4 min，共进行5轮实验。

1.3 实验分析

在实验数据分析阶段，本文通过分析了视频中共142段传递动作序列，传递中没有出现物体掉落现象。本文对视频记录以5 Hz频率进行压缩编码[9]，结合Strabala K等[10]提出的传递行为模式分类方式将实验中的行为模式分为两类，如图1所示。

(1)模式1(52%)：给予者会在向接收者移动的过程中提前伸出手臂，表明传递意图，接收者会跟随对方动作将注意力转移到其手中的待传递物体，并提前伸出手臂配合进行抓取，在双方靠近到一定范围内给予者将物品递入接收者手中。

(2)模式2(48%)：给予者以放松姿态握持物体并靠近接收者，在两者相距足够近时，给予者会将物体递至到对方手部工作范围内，引起对方注意，并在表明传递意图的同时确定物体传接点位置，接收者会在确认意图后直接握住物体，完成目标物体的传递。

图1 两种传递行为模式步骤

综上所述，两种传递模式仅在意图判断阶段有所区别，在物体传递阶段基本一致。在此提取以下关键步骤，用于指导后续的人机物体传递系统开发：

(1)判断传递意图：在给予者靠近时，接收者会观察对方的动作，根据对方的手臂姿态及手中物体存在状态判断其传递意图。

(2)释放接收信号：在确认对方的传递意图后，接收者会通过注视对方手中物体的方式释放准备接收信号。

(3)配合完成传递：若给予者伸手后待传递物体可以在接收者手臂可达空间内，则会伸出手抓过对方物体，否则先伸手至预期传递位置等待对方配合完成物体传递。

2 人机物体传递系统搭建

2.1 传递系统整体控制逻辑

基于上述人类传递行为模式探究实验结论，本文设计了如下人机传递交互逻辑，如图2所示。

图2 传递系统控制流程

传递过程中，机器人担任接收者角色，首先机器人初始化，等待人类给予者进入视野，在识别到给予者存在后，进行传递意图判别，在确认给予者表达出传递意图后，机器人会转动头部观察对方手中物体，释放准备接收信号，并根据给予者手部位置控制机器人手臂运动，若给予者当前手部位置处于机械臂可达空间内，则机械手直接前往给予者手部位置附近进行抓取，否则机械臂会伸至期待传递位置，等待给予者靠近并配合完成传递，最后机器人通过识别给予者手部位置决定是否闭合手爪抓住物体，完成传递任务。

2.2 给予者手持物体存在检测

为区分相同姿态表现的不同意图，本文对手持物体存在信息进行检测，通过给与者传递物体时手中必然需要持有物体的先决条件来对传递意图进行区分。使用区域增长法提取手部区域掩膜，并通过HSV颜色阈值分割提取该区域疑似物体部分，输出疑似物体面积占比robject。优化后的算法伪代码如表1所示。

表1 优化后的算法伪代码

输出的疑似物体占比robject越高，说明手持物体存在可能性越大，本文在后续将其作为一个特征维度加入到意图识别的过程中。给予者手持物体存在检测流程如图3所示。

图3 给予者手部物体存在检测流程

2.3 传递意图判断

因物体传递过程主要由人体上肢进行参与，因此本文采用有监督学习的方式去检测人体上肢姿态，从而判断给予者传递意图。上肢主要包含5个主要部分的运动，包括头、右手腕、右手肘、左手腕、左手肘。首先求得此5个部分相对肩部中点的三维坐标，记作(xi,yi,zi)，之后，将其从笛卡尔坐标系转换到以肩部中点为中心的球坐标系，如图4所示，坐标系转换方式如下：

(1)

(2)

(3)

其中，ri为关节点Ji与原点间的距离，θi为关节点Ji和原点连线与z轴夹角，φi为关节点Ji和原点连线在xy平面的投影线与x轴之间的夹角。

图4 关节向量角提取

不同人体的肢体长度、距离远近缩放等因素影响会导致ri的不一致，因此本文对ri进行归一化处理，优化尺度不变性。这里选择求解最大ri作为归一化尺寸标准，记：

R=max(ri)

(4)

则有归一化后距离：

(5)

此处定义单一关节点的特征为：

(6)

则加入了手部疑似物体特征的总特征向量为：

M=[A1,A3,A4,A6,A7,robject]

(7)

在建立传递意图数据集后，即可采用机器学习方法对传递姿态意图进行训练。在现有的诸多机器学习方法中，支持向量机(SVM)具有泛化性好、鲁棒性高等优点，尤为适合小样本分类，因而本文选用该方法训练数据并实现实时意图判断。支持向量机核函数选择径向基核函数(RBF):

(8)

其中：xi和xj为特征向量，γ为核函数参数。

2.4 机器人响应控制过程

机器人控制包括机械臂Manipulator、机械手Gripper、云台Ptu三个部分，通过控制三个部分的运动来传递信息并配合完成物体抓取任务。

机械臂末端执行器的初始位置Pstart参考人类手臂自然下垂时的状态，并根据手臂构型适当调整。根据现有传递理论可知常用传接点为两人身体中间位置[8, 11]，在此预设传递位置Ppredict为两者在相距1.5 m(根据机械臂工作空间设置)时的中间位置。响应控制过程伪代码如表2所示。

表2 响应控制过程伪代码

3 传递系统实验及分析

3.1 实验平台

本系统中采用的机器人为实验室自主开发的服务机器人平台。使用ROS(机器人操作系统)为中间件将各传感器及驱动器的控制与反馈封装为话题数据流，方便信息流的可视化以及更高等级任务决策控制。基于各运动关节实时反馈的关节角，构建了机器人的TF树(坐标系转换树)，并且将识别到的骨骼坐标系也纳入TF树，在可视化工具Rviz上实时显示，如图5所示。

(a) 机器人实物图 (b) 实时可视化建模图5 机器人实验平台

3.2 传递意图判断实验结果与分析

因目前尚无传递意图数据集，因此本文自行采集并建立数据集。因意图识别目的是将传递物体意图行为与其他行为进行区分，因此负数据集(非传递意图动作)需要包含大量的行为来提高分类器的泛化能力，本文在采集负数据集时加入大量常见的上肢行为，如握手、立正、挥手、展示物体、摸头、挥拳、叉腰、抱胸等。

本阶段共征集了20名志愿者，在距离摄像头1 m～2.5 m的距离下，根据指示做出规定的行为。采集每名志愿者50次传递不同物体的行为作为正数据集，以及300次其他姿态作为负数据集，共采集了7000组数据，在剔除了17条骨骼识别错误的数据后，获得了6983条有效数据。随机抽取70%的样本作为训练集，使用libSVM库[12]进行训练并调节超参数，剩余30%的样本作为测试集来评估训练器真实分类性能。首先使用网格搜索方法寻找最佳超参数C及γ并通过3折交叉验证评价准确率，如图6所示。

图6 不同参数对准确率的影响

根据网格搜索结果，设定超参数C=32，γ=0.031 25，采用文献[13]的精确率PR、召回率RE、准确率ACC作为性能指标分析检测效果，在测试集上展开测试，并与文献[7]中方法在本文所提出的数据集上进行的测试结果进行了比对，结果见表3。

表3 传递意图判断性能比较

从上表中可以看出，本文方法在传递意图识别准确率方面有明显的提升，且在搭载了Intel(R) Core(TM) i7-7700HQ 中央处理器的电脑上的平均识别速度高于100帧/s，满足意图识别的实时性、准确性的要求。

3.3 传递系统整体实验

3.3.1 实验设置

本实验中，将章节2中所述传递系统移植到该机器人平台上，作为任务决策层来控制机器人各部分行为。为分析该系统的实际体验效果，本文征集了6名志愿者作为给予者使用该系统进行了物体传递实验，志愿者皆被要求使用右手进行传递。在每个实验的初始阶段，志愿者会从桌子上拿起要传递的物体，并将其传递给机器人，机器人则会使用该传递系统来与志愿者相互配合完成传递实验。每位志愿者都使用桌子上的3种物体(书、饮料瓶、水杯)分别与机器人进行5次传递，如图7所示。

图7 传递实验过程

为体现本实验系统的效果，本文参考文献[4]中的语音控制方法，设计了一组对比实验，让给予者采用语音指令控制机器人伸出手臂接过物体(即通过固定唤醒语句控制机器人伸手配合传递)，并按照相同流程让志愿者与机器人开展传递实验。

志愿者们被要求在体验两种传递系统后填写调查问卷，该问卷基于RoSAS[14]编写，如表4所示，能够清晰的体现出两种控制模式下人类对机器人能力(Competence)、温暖(Warmth)、不适(Discomfort)共3个维度的体验。志愿者根据符合程度对每个维度中的5个项目打分(1～5分，5分为符合程度最高)。

表4 机器人社会属性量表具体项目

3.3.2 实验结果及分析

以单次实验中机器人没有出现错误响应且机器人抓取物体后未掉落视为传递成功，统计实验中成功率及传递成功情况下平均传递完成时间如下：本文所使用系统传递成功率为91.1%，平均传递时间为3.3 s；语音系统传递成功率为88.9%，平均传递时间为4.9 s。RoSAS问卷结果对比如图8所示。

图8 RoSAS问卷评分对比

可以看出，相较于语音控制系统，本论文所提出的人机物体传递系统耗费传递时间缩短了33%，并且在机器人社会属性量表评分方面也有更好的评分，人类使用者对机器人的能力认可度更高，使用者认为机器人给予者更加亲切，且不适感有明显降低。

4 结论

本文提出了一种人类行为模式启发的人机物体传递系统，让机器人在复杂场景下主动配合人类并实现物体传递任务。实验结果表明，本文提出的意图识别准确率为96.2%，实现了对传递意图的有效区分，人机传递系统成功率91.1%，平均传递时间3.3 s，满足了传递系统的实时性、准确性要求，且在RoSAS评价中获得了相较传统语音控制传递更好的社会属性评价，给使用者带来更佳的传递体验。在未来的工作中，会进一步优化机器人的响应控制过程，提升传递系统的鲁棒性。