虚拟装配手势库设计及人机工效评估优化

郭加伟， 许志杰， 何其昌

(上海交通大学 机械与动力工程学院， 上海 200240)

随着我国机器人技术、智能制造技术的不断提高，装配自动化技术得到了快速发展，但是在精细装配工艺环节，如手机通讯元件装配、线缆装配等，仍需要手工来操作.人机虚拟装配作为虚拟现实技术在产品全生命周期领域中的仿真验证工具，以提高设计质量为目标，综合利用计算机图形学技术、建模仿真、人机交互技术等，构建虚拟仿真环境，使操作者可以在虚拟环境中交互式装配、拆卸零件等，对装配作业进行人机工效评估[1-3].

国内外学者对虚拟装配仿真做了大量的研究，法国Dassault公司[4]推出了数字化装配仿真平台DELMIA，可以将产品模型与工艺模型进行协同设计，在虚拟环境中完成仿真分析.文献[5]建立了虚拟装配系统VDVAS，操作者可以在系统内选择零部件并进行拆卸规划，静、动态干涉分析.文献[6]研究了基于约束的虚拟装配，实现了虚拟环境下使用拧紧工具的交互式装配操作.文献[7]虚拟现实设备的出现，改变了需要穿戴外设的限制，其通过图像处理技术，自动捕捉人体及手部的运动轨迹，提高虚拟装配人机交互的友好性.文献[8]利用基于Leap Motion的虚拟手交互方法，根据任务训练需求设计虚拟手抓取方式等，构建了航天员虚拟装配训练系统.

装配作业舒适度与装配件重量、工作姿势及时长等因素相关，如上述条件不当，不仅会降低装配效率，还会造成操作者肌肉骨骼损伤，影响生理健康，进一步对装配质量产生影响，存在极大安全隐患[9].快速上肢评估(RULA)[10-11]作为一种有效的人机工效评估方法被广泛使用，而RULA方法对手部，尤其手指关节工作时长、操作速度等因素没有考虑，并且当人体关节角度处于评价标准的临界值时，RULA评估分值会发生突变、跳跃现象[12]，影响评估的准确性.劳损指数(SI)[13]是一种用来评估工作中手部、手腕、前臂和肘部伤害风险水平的评估方法，其将工作速度、手/手腕姿势、每天工作时间等任务变量作为评价标准，能够充分对手工作业人机工效进行评估.目前，在采用RULA和SI进行人机工效评估时，现有软件工具只能对装配姿势逐个进行评估，操作繁琐、手势姿势精确设置时间较长，造成虚拟装配仿真效率低下，影响虚拟装配技术的推广使用.

针对以上问题，通过定义手部关节结构、手臂及手部尺寸，建立参数化装配手势库；使用模糊算法优化RULA评估方法，避免因关节角度处于临界值时RULA分值的跳跃现象；考虑工作速度、手/手腕姿势、每天工作时间等评价因素，综合模糊RULA与SI方法进行人机工效评估；集成开发基于Dassault公司的3D Experience平台的人机工效评估工具，实现装配仿真过程的连续人机工效评估，避免遗漏装配作业期间的风险姿势，提高仿真效率与精度.最后，采用手机通讯元件的装配作业评估进行应用验证.

1 虚拟手关节模型及手势定义

虚拟人是真实操作者在虚拟环境中的映射，其尺寸与装配过程位姿是人机工效评估的重要参数.为了保证评估的准确性，需要对虚拟人手进行个性化尺寸标定.所建立的虚拟手模型如图1(a)所示，包含18个关节、27个自由度(DOF)，其中上臂与肩部之间关节具有3个自由度，其余关节各有1～2个自由度.以图1(b)关节3(手腕关节)为例，在关节处定义空间直角坐标系，以骨骼朝向指尖方向为z轴，记绕y轴为DOF1，绕x轴为DOF2.通过设定虚拟手模型的长度尺寸以及27个自由度的角度值，可以定义特定装配动作的手势.

图1 虚拟人手部关节及自由度Fig.1 Virtual human hand joints and degree of freedom

手工装配作业手势种类较多，在装配作业中需要不断切换手势，传统虚拟装配仿真过程中需要在虚拟装配软件中手动调整手臂、手部的27个关节自由度参数，设置操作较为繁琐.通过外置传感器设置、保存特定装配动作的手势关节角度、构建参数化装配手势库，可提高虚拟装配仿真设置效率.Ultraleap公司的Leap Motion传感器能够实时获取手部关节的坐标、方向矢量等信息，且具有良好的精度[14].Leap Motion采用红外成像技术来捕捉手势数据，将手部放置在Leap Motion上方，获取手部方向矢量，如图2(a)所示.通过计算空间矢量夹角公式将手部方向矢量转换为关节角度值，从而获得当前手势的27个关节自由度参数值，如图2(b)所示.获取手操作工具的手势信息时，操作工具会遮挡手指，影响关节角度识别精度，需对部分手指关节角度进行调整，形成装配手势库的手势，如图2(c)所示.

图2 Leap Motion手势获取Fig.2 Leap Motion gesture acquisition

2 模糊RULA与SI人机工效综合评估

2.1 模糊RULA评估方法

当人体关节角度处于评价标准的临界值时，RULA评估分值会发生突变、跳跃现象，影响人机工效评估的准确性.采用模糊逻辑对RULA评估方法进行改进，实现评估分值的连续化.模糊逻辑是建立在多值逻辑的基础上，运用模糊集合的方法来研究模糊性思维、语言形式及其规律的科学，借助于隶属函数的概念，区分模糊集合，处理模糊关系[15-16].RULA方法将身体分为A部分：上臂、前臂、手腕以及B部分：颈部、躯干、腿部.对装配作业进行RULA评价时，首先根据作业姿势获取关节角度值，由关节角度评价标准得出关节角度得分；其次, 根据关节角度得分在RULA得分规则表A和B[17]中获取A部分以及B部分得分，考虑上肢、颈部等部位的肌肉使用、负荷情况并由评价标准获取相应得分，将其得分与A部分、B部分得分汇总；最后由汇总后的得分在规则表C[17]中获取RULA评估分数[11, 17].建立的模糊RULA评估方法包括27个关节角度输入(X1～X27)、2个中间变量(模糊RULA的A、B部分得分SA,SB)、1个输出(模糊RULA得分S)、40个隶属函数(f1～f40)以及281个if-then规则[12,15]，其模型结构如图3所示.

图3 模糊RULA模型结构Fig.3 Structure diagram of fuzzy RULA model

使用隶属函数对27个关节角度进行模糊化，采用最大隶属度法进行去模糊化[18]，选取规则表A[17]、规则表B[17]中隶属度最大的分值作为A部分、B部分得分，通过规则表C[17]获取RULA得分，模糊RULA评估方法计算流程如算法1所示.

算法1模糊RULA

(1) 获得影响RULA得分的各关节自由度DOF的角度值θ.

(2) 设置梯形函数为隶属函数对关节角度进行模糊化.

(3) 根据角度值θ与隶属函数，计算各关节角度得分的隶属度.

(4) 由计算得出的上臂、前臂、手腕、手腕扭转得分及对应隶属度，在表A中求出A部分得分隶属度的最大分值.

(5) 由计算得出的颈部、躯干、腿部得分及对应隶属度，在表B中求出B部分得分隶属度的最大分值.

(6) 由A部分、B部分得分在表C中求出最终模糊RULA得分.

梯形函数能够有效地对关节角度进行模糊化并且简化计算过程，故选取梯形函数作为隶属函数，对关节角度进行模糊化，相邻隶属函数交点的隶属度为0.5，梯形隶属函数表达式如下式所示：

(1)

式中：h为自变量；a为下底与左腰交点的横坐标；b为上底与左腰交点的横坐标；c为上底与右腰交点的横坐标；d为下底与右腰交点的横坐标.通过各关节的对应隶属函数计算关节角度得分及其隶属度，分别计算出规则表A[17]、规则表B[17]中隶属度最大的分值作为A部分、B部分的最终得分.

以A部分(上肢部分)得分为例，有3个关节角度：上臂DOF1角度、上臂DOF2角度、锁骨DOF2角度影响上臂得分，根据RULA关节角度评分标准建立上臂的7个隶属函数，如图4～6所示，其中：δ为隶属度.由以上3个关节角度及其对应的隶属函数可得出一对相邻关节角度得分及其各自隶属度.同理，计算出前臂、手腕、手腕扭转部分的3对相邻分值及对应隶属度，在规则表A[17]中选取最大隶属度分数作为A部分得分.

图4 上臂DOF1隶属函数Fig.4 Membership function of upper arm DOF1

图5 上臂DOF2隶属函数Fig.5 Membership function of upper arm DOF2

图6 锁骨DOF2隶属函数Fig.6 Membership function of clavicular DOF2

基于模糊逻辑的RULA评估方法针对得分发生跳跃的问题，引入了隶属函数，关节角度分值的变化呈稳定变化趋势，避免最终得分因关节角度处于临界值时而发生突变的现象.

2.2 人机工效综合评估

针对RULA方法对手部，尤其是手指关节工作时长、操作速度等因素考虑不全的问题，采用模糊RULA与SI方法综合进行人机功效评估.SI将工作强度、工作持续时间、每分钟工作次数、手/手腕姿势、工作速度、每天工作时间作为评价因素，对每个因素的风险进行评估并各划分为5个等级，为各等级分配乘数，乘数越大代表风险系数越高，乘数的乘积为SI的最终得分[13].SI对连续手工作业进行评估，能够弥补RULA方法缺乏对手指动作进行评估的缺陷.RULA与SI的评分标准都将7分评定为高风险工作，故设定权重因子为0.5，并将模糊RULA与SI得分加权求出最终评估结果，如下式所示：

(2)

式中：SF为人机功效评估得分；n为仿真动作时长；Si为第i帧时的RULA评估得分；I为工作强度乘数；D为工作持续时间乘数；M为每分钟工作次数乘数；P为手/手腕姿势乘数；v为工作速度乘数；t为每天工作时间乘数；w1与w2为权重因子，设为0.5.

该评估方法能够对连续的装配动作进行人机工效评估，且最终评估结果用分数表示，分数越高则代表着肌肉骨骼损伤风险的等级越高.

3 3D Experience集成开发

通过对操作人员的手部长度信息、手工装配姿势进行采集，拟在3D Experience平台中建立装配手势库.3D Experience是法国Dassault公司推出的一套面向产品全生命周期的协同管理、分析、设计和仿真平台.基于3D Experience提供的开发接口，利用组件应用架构(CAA)二次开发技术，开发装配手势库及人机工效评估工具，包括4个模块：手部标定、手势管理、手势应用、人机工效评估，并集成到3D Experience软件的工具条中.

(1) 手部标定模块：设置人体模型的国家、比例、性别等信息，获取标准虚拟人模型；采集、管理员工个性化手部长度信息，赋值到虚拟人体模型以姓名或序号命名保存.手部标定模块窗口如图7所示.

图7 手势标定模块界面Fig.7 Module interface of gesture calibration

(2) 手势管理模块：定义个性化手势，集成Leap Motion传感器采集手部关节角度，对27个手部关节自由度赋值，提供三维人机界面手工对关节角度进行调整，形成精确手势，按照不同装配工作定义手势分区，在不同分区下保存对应手势.

(3) 手势应用模块：虚拟装配仿真过程中，将手势库中的手势参数自动赋予虚拟环境中的虚拟手模型.

(4) 人机工效评估工具：针对3D Experience平台中的装配运动仿真，设置进行人机工效评估的帧数范围，以分值图的形式展示评估结果，并通过颜色显示评估预警.

4 案例分析

为验证该人机工效评估工具的可行性，选取手机通讯线装配案例进行应用验证.在通讯线装配作业中，操作人员先将线缆放置在线槽上，两端扣紧卡扣固定，然后用理线笔将线缆压紧到线槽里.装配操作动作由上肢完成，负载小于20 N.安装一根手机通讯线平均耗时73 s，每天工作8 h，属于长时间劳作，容易造成操作人员肌肉骨骼损伤.在3D Experience平台中进行手机通讯线装配作业仿真，采用传统制作仿真方式进行操作，对上肢动作，尤其是手部精细动作调整时花费时间较多，仿真效率低下.通过制作5组手机通讯线装配仿真并计时，计算得出该案例平均耗时63 min.

利用构建的装配手势库，读取装配过程中的操作理线笔姿势、拿线姿势、按压姿势等，建立参数化装配手势库，如图8所示.

图8 装配手势Fig.8 Assembly gestures

结合装配手势库制作虚拟装配仿真，从手势库中调用手势设置仿真的关键姿势，减少手势姿态调整时间，制作与相同的5组手机通讯线装配仿真，在相同的手势精度下，平均仿真时间为17 min，仿真效率提高370%.图9为线缆装配作业仿真.

图9 线缆装配作业仿真Fig.9 Simulation of cable assembly job

根据上述手机通讯线装配工作情况，设定RULA肌肉使用、负荷分数以及SI各评估因素的风险等级.其中，A部分肌肉使用分值加1；工作强度评级为1级，乘数为1.0；工作持续时间评级为5级，乘数为3.0；每分钟工作次数评级为5级，乘数为3.0；手/手腕姿势评级为3级，乘数为1.5；工作速度评级为3级，乘数为1.0；每天工作时间评级为4，乘数为1.0.对装配作业仿真进行人机工效评估，在3D Experience中使用人机工效评估工具读取该仿真，设定进行人因评估的帧数区间，生成逐帧的综合人机工效评估分值图，如图10所示.其中：分值线框图中红线为原始RULA分值；蓝线为模糊RULA分值；横轴为装配仿真的帧数.

图10 评估结果Fig.10 Evaluation results

根据分值线以及装配仿真运动可以观察到，第2、3帧装配作业姿势关节角度差距较小并且处于RULA关节角度评分标准的边界范围，原始RULA分值发生了跳跃，而模糊RULA由于对关节角度进行了模糊化处理修正了这一突变现象.图11为原始RULA分值发生跳跃的两个临界姿势.由图11可知，仅手臂、手腕、脖颈关节角度有微小差别，最终分值却相差2分.根据式(2)计算出该装配仿真的模糊RULA评估得分的平均值，与SI进行加权计算得到最终人机工效综合评估为9.1分.因此，从安全隐患以及员工健康角度考虑，长时间的流水线作业会提高肌肉骨骼损伤风险，减少员工的工作时间以及工作频率是有必要的.

图11 RULA分值突变临界姿势Fig.11 Mutation critical position of RULA score

传统的人因评估方法只针对预测有风险的单个姿势进行评估，从上述手机通讯线装配案例可发现该人机工效评估工具能够大大提高装配仿真制作的效率；并且实现了对装配仿真进行连续的评估，能够及时捕捉到装配作业中的风险姿势，提高了评估精度.

5 结语

通过定义手部关节结构、手臂及手部尺寸，建立了参数化的手势装配库，改善了传统虚拟装配手势仿真设置效率低下的问题.针对RULA在关节角度处于评价标准临界范围时得分发生跳跃的现象，使用模糊算法进行了优化.综合模糊RULA与SI方法，考虑了工作速度、手/手腕姿势、每天工作时间等评价因素.开发基于3D Experience平台的人机工效评估工具，实现了装配仿真过程的连续人机工效评估，对装配作业姿势进行风险监控，极大地提高了评估的效率与精度.最后，通过对装配手机通讯线案例的分析，进一步验证了该方法的可行性.