基于混合现实技术的智能装备向导应用

杨慧丽，官炳政，李金成，刘云成

( 软控股份有限公司，山东 青岛 266042)

1 智能装备要求人机简易交互

轮胎作为汽车的重要配件之一，其质量直接关系到人们的生命安全，而轮胎生产设备的稳定性和可靠性又直接影响轮胎的质量，由于设备的复杂性和专业性，设备的安装、调试、运维和维修等工作，都需要专业的技术人员操作。以往设备安装、调试、故障维修等，用户无法完成处理，需要设备供应商到现场提供技术支持，这样既费时间，严重拉低生产效率，同时产生较高的成本。

随着工业智能制造的快速发展，新技术的应用日新月异，智能橡胶轮胎装备在橡胶轮胎生产过程中发挥至关重要的作用，装备系统的智能化升级必然带来系统的复杂度提升，但保证人在智能系统中核心地位，增强用户智能交互和体验，降低人因知识经验不足、操作能力要求过高导致的生产过程不可控的问题，软控股份有限公司充分发挥混合现实技术虚实结合的技术优势，建立自主MR 装备平台，简化装备操作难度、提升操作效率和准确度，降低对操作人员能力要求。

2 混合现实技术是被广泛应用的技术

混合现实技术以其三维立体空间投射的全息视觉体验效果和基于语音、手势和视线的交互方式，更能满足特种领域维修指导过程的实时性要求[1]。MR 技术以数字化信息表达与现实物体进行交流互动，为使用场景带来了新的交互方式。传统的交互方式主要为鼠标、键盘、屏幕触摸等操作，混合现实交互方式，可以使用手势、肢体、凝视、眼球、控制器以及语音等操作[2]。

MR 技术的价值就是把虚拟空间信息和真实环境相结合，具有良好的沉浸体验和交互性。目前，该技术已经在军事、医疗、设计、教育、工业制造等领域得到广泛应用[3]。

3 软控混合现实向导应用场景

3.1 硬件介绍

本系统使用HoloLens 2 作为硬件设备。HoloLens 2 是微软发布的一款混合现实头戴式可穿戴设备，整个Hololens 2 头显相当于一台小电脑，它采用人体工程学的设计，搭载Window10 系统，拥有独立的计算单元，实现虚拟空间和真实空间交互[5]。

3.2 系统功能设计

软控MR 向导是以混合现实设备为依托（图1），将物理世界和数字世界的场所融为一体，进行信息交互。采用平台化的理念，将工作内容进行步骤分解，现场进行模型定位，制定操作向导，为满足橡胶轮胎工厂实际业务生产，建立基于模块化的离线的向导操作平台。

图1 软控MR 向导操作平台

平台只需要模块化配置，即可实现知识内容的快速生成，主要功能及技术攻关，包括：

（1）空间定位。虚拟现实指导，首先要实现在真实设备位置进行空间定位，在真实操作过程中正确定位指导工作。空间定位可以通过特定Marker 图标扫描或虚拟模型摆放进行位置确认。位置确认后添加锚点，记录当前环境信息，并保存到本地，当再次打开应用时，重新加载锚点信息，与当前环境匹配，虚拟场景会自动匹配正确位置。

（2）制作指导内容。使用电脑端应用制作指导内容，将指导任务分步骤指导。每个步骤添加指导内容，包括文本说明，图片显示，视频播放，模型展示；模型支持动态效果。

（3）支持离线应用。将电脑端应用制作的指导内容，通过网络或数据线导入到HoloLens 眼镜本地存储，保证在断网情况下也会正常使用。

（4）场景渲染优化。模型轻量化及渲染技术，实现大规模场景渲染，实时模型特效和场景虚实互动效果。提高对虚拟场景的真实渲染效果，加强混合现实的真实感，指导过程中，让工作人员利于学习和操作。

（5）人机交互功能。友好的交互方式，便捷的操作方法，会更方便人们的使用。由于工作人员在工作中双手会使用工具，我们使用语音和凝视进行操作，这样可以完全释放双手，保证指导员工顺利完成工作。

3.3 场景应用实际案例

MR 指导应用，工作人员佩戴MR 眼镜设备，到工厂车间，打开软件应用，选中要指导的内容，MR设备会在眼前显示指引线，指导工作人员来到安装位置，通过步骤式指导，一步步指导工作内容。可以实现设备安装指导、设备调试指导、生产操作指导、设备运维指导、设备维修指导等操作。以下是在橡胶设备领域已经应用的场景。

（1）软控PS2A 成型机设备

以PS2A 成型机换规格为例，生产不同规格的轮胎时，需要设备调整规格参数和更换侧鼓器件。这需要专业技术人员通过查阅相关资料进行调整和器件更换才可正确使用。

针对PS2A 成型机换规格，通过MR 向导模块（图2、图3），无需专业技术人员，在向导模块指导下，现场3D 模型展示、工作区域指引、文本信息描述等，可以正确的进行设备规格更换。

图2 软控向导模块

图3 PS2A 半钢一次法成型机

（2）硫化机装备

以硫化机的安装指导为例（图4），由于设备复杂度较高，技术要求高，设备安装必须是专业的技术人员。针对复杂高要求设备，将安装内容进行模块化分解，将安装内容拆分为小步骤，制作MR 指导，用3D模型、视频、图片、文本、空间定位等方式，直观展示操作内容，降低技术门槛，无需专业技术人员可以完成设备安装。

图4 软控硫化机设备

4 混合现实在橡胶轮胎装备应用拓展

软控坚持人机简易交互的理念，基于模块化的知识库平台，将混合现实技术应用于研发过程中的全息设计阶段，更好的实现与客户需求的联动；应用于装备智能运维的装备透视、MR 运维等场景，实现对装备运维的立体化、可视化、简易化；融合物联网、视频监控等技术，建立远程调试控制平台，实现对全球设备的远程安装、调试，快速交付产品。

5 结语

MR 技术应用，提供了混合现实这种直观展示形式，大大提升设备指导工作，降低技术门槛，成功实现了MR 技术在橡胶机械领域，设备安装指导、设备调试指导、设备故障维修等场景中的落地。工作人员在MR 技术的应用中，可以高效的完成工作指导，提升工作效率，节省人工成本和时间。

未来MR 技术将会在橡胶轮胎装备领域发挥更大的作用，将进一步提升工业智能化水平，帮助橡胶机械行业解决更多的实际问题。