基于手势识别的智能交互系统设计

张昊 徐萌 孟永哲 王岩 朱文印

（1.青岛海尔智慧厨房电器有限公司，266100 山东青岛；2.数字化家电国家重点实验室，266100 山东青岛；3.海尔智家股份有限公司，266100 山东青岛；4.青岛国创智能家电研究院有限公司，266101 山东青岛；5.数字家庭网络国家工程研究中心，266101 山东青岛）

智能交互系统作为现代家庭的一部分，通过自动化和智能化的技术，提供了更加便捷、舒适和安全的居住环境[1]。传统的智能交互系统需要通过遥控器、手机或语音识别等方式进行操作，但这些方式无法满足所有家电使用场景，比如厨房电器跨界式油烟机在多种场景下使用，无接触式手势识别智能交互系统能够创新性地解决厨房电器多场景的使用问题。基于手势识别的智能交互系统通过识别用户的手势指令，可以实现更加直观、自然的交互方式[2]。本文旨在设计、实现和应用一种基于手势识别的智能交互系统，以提高用户的使用体验。本文以深入用户体验，解决用户痛点出发，创新性地提出一种无接触式、多功能、智能化手势识别交互系统设计方案，主导该方案中关键节点比如硬件设计、软件开发、功能测试并通过该系统成功实现厨房电器无接触式手势控制。

1 智能交互系统硬件设计

1.1 嵌入式处理器

嵌入式处理器是系统的核心处理单元，负责图像数据的处理和手势识别算法的运算[3]。这种处理器通常具有较高的计算能力和低功耗特性。它可以集成在摄像头或者模块中，或者作为独立的处理器单元连接到摄像头模块。ES7P7021F4SD 是一款基于高性能哈佛型RISC CPU 内核的ES7P7021 系列的8 位的微控制器，它的程序存储器为2KWords FLash，64Words数据Flash 存储器，128Bytes SRAM 数据存储器；支持13 个I/O 口和1 个输入，内部集成高频16 MHz RC 振荡时钟源，ES7P7021F4SD 原理图如图1 所示。

图1 ES7P7021F4SD 原理图

1.2 手势接收模块

手势接收模块是基于手势识别的智能交互系统的关键组件之一。它通常采用高性能的IR333C-A 红外发射器和W0038NL-2-M1-W25 红外接收器，能够捕捉用户手势信息[4]。摄像头模块应该具备适当的视野范围和角度，以确保能够准确捕捉到用户的手势动作[5]。本设计选用 IR333C-A、W0038NL-2-M1-W25 传感器。它可以实现7 种基本手势动作识别，包括上下挥动、左右挥动、悬停、连续多次挥动等手势动作，SPTCN-938-Haier 悬停手势模块原理图如图2 所示。

图2 SPTCN-938-Haier 手势模块原理图

1.3 显示模块

设计使用型号以ET6144Q 为处理器核心的UI 显示器来显示传感器捕捉到的手势，根据UI 显示器中UI 变化可以判断所输入的指令的正确性，实现系统控制模块，根据手势识别结果决定对交互设备的控制操作。利用选定的蓝牙通信模块与家居设备进行通信，发送控制指令和接收设备状态反馈。确保控制和通信的稳定性、安全性和实时性，ET6144Q 控制核心UI 显示器原理图如图3 所示。

图3 ET6144Q 控制核心UI 显示器原理图

1.4 驱动模块

本设计采用型号为R7F100GBG2DFP 主控芯片搭配SSCU2L8 驱动芯片实现控制信号输入和终端负载控制，同时设计开关电源、硬件保护、软件电流检测、显示通信电路外围集成电路实现家用电器无线控制，R7F100GBG2DFP 主控芯片和SSCU2L8 驱动芯片如图4、5 所示。

图4 R7F100GBG2DFP 主控芯片图

图5 SSCU2L8 驱动芯片图

2 智能交互系统软件设计

本系统的软件部分主要通过系统初始化、显示器显示、手势识别、驱动芯片控制来实现。采用基于深度学习的卷积神经网络（CNN）手势识别算法。设计一个合适的模型结构，并使用大规模的手势样本数据进行模型训练。通过数据增强技术、模型压缩和量化等方法优化算法，以提高准确性和实时性[6]，软件设计流程图如图6 所示。

图6 软件设计流程图

3 结束语

本文介绍了一种基于手势识别的智能交互系统的设计、实现和应用。通过采用计算机视觉和机器学习技术，系统能够准确识别用户的手势指令，并实现智能交互设备的自动化控制。实验结果表明，该系统具有较高的识别准确性和实时性，用户对其交互方式和控制效果普遍满意。未来的研究可以进一步改进手势识别算法，提高系统的性能和稳定性，以及扩展系统的应用场景和功能。