基于深度学习的风叶螺母检测

刘 伟

（珠海格力电器智能制造有限公司 珠海 519000）

引言

风叶螺母影响整机排热，噪音等关键质量要点[1]，是公司分体外机生产重点管控工序之一，目前主要是依赖员工人工眼看的方式，缺乏自动化检测手段，并且员工多为兼顾检查，所以极易出现螺母漏打现象；即使在运转测试环节是可以发现漏装，但是已经装了外罩，需要重新返工，影响效率。经调研，公司也引入了一台外部设计的风叶螺母视觉检测设备，该设备应用的技术主要是偏传统视觉技术，主要采用轮廓提取以及模板匹配的方式进行检测，设备的识别率在95 %左右，并且无法区分螺母和垫片，存在一定的缺陷。基于上述原因，亟需一种在线自动检测手段来解决问题；通过自主开发风叶螺母在线视觉检测[2]装置实现视觉检测。

1 技术方案

整个系统主要由上位机、PLC、相机、镜头、光源及相关硬件结构组成，具体型号如表1所示。本方案包括系统硬件设计和算法软件设计两方面，如图1所示。

表1 硬件型号表

图1 项目整体方案

1.1 风叶螺母自动检测系统硬件设计

系统硬件设计部分可以细分成结构设计和电控硬件设计。

1.1.1 结构设计

结构部分主要是保证照片符合相机拍照要求。上位机与PLC 以串口方式相连，封装在控制柜中，显示器与鼠标键盘在控制柜上供操作人员使用；使用铝合金结构固定光源和相机，在光源后面安装一块遮光板，保证背景简单，相机与上位机使用网线方式相连；气缸与相关推动装置放置在相机的前道工序，使用PLC 进行控制；气缸终端流水线位置设置气缸控制限位传感器，镜头终端流水线位置设置拍照控制限位传感器。如图2所示，整个流程不停留，不影响产线节拍。

图2 硬件结构设计示意图

1.1.2 电控硬件设计

第一步，为了使外机角度在相机拍照的角度范围内，使用PLC 控制气缸，外机底托到达气缸限位点时，启动气缸将外机底托推成与产线平行，使风叶正对相机；第二步，外机底托到达拍照限位点时，启动相机进行拍照。先对风叶进行检测，存在风叶则进行螺母检测，否则跳过，存在螺母则亮绿灯，否则亮红灯并停线。图3所示为电控方案流程。

图3 电控方案流程

1.2 风叶螺母自动检测系统软件设计

系统软件设计部分主要分为风叶检测算法和螺母检测算法两部分。根据产线调研，项目存在4 个难点：

1）流水线上，除了机子外，经常性出现其他物体如纸箱、塑料箱或返修机等经过线体，导致风叶螺母检测系统经常性出现误报，如图4所示。

图4 其他物体

2）风叶的类型较多，类型之间差异较大，而且早晚之间的光照环境[3]变化大，都给风叶的识别带来一定的挑战，如图5所示。

图5 不同风叶类型以及环境对识别的影响

3）目前螺母大体分两种类型，一体式螺母和垫片式螺母，这两种类型之间的差异性比较大，难以用传统的图像识别方法将他们都识别出来，如图6所示。

图6 不同类型螺母

4）垫片式螺母的安装往往需要涂粘合剂，导致螺母本身的部分特征被遮挡，不利于传统图像算法的识别，如图7所示。

图7 被粘合剂遮挡的螺母

针对难点1），增加识别风叶的功能，只针对有风叶的机子进行螺母的检测。

针对难点2），采用深度学习算法[4]，使用大量的风叶图片和非风叶图片对所设计的风叶识别模型进行训练。使得该模型能够学习到风叶本身的特征，能够很好地避免不同类风叶间的差异性和解决光照差异大的问题。

针对难点3）和4），采用人工智能算法中的深度学习算法，利用其卷积神经网络[5]强大的图像特征提取能力，使用大量的螺母图片和非螺母图片对所设计的螺母识别模型进行训练。使得该模型能够学习到螺母本身的特征，能够很好地避免不同类螺母间的差异性和解决螺母部分特征的遮挡问题。

1.2.1 风叶检测算法

主要使用CNN 算法进行自动建模，前期采集大量不同类型风叶及其他物体、不同光照环境下的风叶及其他物体的图片，预处理成CNN 输入的格式之后输入CNN进行模型训练，得到检测模型，之后在产线上采集的图片经过同样的数据处理之后输入检测模型进行判断，得到判断结果，如图8所示。

图8 使用CNN 算法检测风叶有无

图9 风叶检测自学习

由于其他物体、环境较为复杂，仅仅使用CNN 算法进行模型训练得到的检测准确率约为98 %，为了进一步提升检测准确率，降低误报率，首创了一种自学习的算法，检测设备会保存检测出NG 的图片并报警，操作人员可以回顾NG 图片，删除真正的非风叶图片，保留误判的图片，系统会重新对误判的图片进行学习，不断优化模型。

1.2.2 螺母检测算法

螺母检测与风叶检测相同，同样使用CNN 算法进行自动建模，前期采集大量不同类型螺母以及非螺母的图片，预处理成CNN 输入的格式之后输入CNN 进行模型训练，得到检测模型，之后在产线上采集的图片经过同样的数据处理之后输入检测模型进行判断，得到判断结果，如图10所示。

图10 使用CNN 算法检测螺母有无

虽然风叶检测和螺母检测都是使用CNN 算法建模，但是使用的架构和输入的数据截然不同，风叶检测相对来说数据量较大，但是数据较简单，因此为了保证速度，在精度不变的情况下，尽量减少隐藏层数量，CNN 模型输入为200×200，有4 个隐藏层（卷积+池化层）；螺母检测相对更难一些，但是每张图片的数据量较少，只需提取螺母部分的兴趣点，CNN 模型输入为30×30，有6 个隐藏层。

1.3 风叶螺母自动检测系统界面设计

系统界面分为图像显示区、数据展示区、运行状态展示区以及人机交互区四部分，如图11所示。

图11 系统界面

图像显示区显示相机采集的图像信息，也会将检测结果以OK/NG/NF 的方式显示出来；数据展示区是对历史数据进行一个展示，方便进行质量追溯；运行状态展示区会显示检测软件运行的状态，可以根据运行状态进行相应的调试；人机交互区是开放给操作人员的使用的，操作人员可以在其中进行相关操作。

2 现场验证过程

检测系统在总装K3102 线布置进行现场验证，通过放蛇验证和长期产线验证，可以准确识别出风叶的有无以及螺母的有无，如图12～14所示。

图12 检测出没有风叶

图14 检测出螺母

3 验证分析结论

经过产线验证，共检测19 592 台外机，其中合格品为195 39 台，不合格品为53 台（40 台是有意放蛇检出，13 台是线上员工漏打螺钉），合格率为99.729 %，其中误检24 台（有风叶或螺母识别成没有20 台，漏识螺母4 台），检测准确率为99.88 %，检测可靠率99.97 %。

4 总结

本文基于深度学习技术提出了一种自动化的风叶螺母在线检测技术，产线验证结果显示，该技术在检测风叶螺母异常方面有较高的准确性和可靠性，对于提高工业产品生产装配过程中的质量控制具有重要意义。通过与现有其他的检测方法进行比较，发现基于深度学习的风叶螺母检测技术在准确性和可靠性方面具有明显优势，但是本研究仍存在一定的局限性，在数据集的选取和网络结构的优化方面还需要进一步改进，未来还需要扩大数据集规模，尝试多种网络结构，进一步优化检测性能。