基于机器视觉的日本鲭定向装置设计与试验

艾正茂，谭鹤群，2，万鹏

1.华中农业大学工学院/农业农村部长江中下游农业装备重点实验室，武汉 430070；2.长江经济带大宗水生生物产业绿色发展教育部工程研究中心，武汉 430070

日本鲭（Scomber japonicus）在中国海洋渔业中占有相当重要的位置，为海洋中上层的主要经济鱼类之一。1990 年后，我国日本鲭年产量基本维持在30 万t 左右［1］，日本鲭加工机械化装备特别是前处理加工装备的需求十分迫切。鱼体定向整理是前处理加工的重要工序［2］，目前此工序主要由人工完成，存在劳动强度大、生产效率低等缺陷，在一定程度上制约了鱼体自动化加工的发展。因此，研究鱼体定向整理方法和自动化装备具有重要意义。

鱼体定向整理包括鱼体头尾定向整理和鱼体腹背定向整理两部分，其目的是使鱼体在输送过程中通过整理使其头尾和腹背朝向特定的方向，以便利后续去鳞、剖切、去内脏等前处理加工工序的执行。鱼体的机械化头尾定向整理主要依据鱼体头尾厚度、重心位置、鱼鳞排列方向的差异来实现［3］。例如，徐颂波等［4］根据鱼体头部朝前和鱼体尾部朝前两种不同姿态接触压轮时产生的不同弯曲形变量来完成鱼体头尾的判断工作。Webster 等［5］利用鱼体重心靠近头部的原理，将鱼放置在旋流中，最后鱼体保持头部一致向外排出。万鹏等［6］利用鱼体在摩擦带上的顺鳞和逆鳞摩擦系数的差异，通过往复振动的方式实现鱼体沿其逆鳞方向输出。Pegoraro 等［7］利用鱼体头尾部分在输送带垂直方向上的高度差异，布置传感器检测输送带上鱼体的头尾朝向，结合相应执行机构，实现鱼体头尾定向。鱼体的机械化腹背定向整理，主要依据鱼体腹背形状、腹背重心位置的差异来实现。Leander［8］设计了一种鱼体腹背定向系统，利用腹背判断机构和翻转机构共同作用实现鱼体腹背定向。万鹏等［9］依据鱼体的腹部与背部重心不在同一水平的特点，利用对辊装置施加扭矩实现鱼体的腹背定向。高星星等［10］利用渐变滑道对鱼体腹背同时施加挤压力，促使鱼体向背部翻转从而达到腹背定向的目的。综上所述，国内外学者针对鱼体定向整理方法进行了较多研究并设计了一些装置，但大多数装置基本依靠纯机械结构组成，工作环境嘈杂，效率较低，设备运行成本高且只能用于固定的处理对象，普适性不强。

随着计算机技术的快速发展，图像处理和机器学习等技术应用逐渐成熟［11-13］。其中，卷积神经网络作为图像分类算法的重要方法之一，具有识别精度高、检测速度快等优点，已广泛应用于自动驾驶、农产品检测、医疗判断、工业检查等领域［14-18］。其在鱼的目标检测及种类识别等方面也有很好的应用。吴建辉等［19］采用邻域边界算法对鱼体的轮廓进行提取，再利用鱼体背部弯曲潜能算法，对4 种主要淡水鱼的识别精度达到96%以上。顾郑平等［20］利用卷积神经网络提取鱼体图像特征，再结合SVM 算法形成混合分类模型，在F4K 数据集上取得了98.6%的准确率。李均鹏等［21］基于InceptionV3 网络模型，使用迁移学习的方法在特征提取器后接入Average Pooling 层和SoftMax 分类层，新的训练网络对复杂场景海洋鱼类识别准确率达到97.4%，比单纯InceptionV3 网络模型的识别准确率提高了29.8%。丁顺荣等［22］基于多特征相结合及粒子群优化SVM 的鱼类分类方法，在实际采集的数据集上的准确率达到94.7%。陈英义等［23］基于改进VGG16 卷积神经网络的鱼类识别方法，针对鱼类目标很小、背景干扰很强的图像，平均准确率能达到97.66%。

目前机器视觉技术在鱼体的定向整理上的应用还仅停留在鱼的种类识别阶段，还未对相关的机械结构及控制模块进行研究。本研究针对上述鱼体定向整理装置存在的问题，以图像处理和深度学习算法为核心设计了一种鱼体自动定向整理的装置，并进行了样机试验，以期为鱼体智能化定向整理装置的设计提供参考。

1 材料与方法

1.1 整体结构设计及工作原理

1）整体结构。本研究设计的基于深度学习和图像处理的日本鲭头尾及腹背定向装置整体结构如图1 所示。整机主要由一级输送带、挡板、二级输送带、图像采集及处理系统、单片机控制系统、气缸推杆装置、W 型滑槽装置等组成。一级输送带和挡板等组成鱼体分离装置，其功能是将落入一级输送带时呈堆叠状态的鱼体分隔开来，使其保持逐条向前输送的状态进入二级输送带。两级输送带之间的速度差可使鱼体间距增大，便于后续的定向处理。图像采集及处理系统的作用是当鱼体经过相机下方时采集图像发送至上位机储存并处理。单片机控制系统完成与上位机信号通讯，并控制对应的执行元件。气缸推杆机构由3 个气缸组成，其中1 号气缸的功能是将尾部朝前的鱼体推出剔除以完成鱼体的头尾筛分，2 号气缸和3 号气缸的功能是将鱼体推至相应限位板边缘。

图1 鱼体定向装置结构示意图Fig.1 Schematic diagram of the structure of the fish orientation device

2）工作原理。装置的工作流程为：输送带稳定运行后，打开PC 端的处理软件，接通Arduino 控制板。将鱼送入喂料槽，经一级输送带上的鱼体分离装置调整后，鱼体逐条分离并保持平行于输送带的姿态进入二级输送带，当鱼体触发光电传感器时，图像采集系统拍摄鱼体图片并输送至PC 端的处理软件完成鱼体的头尾及腹背朝向的识别。以输送带前进方向朝右为基准，从俯视的角度，鱼体平躺在输送带上，其姿态包括如下4种情况：头部朝前背部朝上、头部朝前腹部朝上、尾部朝前背部朝上以及尾部朝前腹部朝上。Arduino 控制板通过串口协议控制对应引脚的气缸推杆，当鱼体头部朝前时，1 号气缸推杆不动作；当鱼体尾部朝前时，气缸推杆将其推出剔除，确保鱼体头部朝向与输送带前进方向一致，以完成鱼体头尾定向。当鱼体腹部朝上时，2 号气缸推杆动作将其推至上限位板边缘；当鱼体背部向上时，3号气缸推杆动作将其推至下限位板边缘，最后鱼体在惯性作用下离开输送带进入W 型滑槽完成腹背定向。

1.2 关键部件设计

1）鱼体分离装置。鱼体分离装置如图2所示，其主要由限位板、挡板、丝杆、伺服电机、机架、草坪纹输送带等组成。其中，限位板间宽度约为鱼体的宽度，挡板的下表面距离输送带的高度约为鱼体的厚度。通过草坪纹输送带对鱼体的摩擦力以及隔离挡板的阻力作用，可以保证落入输送带堆叠的鱼体逐条分离，便于后续的鱼体定向处理。

图2 鱼体分离装置Fig.2 Fish separating device

2）图像采集装置。图像采集装置由输送带、光源、工业相机组成，如图3 所示。选用UI-2210RE-CHQ 型面阵工业相机（IDS 公司，最高分辨率为600×480，帧率为75FPS）、配套镜头（IDS 公司，C 口，光圈范围F1.4-F1.6），LED 条形光源，照明方式选择暗场漫射照明。

图3 图像采集装置Fig.3 Image acquisition device

3）腹背定向装置。腹背定向装置结构如图4 所示，主要由支撑机架和W 型滑槽组成。滑槽采用整体流型设计，形状近似为对称的梯形。装置整体宽度和输送带宽度相等，约为350 mm，斜面宽度略大于鱼体宽度，倾角约为60°，槽底部宽度和深度略大于鱼体的厚度和宽度。装置位于输送带末端，鱼体在惯性作用下落入斜面，滑入梯形槽中完成腹背定向。

图4 腹背定向装置Fig.4 Ventral-dorsal orientation device

4）控制装置。控制装置硬件选型如表1 所示。控制系统用于实现对图像采集、气缸推杆装置动作等过程的控制，硬件连接图如图5所示。鱼体到达拍照区域，触发光电传感器，控制装置通过程序控制摄像头对鱼体姿态进行图像采集，PC 端通过鱼体头尾朝向识别算法和鱼体腹背朝向识别算法对鱼体姿态进行判断，判断结果通过RS-485电缆输出给Arduino控制器。当鱼体尾部朝前时，单片机引脚输出高电平使继电器得电，电磁阀动作控制气缸推杆动作，将鱼推出剔除；当鱼体头部朝前，则继续向前运输，以保证在对应生产线上鱼体姿态始终为头部朝前，实现头尾定向。随后利用鱼体腹背判断结果，控制气缸推杆将鱼体推至限位板边缘，使鱼体腹部靠边，最后鱼体在惯性作用下滑入腹背定向装置完成腹背定向。

图5 控制系统硬件连接图Fig.5 Hardware connection diagram of the control system

表1 控制器硬件选型与参数Table1 Hardware selection and parameters

1.3 基于机器视觉的鱼体头尾及腹背识别

1）图像采集与处理。采集日本鲭4 种不同姿态下鱼体图像，如图6A-D 所示，每种姿态各500 张，共2 000张。图像分辨率为448像素×224像素，图片格式为.png。为提高模型的泛化能力，对图像数据集进行预处理，调用Tensorflow2 算法工具库对图像数据集进行数据增强，其中主要包括对鱼体图像进行添加噪声、角度旋转、变换亮度和对比度等处理，经数据增强后共得到3 000 张图片。为对鱼体头尾姿态进行识别，其实质是对鱼体头部朝前或尾部朝前的图像进行分类，因此，将每张图片分割为224 像素×224像素的2张图片，如图6E-F所示。其中“头部”和“尾部”图片各3 000 张，共6 000 张。最后将数据集按照6∶2∶2比例分为训练集、验证集和测试集。制作后的数据集如表2所示。

表2 鱼体姿态数据集Table 2 Fish posture data set

图6 鱼体图像采集Fig.6 Fish image capture

2）基于Resnet-18的鱼体头尾朝向识别。相较于传统的其他分类网络，Resnet 通过引入残差模块解决了网络加深导致特征丢失，进而引起的梯度弥散或梯度爆炸等问题［24］，其模型的复杂度降低，所需参数量也大幅下降，模型更易训练且泛化性更强。考虑到设备后续的工程化应用，该网络模型未来可用于嵌入式设备。因此，本研究选取残差网络结构中含参数量较少的Resnet-18轻量网络作为鱼体头部和尾部的分类模型，以利于在维持高准确率的同时提升分类及检测速度。本研究使用224像素×224像素鱼体图片作为Resnet-18模型输入。首先对图片进行卷积，卷积核大小为7×7，卷积核个数为64，激活函数为ReLU，步长为2。经池化后得到的56×56×64特征图输入到一系列的残差单元块中，其中包括8个3×3 的残差块，卷积核的数量分别为64、128、256、512，得到大小为7×7×512 的特征图。再通过全局平均池化使特征变为一维特征。输出特征矩阵变为1×1×512，然后输入到全连接层Fc，最后由Softmax分类器输出2个类别的对应概率值，从而给出种类识别结果。

Resnet-18在制作的鱼体头尾朝向分类数据集上进行训练。上位机软件运行环境为：基于Python3 编程语言的Tensorflow2 深度学习框架，操作系统为Windows10 64 位专业版，CPU 为AMD Ryzen R5 1400，GPU 为内存4GB 的NVIDIA 显卡（GTX1050 Ti），基础环境配置为Anaconda3、PyCharm。在模型训练过程中选择Adam 优化器对模型进行优化，初始学习率设为0.001，动量为0.9，权重衰减为0.000 1，批大小为16，迭代次数为50。训练结果如图7 所示。训练后的模型在验证集的识别准确率为99.5%。

图7 Resnet-18损失值和准确率曲线Fig.7 Resnet-18 loss value and accuracy curve

3）基于图像处理的鱼体腹背朝向识别。针对日本鲭样本明显的腹背颜色差异，本研究通过图像处理的方式分割采集图像中的鱼体区域，对其进行网格划分，分别提取鱼体腹部和背部的颜色特征值，比较其灰度值大小从而判断鱼体腹背方向。鱼体腹背朝向沿输送带前进方向分别为鱼体背部朝上和鱼体腹部朝上2 种。此处以腹部朝上的鱼体为例（图8A），其处理过程如图8所示。

对图像进行灰度化处理，对于像素点中的3个颜色分量值R、G、B，采用加权平均的灰度化公式（式1）计算出该点的灰度值代替原始的像素值，得到该图像的灰度图。

式（1）中，Gray 为灰度值，R、G、B分别为各颜色分量值。

为解决实际生产加工中输送带上水污渍对准确分割图像中的目标区域造成的影响，须对图像进行滤波降噪。根据滤波公式（式2），采用不同的滤波器g(x，y)可实现不同的滤波效果。经过图像预处理，当使用5×5卷积核的高斯滤波时，其降噪效果较好，如图8B所示。

式（2）中，f（x，y）为点（x，y）原像素值，g（x，y）为滤波器，n、m为卷积核长宽，N、M为图片长宽的像素点个数。

以Sobel 算子（Sobel operator）［25］计算x，y方向上的梯度后，在x方向上减去y方向上的梯度，留下具有高水平梯度和低垂直梯度的图像区域，如图8C所示。

在数字图像处理中，二值图像占有非常重要的地位。调用OpenCV 库函数中全局二值化的方法对每幅图像计算单一的阈值。其计算公式（式3）如下。

式（3）中，dst（x，y）为点（x，y）二值化后的像素值，maxval为最大像素值，src（x，y）为点（x，y）原始像素值，thresh 为分割阈值。当灰度级大于阈值时，像素置为255，否则置为0。经过图像预处理发现，分割阈值的大小会影响目标区域分割框的大小，当分割阈值（thresh）大小取15时，在完整保留鱼体腹部和背部信息的同时，分割边界与鱼体上下边缘最为接近，利于后续较准确获取鱼体腹部与背部像素值，效果较好，如图8D所示。

为更好寻找图像边缘，通过图像形态学处理（包括膨胀、腐蚀、开运算和闭运算）填补图像内部空缺，去除外部多余的杂点。本研究选取ELLIPSE 卷积核［26］，首先对图像进行闭运算操作并在此基础上依次执行4 次形态学腐蚀与膨胀，效果如图8E 所示。调用OpenCV 库函数分割目标区域，截取采样框的最小外接矩形，如图8F 所示。根据外接矩形的4 个点的横纵坐标截取目标区域如图8G所示。

图8 图像处理流程图Fig.8 Image processing flow chart

为验证此方法的准确性，从上述采集图片中随机选择30 张图片提取鱼体腹部与背部的灰度平均值，结果如图9 所示。由图9 可知，在随机选择的30张鱼体图片中，图像处理算法所提取的腹部灰度值均大于背部灰度值，即此方法判断准确率为100%。

图9 鱼体腹背灰度值对比图Fig.9 Comparison of gray values on the ventral and dorsal sides of the fish

1.4 样机试验

1）试验材料与设备。为验证基于深度学习与图像处理技术的日本鲭头尾及腹背定向整理装置的作业效果，于2021 年7 月在华中农业大学工科基地实验室开展了样机试验。以网上购买的30条冷冻日本鲭作为试验材料，质量为498.2～593.4 g、长度分布在36.9～40.3 cm、宽度分布在6.78～7.32 cm、厚度分布在4.67～5.26 cm。为避免鱼体表面附着的冰晶以及鱼体僵硬造成形变过大对试验的影响，试验前将冷冻日本鲭置于0～4 ℃水中解冻30 min，用干毛巾擦拭后备用。

2）试验方法与评价指标。将调整后鱼体头部向前，背部向上的姿态定义为定向整理成功。启动试验装置，鱼体定向整理成功的数量通过试验观察统计得到，鱼体定向整理成功率计算公式如下（式4）。

式（4）中，S1为鱼体定向整理成功率，%；N0为试验鱼体总尾数；N1为鱼体定向整理成功的尾数。

识别成功率指鱼体头尾和腹背朝向识别准确的概率，计算公式如下（式5）。

式（5）中，S2为鱼体姿态识别成功率，%；N2为鱼体姿态识别正确的尾数。

算法识别时间为采集图像到鱼体头尾及腹背识别完成所需的时间；整理时间为图像采集完成到鱼体定向排列完成所需要的总时间，包括图像采集时间、算法识别时间和控制板驱动执行机构运动所需要的时间。

2 结果与分析

试验结果如表3 所示。由表3 可知，鱼体头尾朝向的识别成功率93.3%，鱼体腹背朝向的识别成功率100.0%，鱼体头尾及腹背定向整理的总成功率为93.3%。即当网络模型能准确识别鱼体姿态时，调整机构能依照指令实现定向整理的功能。算法识别时间的均值为0.038 s，调整时间的均值为3.725 s，其中，鱼体头部朝前时的调整时间均值为3.48 s，鱼体尾部朝前时的调整时间均值为3.97 s。鱼体头部朝前和鱼体尾部朝前时的调整时间相差较大，这是因为需要将尾部朝前的鱼体通过气缸推出剔除，而头部朝前的鱼体则直接进入后续的腹背调整装置，因此尾部朝前时的调整时间比头部朝前的长。

表3 鱼体头尾定向试验结果Table 3 Results of fish head-to-tail orientation tests

3 讨 论

本研究基于实际生产加工喂料方式设计了一种简易的鱼体分离装置，利用草坪纹输送带对鱼体表面的摩擦作用，在挡板的作用下实现鱼体的逐条分离。依据鱼体在输送带上向前运输时存在头部朝前和尾部朝前2种状态，将完整的鱼体图片分为“头部”和“尾部”构建数据集，Resnet-18 网络模型在该数据集上的准确率达到了99.50%。针对日本鲭腹背颜色差异明显的特点，通过网格划分经图像处理得到的鱼体区域后，比较鱼体腹背各取3 个点的灰度平均值，可以有效判断鱼体腹背朝向，成功率达到100%。通过样机进行鱼体头尾及腹背定整理试验，试验结果表明，鱼体定向整理成功率为93.3%，算法的判断时间为0.038 s，平均每尾鱼的定向整理时间为3.725 s，理论上鱼体定向整理的效率可达到15～16尾/min。该装置运用机器视觉技术，通过传统图像处理和深度学习方法，识别鱼体在生产线上的姿态信息，应用Arduino 控制技术实现鱼体的头尾及腹背定向整理。对比于国内外同类设备，所采用的基于机器视觉的装置设计能极大简化纯机械装置的复杂度，降低了使用及维护成本，优化工作环境。同时本装置采用Arduino 控制板作为核心控制器，成本低，操作简单，易于维护。目前，本研究仅以日本鲭为试验对象，针对复杂多样的鱼体种类，此方法存在一定局限性，后续还可以就不同颜色和外形的鱼体进一步研究。