融合电子鼻和视觉技术的鸡肉新鲜度检测装置研究

李玉花 史翰卿 熊赟葳 余思懿 王晨阳 邹修国

(南京农业大学人工智能学院，南京 210031)

0 引言

鸡胸肉在生产与运输过程中，由于温度、酶和微生物等因素的影响，新鲜度会随着时间的推移不断降低，产生不良风味甚至腐败变质。食用不新鲜或腐败变质肉会损害身体健康[1]，因此肉类的品质评价、等级标注及新鲜度评级检测对于保障食品安全具有重要意义。

早期鸡肉新鲜度检测方法主要分为两类：感官评测法或者利用理化和微生物分析方法测定pH值以及总挥发性碱性氮(TVB-N)、三甲胺(TMA)和生物胺含量等[2]。前者受主观意识和经验知识影响大，后者操作繁琐、速度慢、具有破坏性。随着检测仪器技术的发展，目前已有许多快速无损检测技术出现，如计算机视觉、高光谱成像、计算机断层扫描(CT)和扫描磁共振成像(MRI)等。但计算机视觉方法易受光影变化影响，CT和MRI技术成本高且耗时长[3]，高光谱成像技术多局限于实验室研究[4]。显然，设计多源感知信息融合装置更具优势，可缓解单一检测技术存在的缺陷。

电子鼻技术基于气体传感器阵列，模拟嗅觉系统，捕捉特征香气，通过气体浓度判断新鲜度等级，具有成本低、操作简单和精度高等优点[5]，一些学者进行了相关研究[6-8]。但现阶段的电子鼻装置仍存在体积庞大、价格昂贵和采集时间较长等问题[9]。视觉技术依据样本颜色、形状、大小和表面纹理等信息进行新鲜度检测[10]。目前已有许多算法[11-13]被提出，取得了较好的效果。

然而单项检测技术存在一定的局限性，单模态数据不能准确全面客观地评估肉类的新鲜度[14]。电子鼻技术可检测芳香族化合物，但忽略了鸡肉的表面特征，且耗时较长。而视觉技术可提供肉类表面物理化学信息，却缺少对气味的描述，且易受光源影响。融合电子鼻和视觉技术将获得更为全面多元的多模态数据，从而提高结果的准确性和可靠性。本文设计一种基于视觉和电子鼻数据融合的鸡肉新鲜度检测装置，使用电子鼻传感器阵列采集鸡肉散发的气体浓度，同时通过视觉系统获取鸡肉图像信息，并使用计算流体力学(Computational fluid dynamics, CFD)[15]对装置结构可行性进行仿真试验。

1 检测装置设计

1.1 装置整体结构及工作原理

装置融合了电子鼻系统和视觉系统，其整体结构如图1所示，能同时采集气体和视觉数据，并实时传输至上位机进行分析得出鸡肉新鲜度等级。

图1 装置整体结构框图

装置为上、中、下3层结构，上层放置上位机Jetson Nano接收数据，Jetson Nano为小型、低功率软硬一体开发板，支持定制图像分类与物体检测等模型的离线并行计算。中层为暗箱结构，内置摄像机、光源以及样本室。下层为电子鼻系统，包括气体传输模块、检测阵列以及NUCLEO-H7A3ZI控制板。装置内置可充电锂电池和可移动电源供电，便于替换与携带。装置外围尺寸(长×宽×高)为35 cm×30 cm×76 cm，整体结构如图2所示。

图2 装置三维结构示意图

1.2 硬件系统设计

1.2.1样本室

设计了半封闭抽屉式样本室，尺寸26.0 cm×13.5 cm×11.2 cm，结构如图3所示。顶部材质为透明度91%的高透玻璃，以便箱体顶部相机可拍摄到清晰的鸡肉图像；其余部分采用黑色SLA(Stereolithography)树脂3D打印，减少光影对成像的影响。进、出气口采用棱台型结构便于气体流动，出气口通过软管连接气泵泵吸鸡肉散发的气体。

图3 样本室结构图

1.2.2电子鼻系统

电子鼻系统用来检测不同新鲜度等级鸡肉产生的气体浓度，其整体框架和三维结构如图4、5所示。主体采用SLA树脂3D打印，长度32.4 cm，前圆柱直径8.0 cm，后腔体直径15.0 cm。外形为高度对称圆管型，以增强气体流动性，左侧为出气口，右侧为进气口，柱体内置有气流量为15 L/min的ES-3910型气泵吸取鸡肉产生的气体，通过软管和样本室相连接。软管中有双通道装置，通过阀门控制分别连接新鲜空气或样本室。传感器阵列为电子鼻的核心，其为高度对称的环形结构，嵌有5个半导体传感器，具体传感器型号如表1[16]所示。半导体传感器利用材料表面吸附及脱附气体分子引起半导体电导率的变化来检测气体[17]，检测精度受气体分子流动稳定程度影响，因此在左侧腔体内置有稳流板，以稳定气流流速。传感器阵列由NUCLEO-H7A3ZI控制，将电压数据通过ADC转换，利用蓝牙传输至上位机[18]。

图4 电子鼻框架图

图5 电子鼻三维结构图

表1 传感器列表

1.2.3视觉系统

视觉系统在装置第2层暗箱内，结构如图6所示。箱体内壁贴有黑色不透明的摄影布，以减少复杂背景的干扰。暗箱正面为门结构，可以通过把手便捷打开进行暗箱内部操作，关闭时内部形成封闭式整体，基本隔绝外界光源影响。选用12 W环形LED光源(外径26 cm，内径20 cm)安装于箱体顶部，使样本表面光照均匀。暗箱顶部置有600万像素海康威视MV-CA060-10GC型摄像机，镜头采用MVL-HF1628M-6MP型工厂自动化镜头，并安装与该镜头相适配的CPL偏振镜以减少反射光对成像的影响。相机属性设置为感光度640，曝光时间1/25 s，光圈F1.6。镜头底部和样品之间的距离设定为40 cm，图7为镜头焦距选择图。测试表明，在22.11 mm焦距下选择40 cm物距可获得清晰的图像。内置有5 V锂电池为摄像机供电。

图6 暗箱结构图

图7 镜头焦距选择示意图

1.3 软件设计

1.3.1传感器数据传输

传感器阵列传输模拟数据至NUCLEO-H7A3ZI控制板，通过ADC转换为5个16位二进制数据，该数据转换电压公式为

(1)

式中V——气体浓度电压，V

D——二进制转化成的十进制数据

r——分辨率

1.3.2采集分级交互界面

上位机配有交互设计界面，如图8所示。上方左侧窗口显示拍摄图像画面以及选择的待测图像，右侧窗口为感兴趣区域(Region of interest，ROI)提取窗口，可显示待测图像提取的ROI，同时可进行滤波等预处理操作并显示结果。下方左侧窗口实时显示气体数据和曲线，中间窗口显示对应拟合曲线数据以及拟合原始曲线。图像和气体均可选择提取不同特征值进行单独预测或融合预测，预测模型采用支持向量机分类器，最终结果于右下方显示。

图8 交互设计界面

2 装置试验

2.1 样本室CFD仿真试验

2.1.1网络划分

为验证气体流动可行性，根据三维建模结构对样本室中气体流通区域进行CFD仿真[19]。在ANSYS Fluent仿真软件中进行建模和网络划分，并进行网络独立性验证，最终确定边界层调节设置是以气室部分为边界，最后网格数为216 582[20]。检查质量总体大于0.3，满足计算要求。

2.1.2模型构建以及边界条件设置

采用Fluent软件进行数值求解，选择k-ε湍流模型[21]，压力离散方式为Standard，压力速度耦合迭代采用SIMPLE算法，迭代次数为800。

设置入口风速为20 m/s，在Fluent软件中进行数值模拟计算，最终边界条件设置如表2所示。

表2 边界条件设置

2.2 鸡肉检测试验

2.2.1试验材料

试验开始时间为2022年1月12日，在温度26℃、相对湿度30%、空气质量良好的实验室环境内进行，电子鼻废气出气口通往室外。鸡肉样本为市场采购的40份新鲜冷冻鸡胸肉，切成100份平整、尺寸为10.0 cm×5.0 cm的鸡胸肉片，放置于尺寸为17.0 cm×11.0 cm×7.0 cm的样本盒中。放入2℃冷藏室内冷藏[22-23]，存储图如图9所示。放置1、4、7 d(对应新鲜度等级分别为1、2、3)后进行数据采集，每次采集时间为200 min，其中每个样本气体采集频率为每秒单个传感器采集5组数据，采集时间为20 s，共100组数据。数据传输至上位机并进行分析及新鲜度检测。

图9 冷藏室鸡胸肉存储图(部分)

2.2.2数据采集

(1)气体数据采集

先打开传感器预热20 min，保证传感器进入正常工作状态。同时打开气泵抽取新鲜空气净化腔体残留气体，等待显示器显示传感器数值稳定后，记录稳定数值。从冷藏室取出放置于样本盒中的待测样本，打开盒盖将样本盒置于样本室内，关闭抽屉，控制阀门使得气泵泵吸样本室内气体，观察显示数值，20 s后将样本取出，控制阀门抽取新鲜空气约40 s至传感器数值稳定至初始值附近再取出下一份样本进行试验。

(2)图像数据采集

打开内置光源和摄像机，调整摄像机参数至画面高亮且清晰度高，将样本放置于摄像机正下方，在获取气体数据的同时控制上位机拍摄鸡肉图像。

2.3 分类预测

2.3.1数据预处理

将采集到的气体数据进行预处理获得拟合曲线。单次检测得到的气体数据(电压)如表3所示(以第3新鲜度等级鸡肉样本为例)，气体数据拟合曲线如图10所示。

图10 气体数据拟合曲线

表3 气体数据

对鸡肉图像进行γ矫正后提取ROI图像存储至计算机。鸡胸肉图像以及提取的ROI图像如 图11 所示。

图11 鸡胸肉拍摄图像和ROI图像

2.3.2数据降维

提取图像颜色特征6个(RGB和HSI)，纹理特征24个(从0°、45°、90°和135°分别提取对比度、逆差距、熵、自相关、矩阵平方和角二阶矩)，共得到30维特征。5个气体传感器，各提取4个特征(最大响应值、峰值面积、最大一阶导数和最大二阶导数)，共得到20维特征。将图像和气味数据提供的特征进行级联，构成50维的特征向量。由于气体传感器之间往往具有交叉敏感性，仅在变量层面上分析会忽略变量之间的潜在联系。因此运用PCA(主成分分析)方法[24]进行特征降维，将原始数据变换为一组各维度线性无关的数据[25]。本文算法中PCA特征向量提取方法步骤如下：

设数据集为m个d维数据

X={x1,x2,…,xm}

(1)计算样本均值的公式为

(2)

(2)计算样本协方差矩阵公式为

(3)

(3)对协方差矩阵进行特征值分解，选取S的前t个最大特征值对应的特征向量构成新的特征矩阵U。

2.3.3新鲜度分级模型

经典分类算法有K近邻(K-nearest neighbor，KNN)、朴素贝叶斯(Naive Bayes model，NBM)、随机森林(Random forests，RF)以及支持向量机(Support vector machine，SVM)[26]等。KNN算法的基本原理是如果一个样本在特征空间中的k个最近邻样本的大多数属于某一个类别，则该样本也属于这个类别[27]。朴素贝叶斯算法以贝叶斯定理为基础并假设特征条件之间相互独立。随机森林算法采用Bagging的集成学习思想，在决策树的训练过程中采用随机特征选择。SVM[28]是在统计学及最优化的基础上构建学习机和实现分类，它的基本思想是在特征空间找最佳的分类超平面。SVM 主要用来研究两分类问题，对于多分类问题，目前常用的构造方法有一对一方法和一对多方法，其中一对多方法是最早也是目前应用最广泛的方法[29]。本文采用以上几种分类器进行对比试验。

3 试验结果与分析

3.1 CFD仿真结果

对样本室抽气状态进行模拟计算，选取样本室中心水平方向Y=0.02 m截面，可反映空气通过鸡肉样本流动状况，选取样本室中心竖直方向Z=0.02 m截面，能够反映水平气流整体流动状况。在CFD-Post中对结果进行后处理，得到吸气状态下速度云图和速度矢量图，如图12所示。

图12 吸气状态下不同截面气流速度场模拟结果

泵气状态下，左侧连接新鲜空气，右侧连接气泵，做到较为充分地传输鸡胸肉散发的气体至电子鼻中进行检测。由图12a、12b可以看出，由于放置了鸡肉样本导致空气流通面积变小，通过鸡胸肉部位的空气流速变慢，且与底座之间存在间隙，间隙处几乎无气流，气流速度降至15 m/s，对于气体流通影响较小，气体出口处区域流速相对稳定，分布相对均匀。由图12c可以看出，在入口和出口处气体流速达到20 m/s较高水平，且气流相对稳定。

将气流场仿真结果转换成输出流线图，气体流通区域内的气流运行情况如图13所示。可以看出在气体入口和出口同一高度的气体流动相对平稳且速度达到20 m/s，整体流动状态清晰，氨气传感器附近的气流运行方向一致，便于精准检测气体浓度。

图13 Y=0.02 m截面气体流线图

3.2 电子鼻循环系统测试结果

电子鼻内部设计了循环系统便于控制样本采集的时间分配，在每次采集完单个鸡肉样本气体数据后，抽取新鲜空气清洗内部残留气体直至显示数据接近于初始值且趋于稳定，则可以开始下一份样本的检测。测试选取30份样本，将每份样本放置于样本室中，采集气体数据20 s，单个传感器每秒采集2组数据，取出样本后抽取新鲜空气约40 s，数据稳定在初始值附近时可测试下一份样本。循环系统测试样本气体数据拟合曲线如图14所示。

图14 循环系统试验气体拟合曲线

3.3 有无高透玻璃结果对比

样本室顶部为高透玻璃，便于拍摄图像且可减少光线反射影响。透过高透玻璃拍摄的鸡肉样本图像存在一定的颜色偏差，通过γ矫正后与去掉高透玻璃拍摄的图像相差较小(图15给出了两者的对比，左侧为未校正拍摄图像，右侧为矫正过后图像)，分类结果偏差约为0.01%，在误差范围内。

图15 无高透玻璃(左)和透过高透玻璃(右)拍摄的图像

3.4 新鲜度分级预测结果

采用4种分类器对PCA降维后数据进行建模分析，100份样本3个新鲜度等级，共获取300份样本数据，采用5折交叉验证。对样本平滑处理后剔除异常样本，实际建模使用样本数为238个，验证样本数为59个。试验结果表明，SVM分类器预测准确率最高，为98.7%，而NBM、KNN和RF算法的准确率分别为98.3%、94.3%和93.6%。图16给出了SVM算法的分类结果混淆矩阵图，其中1、2、3分别表示3个新鲜度等级，TPR和FNR分别是真正率和假正率。该试验证实装置具有可行性。

图16 SVM分类结果混淆矩阵图

综上最终装置实物图如图17所示，上层为上位机Jetson Nano及LCD显示器，中层为视觉检测暗箱，下层放置电子鼻系统，可同时进行视觉与气体检测，整体装置造价成本低、检测准确度高且便于携带。

图17 装置实物图

4 结论

(1)设计了一套电子鼻和视觉技术融合的一体化检测装置，包含样本室结构、硬件设计和软件设计，该装置能够同时检测气体浓度以及获取图像数据并实时显示波动曲线及原始图像。

(2)使用CFD技术对吸气状态下的样本室内部气体流动进行模拟，通过速度云图、速度矢量图以及气体流线图证明了样本室内部可以获得相对较大速率以及稳定的气体流。

(3)基于该装置进行试验，提取图像及气体浓度信息特征，进行PCA降维后利用SVM建立新鲜度分级模型，准确率最高可达98.7%，证明装置具有可行性。