基于改进YOLOv5和ResNet50的女装袖型识别方法

曹涵颖,妥吉英

(1.重庆第二师范学院美术学院,重庆 400065; 2.重庆理工大学车辆工程学院,重庆 400054)

袖子是服装的重要组成部分,对服装整体的风格塑造和款式设计都有着重要影响。随着服装数字化设计、智能制造和电子商务的飞速发展,服装企业和电商平台累积了数以万计的服装款式图像[1-3]。如何有效利用这些服装袖子数据,让服装设计师快速获取服装设计要素,提高设计开发效率,高效衔接设计与生产制作,以及帮助消费者更快地获得个性化推荐和自主化设计,是服装设计领域的重要发展方向之一[4-5]。应用人工智能技术开展服装袖型的自动识别研究,对于服装设计、智能制造和电子商务领域,具有重要的现实意义和广泛的应用价值。

近年来,对服装图像的检测与识别研究主要集中在服装整体的款式识别。例如,为准确而快速地分类电商平台中的西装图像,刘正东等[6]基于尺寸分割和负样本增强技术的SSD方法开展了西装识别研究,识别准确率超过90%。赵宏伟等[7]基于关键点注意力机制与通道注意力机制相结合的深度神经网络开展了服装分类研究,并在DeepFashion数据集中获得了良好的服装分类和属性预测的准确率。邓莹洁等[8]针对半身裙款式特征分类识别问题,提出了一种带有Inception-v2模组的快速区域卷积神经网络模型,在自建的包含28种类别标签的女装半身裙样本库中的平均分类准确率达到了92.8%。陈金广等[9]提出了一种改进的轻量级服装目标检测模型MV3L-YOLOv5,提升了服装整体检测的准确率。

在服装组成部分的识别方面,尹光灿等[10]基于AlexNet卷积神经网络实现了服装衣领造型的自动识别与分类。庹武等[11]提出了一种面向服装袖型自动识别的网络模型SE-Inception v3,但该模型要求待识别图像有较好的前期裁剪,且每张待识别图像中有且只有1个袖子。目前,传统袖型识别方法普遍依赖于人为添加标签,不仅耗时且不同的人对袖型的判断存在认知差异,分类效果也不理想,加之有关服装局部特别是女装袖型的识别及模型比较方面的研究报道相对较少,因此亟需研究快速、准确的新型服装袖型识别方法。

本文面向女装袖型识别问题,提出了一种改进YOLOv5和ResNet50相结合的深度学习方法。在建立女装袖型数据集的基础上,首先通过卷积注意力模块CBAM改进的YOLOv5网络按照袖型长短大类开展目标检测,再通过ResNet50网络将大类检测结果依据其形态小类开展详细的袖型目标分类,从而实现准确、高效的女装袖型识别。通过本文所提出的方法可以提高服装设计效率,进而促进智能制造和电子商务的发展,该方法亦可为服装局部快速识别提供参考。

1 女装袖型样本

1.1 女装袖型概述

袖子的款式造型繁多,常见的袖子可以按其长短、装缝形式、裁片数量和形态特征等方式进行分类。袖型分类方式较多,且不同的分类方式之间也有一定的关联性。如抹胸、挂脖、吊带这一类款式只会出现在无袖这个大类中,半包袖、盖肩袖和飞飞袖这3种形态的袖子在超短袖这一大类中最为常见。相较于采用单一的分类方式,在女装袖型识别中,综合利用不同女装袖型之间的关联信息,将有助于提高袖型识别准确率。

在本研究的女装袖型识别任务中,结合了按其长短和形态两种袖型分类方法。首先,按长短将袖子总体分为无袖、超短袖、短袖和长袖4个一级分类,并在一级分类的基础上根据形态特征细分为15个二级分类。其中无袖、超短袖、短袖3个一级分类下各有3种常见二级袖型,长袖一级分类下有6种常见二级袖型。袖型分类详见图1。

图1 袖型分类Fig.1 Sleeve type classification

1.2 女装袖型样本图像的采集与标注

从淘宝、天猫、京东、唯品会、各大品牌官网等电商平台收集服装图像,综合考虑不同角度、光照、背景等因素,在均衡不同袖型的基础上,收集、筛选和标注了3600张女装的袖型图像,并获得了服装袖型数据集。通常一件女装中会包含1个或2个袖型样本,而所收集的图像中又会包含了1件或多件女装,最终收集了约6500个服装袖型样本。本研究采集的女装袖型数据集的样本图像示例如图2(a)所示。

图2 女装袖型采集与标注示例Fig.2 Collection and marking of women's sleeve shapes

每种女装袖型的二级分类唯一对应于一个一级分类(见图1),故在数据人工标注阶段,只标注了袖型的二级分类,其对应的一级分类标签由Python自动归类。数据集中的15种女装袖型款式,均通过Labelimg软件进行标注,并采用xml文档来描述标注图像中袖型识别区域的准确二维坐标信息,每个xml文档中可能有多个袖型标签(如左右臂同时出现在图像中),也可能有多种袖型标签(如多个穿不同服装的人同时出现在图像中),每个袖型识别区域有且只有1种二级分类标签。 图像裁剪和预处理均采用Python和OpenCV实现。袖型标注过程如图2(b)所示。

2 深度学习模型

深度学习(Deep learning)是机器学习的一个重要分支领域,是从数据中学习表示的一种方法,强调从连续的层(Layer)中进行学习,学习样本数据的内在规律和表示层次。作为深度学习的代表算法之一,卷积神经网络在图像识别领域的应用非常广泛。卷积神经网络通常由输入层(Input)、卷积层(Conv)、激活函数(Relu)、池化层(Pool)、全连接层(FC)五部分构成。

本研究中女装袖型的识别采用两个阶段：阶段一,依据长短对女装袖型进行粗略的目标检测;阶段二,将阶段一检测到的袖型一级检测结果接入相应的ResNet50网络,按照二级标签依据形态开展目标分类,并得到女装袖型的识别结果。女装袖型识别算法流程如图3所示,本算法共采用了5个卷积神经网络模型来协同完成女装袖型的识别,包括：1个CBAM改进的YOLOv5网络以女装袖型的原始图像为输入实现对袖型一级分类的目标检测,即检测出该图像中包含的所有女装袖型图像,并按照长短归类为长袖、短袖、超短袖和无袖4种;4个ResNet网络均以改进YOLOv5网络的袖型检测结果作为输入,这4个网络分别对长袖、短袖、超短袖和无袖4种一级袖型检测结果进行目标分类,从而最终得到女装袖型的识别结果。

2.1 YOLOv5算法

YOLOv5是YOLO系列算法之一,具有速度快、灵活性高、端到端等优点[12]。YOLOv5包含YOLOv5s、YOLOv5m、YOLOv5i和 YOLOv5x等4种具有不同宽度和深度的模型,其中YOLOv5s是YOLOv5系列算法中深度最小且特征图宽度最小的网络模型。本研究将YOLOv5s模型应用于女装袖型一级分类的检测中,在自行标记的服装袖型数据集上进行训练,通过卷积神经网络的反向传播和梯度下降特性,逐渐调整YOLOv5s网络模型参数,得到适用于女装袖型检测的网路参数,该网络所做的工作可总结为：特征提取-特征加强-预测特征点对应的女装袖型情况。YOLOv5s网络结构如图4所示,YOLOv5s可以分为4个部分,分别是Input、Backbone、Neck、Prediction。Input为输入端,包含Mosaic数据增强、自适应锚框计算、自适应图像缩放等处理。Backbone为包含Focus和CSP结构的主干特征提取网络。Neck模块包含FPN加强特征提取网络和Panet特征融合网络。Prediction为采用GIOU_Loss的分类器与回归器。

2.2 卷积注意力模块CBAM

为进一步提升YOLOv5(为便于表述,以下“YOLOv5”均表示“YOLOv5s”)网络在女装袖型检测过程中的特征提取网络性能,本研究在YOLOv5的特征提取网络Darknet-53上融合了卷积注意力模块CBAM[13]。CBAM是结合了通道注意力机制和空间注意力机制的轻量级卷积注意力模块[14]。将卷积注意力模块CBAM嵌入YOLOv5网络,有利于解决原始网络无注意力偏好的问题,从而增强袖型识别的效果。

在通道注意力模块中通道维度不变,压缩空间维度,该模块关注输入图像中有意义的信息。通过引入通道注意力模块可有效提取待检测袖型目标的轮廓特征,获取其主要内容。空间注意力模块(Spatial attention module,SAM)可以作为通道注意力模块的补充,SAM利用袖型特征间的空间关系生成空间注意图。该模块关注的是袖型目标的位置信息,即通过引入通道注意力模块可有效提高袖型目标的检测准确率。

2.3 ResNet50网络

为缓解网络加深而导致的梯度消失、梯度爆炸等问题,陆建波等[15]通过在卷积层之间添加跳跃连接等方式提出了残差网络。ResNet50网络的主要结构为残差单元,其结构如图5所示,其基本组成是由卷积层、池化层、归一化层等组成。本研究采用ResNet50卷积神经网络对YOLOv5输出的袖型一级检测结果开展袖型分类。本研究中的一级检测结果共有4种可能,且每个一级分类内部的袖型分类相互独立,故采用了4个独立的ResNet50网络分别对无袖、超短袖、短袖和长袖4种一级检测的结果开展分类,并最终得到详细的女装袖型识别结果。

图5 ResNet50结构简图Fig.5 ResNet50 structure diagram

2.4 模型训练

从图2可以看到,本研究中共有5个卷积神经网络模型来完成女装袖型的识别,分别是改进的YOLOv5网络和4个ResNet网络。因此在模型的训练过程中要独立地完成对5个卷积神经网络模型的训练。其中改进YOLOv5网络模型训练依据袖型数据集的一级分类结果。而4个ResNet网络分别在长袖、短袖、超短袖和无袖4种一级袖型分类结果内部采用二级袖型分类结果进行训练。训练和测试过程中,均将训练集与测试集按照8∶2的比例随机进行划分。此外,为了对比不同深度学习模型在女装袖型识别任务中的识别效果,还训练了YOLOv5和改进YOLOv5网络直接对袖型二级分类的数据集进行了袖型目标检测。

3 实验和结果分析

3.1 测试平台与参数设置

本次试验的CPU为8核Intel i9-9900K处理器,GPU为RTX 2080Ti,显存11 GB,操作系统为Windows 64位,编程语言为Python3.8,并采用Pytorch框架进行训练,CUDA的版本为11.3。改进YOLOv5可以自适应地缩放给定袖型图像,模型网络中输入的女装袖型图像分辨率为640×640;采取冻结训练方法,以提高训练效率,加速收敛。阈值设为0.5,冻结阶段和解冻阶段的批次大小(batch_size)分别设置为16和8。改进YOLOv5和ResNet50模型训练中选取的初始学习率均为0.01,优化器均采用随机梯度下降SGD算法,迭代次数(epoch)均设置为200,且在改进YOLOv5的前90%的epoch中采取Mosaic数据增强方法训练。

3.2 结果与分析

为验证本研究所提出的方法在女装袖型识别任务中的整体准确率,将测试集中的所有袖型数据的检测、分类结果与人工标注的结果展开对比,并通过R来描述单个女装袖型类别的精确率、通过Rall来描述女装袖型类别的整体精确率,即不同R的均值：

(1)

(2)

其中：NT表示被模型正确识别出的女装袖子数量、NF表示被模型错误识别出的女装袖子数量、NN表示未被模型成功识别出的女装袖子数量。

表1为YOLOv5、改进YOLOv5、改进YOLOv5和ResNet50三种深度学习模型在女装袖型检测中的准确率对比,其整体精确率分别为81.1%、85.3%和93.3%。总体来说,引入女装袖型之间关联信息的改进YOLOv5和ResNet50相结合的方法对女装袖型检测的精确率显著优于传统YOLOv5和改进YOLOv5模型。此外,通过表1可以看到,在YOLOv5算法中引入卷积注意力模块CBAM,可以在绝大多数袖型识别中取得更好的识别效果,其整体精确率提高了约4.2%,但在盖肩袖、泡泡袖等少数情况下,精确率并未显著提高甚至有所降低。而通过引入女装袖型之间关联信息的改进YOLOv5和ResNet50相结合的方法则可以在改进YOLOv5网络基础上将整体精确率进一步提高8.0%,且在本研究涉及的15种袖型识别任务中均取得更好的效果。此外,值得注意的是,3种深度学习模型在超短袖和短袖识别任务中的准确率明显要低于无袖和长袖,这可能和超短袖、短袖及其不同二级分类在袖型上相对更接近有关系。

表1 女装袖型识别的准确率对比Tab.1 Comparison of theaccuracies of women's sleeve type identify

改进YOLOv5和ResNet50相结合的深度学习方法对女装袖型的识别结果如表2所示。从表2中可以看到：在第一阶段,改进YOVOv5模型可对无袖、长袖、超短袖、短袖等不同女装袖型按照长短区分一级标签准确地进行目标检测;在第二阶段,RseNet50网络可以在一级标签袖型目标检测的基础上按照吊带、蝙蝠袖、插肩袖等二级标签准确地进行袖型分类。该结果表明,通过改进YOLOv5和ResNet50相结合的深度学习方法可以实现对女装袖型的准确识别。

表2 女装袖型的检测识别结果Tab.2 Identification results of women's sleeve shape

4 结 论

本文面向女装袖型识别问题设计了改进YOLOv5和ResNet50相结合的深度学习方法。首先,通过收集、分类、标注袖型数据和数据处理等方法,建立了包含无袖、超短袖、短袖、长袖4个一级分类,插肩袖、蝙蝠袖、吊带等15个二级细分分类在内的女装袖型数据集;提出了改进YOLOv5和ResNet50相结合的深度学习方法;最后,通过YOLOv5、改进YOLOv5、改进YOLOv5和ResNet50 3种方法开展了女装袖型检测实验。实验结果表明：

a)改进YOLOv5和ResNet50相结合的深度学习方法在女装袖型识别准确率方面更具优势,其整体精确率相对于YOLOv5和CBAM改进的YOLOv5模型分别提高了12.2%和8.0%。

b)在通过YOLOv5、改进YOLOv5、改进YOLOv5和ResNet50相结合的方法识别女装袖型的任务中,相较于无袖和长袖,超短袖和短袖的识别难度更大,其整体精确率的提高更加困难。