基于下采样的自监督点云去噪方法

侯广哲, 秦贵和, 梁艳花

(吉林大学 计算机科学与技术学院, 长春 130012)

0 引 言

随着三维重建技术的发展, 点云越来越容易获得, 并且广泛应用于自动驾驶和机器人等领域[1]. 点云在获取过程中会因为设备的限制、 重建技术匹配模糊等因素被噪声破坏, 如图1所示. 从而导致底层结构的不稳定, 严重影响下游的理解任务. 早期的点云去噪方法主要依靠复杂的先验知识. 文献[2]基于局部平滑拟合点云表面; 文献[3]利用设定的特殊滤波器, 对点云和噪声进行分离, 完成去噪; 文献[4]通过解决稀疏性约束的优化问题重构点云表面法线, 并根据重构法线更新点的坐标位置. 但这些方法都存在算法复杂、 表面过于光滑等问题.

图1 干净点云(A)和带噪点云(B)Fig.1 Clean point cloud (A) and noisy point cloud (B)

近年来, 随着深度学习方法的不断发展, 点云去噪方法也得到了不断改进. 特别是PointNet系列[5]网络的提出, 使深度神经网络对点云直接进行处理成为可能. 目前, 已有许多基于深度学习的点云去噪方法. 文献[6]使用PointNet作为基线, 先将点云分割成小点云块, 然后对点云块中心点进行两阶段的去噪, 最后再拼接为一个完整的点云;文献[7]使用图卷积网络提高点云去噪效果; 文献[8]中方法通过设计一个特殊的采样网络, 对点云的底层流形进行重构去噪; 文献[9]方法将带噪点云视为底面流形和噪声分布的卷积之后的分布, 提出对此分布的似然函数使用梯度上升的迭代更新每个点的位置达到去噪效果.

上述方法都采用了Noisy-Clean的训练方式, 通过有监督学习将损坏的观测结果映射到未观察到的干净版本. 但构造Noisy-Clean的点云配对十分困难: 一方面, 很多方法通过在干净点云上添加模拟的噪声生成合成的Noisy-Clean配对, 由于模拟的噪声与真实环境下的噪声存在较大差异, 因此在合成数据集上训练的方法, 在真实数据上的泛化性能通常较差; 另一方面, 采集真实的Noisy-Clean点云对常需要高昂的成本. 为解决上述问题, 本文提出一种仅需要含噪点云即可训练去噪网络的方法, 以一个多尺度特征提取网络作为基线, 用于测试方法的有效性. 同时, 本文设计一个新的点云采样器, 对点云进行两次不同的采样, 在采样集合没有交集的情况下, 提取点云的主干, 并使用两个不同点云在网络中进行一对一映射. 实验结果表明, 该方法效果显著, 尤其是在噪声强度较低的情况下, 具有与有监督的方法相近的性能.

1 方法设计

1.1 方法原理

本文将干净点云表示为x,x代表在三维空间中的一个分布, 点云是遵循该分布离散点的集合.同理, 将噪声分布表示为n, 假设与干净点云分布相互独立且均值为0.被噪声扰动后的点云分布表示为y, 可得

y=x+n.

(1)

在以干净点云做标签进行训练的方法中, 去除噪声利用深度神经网络拟合回归模型, 即优化如下损失:

(2)

其中fθ表示该深度神经网络.当损失函数为L2损失[10]时可得出式(2)的最小值在y的期望值处获得.因此, 当使用期望值等于拟合对象的数据去替换此拟合对象时, 深度神经网络的拟合效果不变.所以如果输入的数据被含有同样期望值的任意分布替换, 则式(2)的参数θ不变.基于此, 对一个相同的点云或三维空间的分布, 当输入和拟合对象被期望为0的不同噪声扰动时, 不影响网络的训练结果.

进一步, 假设一个干净点云x, 存在另外一个相似点云, 其分布为x+ε,ε表示二者之间极小的坐标差.假设二者都被相互独立的噪声扰动的分布为y和z, 则可得[11]:

(3)

其中σz表示z的方差.由式(3)可见, 当ε→0时, 2εEx,y(fθ(y)-x)→0, 此时, 使用(y,z)配对对网络进行训练可近似替代使用(y,x)配对训练.因此, 本文方法关键在于如何寻找相应的y和z.为解决该问题, 本文设计一种特殊的采样器对同一个点云采样, 从而解决了y与z的拟合对象需要相似的问题.

1.2 采样器设计

与二维图像不同, 三维点云采样存在两方面的问题: 首先, 相比于二维图像的像素点位置是固定的, 点云中各点都处于非规则状态, 虽然都是采样于物体表面, 但不同物体的物理结构以及噪声的扰动会对点云采样造成很大困扰; 其次, 点云特征提取是基于点在三维空间中的坐标位置, 下采样可能会破坏原有的物理结构, 导致特征信息的缺失.因此, 采样器的设计算法尤为重要.

为解决上述问题, 本文首先使用最远点采样点云的骨干形状, 尽可能保证物理结构的完整, 该方法在密集点云中更有效.但由于噪声的扰动, 最远点采样会导致噪声最大的点一定会被采集到, 导致物理结构的变形, 因此, 本文对采样方法进行改进, 设计流程如图2所示.

图2 采样器设计流程Fig.2 Flow chart of sampler design

算法对同一个带噪点云多次采样, 为防止在网络训练过程中由于获得一对一的直接映射关系导致效果下降, 在采样过程中须遮盖已被采样点, 本文使用掩码完成这项任务.因此, 算法中设置集合Y和T, 集合Y是集合T在集合P中的绝对补集.首先, 初始化采样点的数量N及拒绝半径R.其次, 对点云进行归一化, 标准化点云大小, 使后续的网络训练和拒绝采样能更好发挥作用.然后, 随机采样一个初始点加入集合S, 若不是首次采样, 初始点的选择一般是距离上次采样初始点最近的点.选择完成后, 再次从集合Y中选择与集合S中所有点距离之和最远的点pt加入集合S中.但由于噪声的扰动, 很可能导致点云中出现离群点.因此, 若pt在拒绝半径的球型范围内邻近点数量小于3个时, 可认为pt是一个离群点, 使用与其距离最近的3个点的坐标平均值代替该点, 以保证在出现离群点时尽量恢复至物体附近.当集合S中元素达到N个时, 算法结束.

本文方法在训练网络时可采用两种方式: 对多个点云两次采样后配对训练和只使用一个点云多次采样完成训练, 本文使用第一种训练方式.

1.3 网络设计

在其他点云去噪网络中, 由于点云受噪声影响后会导致坐标偏移使邻近点发生变化, 对点云的局部特征提取造成困难. 为解决该问题, 本文设计一个多尺度的静态特征提取网络, 该网络包含两部分: 用于局部特征提取的多尺度融合网络和用于噪声点回归的去噪网络, 整体结构如图3所示.

图3 点云去噪网络Fig.3 Point cloud denoising network

点云的特征提取关键是局部特征的提取, 本文使用K最近邻(KNN)算法寻找每个点最近的K个邻居点, 提取每个点的局部特征, 并分别使用3个维度聚合局部特征, 连同输入拼接在一起得到高维度特征[8]. 整体网络设计层数与去噪效果成正比, 但考虑到在嵌入式环境下的可能性, 并且在实验验证使用同一网络的情况下, 采用较小参数量的6层结构.

1.4 损失函数

当损失函数为L2损失时, 网络的输出能在拟合对象的期望处获得, 并且当ε→0时, 可以使用配对替换.虽然对同一点云进行采样, 但采样位置不同会导致采样点对应的干净点云的位置略有不同, 从而会使点云的凸起或尖锐边缘的位置由于点的数量较少而使该处采样稀疏, 进而导致该物理结构在去噪过程中丢失.因此, 本文的损失函数增加了一个正则项优化该问题:

(4)

其中y表示采样前的带噪点云,z1和z2表示两次采样后的点云,g(·)表示采样器,λ表示参数.在实验中, 根据最终的实验效果, 采用参数λ=0.1.

2 实 验

2.1 实验数据集

本文在真实点云数据集Paris-rue-Madame[12]上单独采样50个不同种类的点云集合, 每个点云集合包含1×104个点. 为进一步增加训练数据, 本文在数据集ModelNet40[13]和PUNet[14]上选取20个不同种类的点云. 其中在数据集ModelNet40上选取100个点云作为训练集, 20个点云作为验证集, 20个点云作为测试集; 数据集PUNet上选取20个点云作为验证集, 20个点云作为测试集, 并将所有训练集切割为包含1 024个点的点云集合. 对于各类点云, 本文使用混合噪声对训练集进行扰动, 包含了真实噪声和均值为0的高斯噪声, 并采用尺寸变化、 空间旋转等数据增强方式将数据扩充至3×104个点云. 对于验证集和测试集, 本文使用不同强度的高斯噪声进行扰动. 为验证去噪方法在其他环境下的去噪效果, 本文另添加了非0均值的Poisson噪声, 并且可视化在测试集上的结果.

2.2 实验环境与参数设置

实验环境采用Windows10系统, GPU为GTX1080. 实验使用Adam优化器, 并且设置Adam的学习率衰减为0.001, 平滑常数分别为0.9和0.999. 采取从头训练的方式, 网络训练迭代300次, 初始学习率为0.001, 并且经过50次迭代后下降至原来的0.5倍, 当网络在不同噪声强度下的验证集效果都达到最佳时提前结束训练.

2.3 评价指标

为更好地评估本文的去噪方法, 采用评估两点云之间的距离指标Chamfer Distance (CD)[15]和Point-to-mesh Distance(P2M)[16]. 其中, Chamfer Distance描述了两个点云S1与S2之间点的最短距离之和:

(5)

而P2M则是点云每个点到采样底层曲面的最小距离之和. 本文通过比较干净点云与去噪后点云的CD值和去噪后点云的P2M值衡量方法的去噪效果.

2.4 实验结果

在添加有混合噪声的数据集ModelNet40和PUNet上将本文方法与MRPCA(moving robust principal component analysis)[2], GLR(graph Laplacian regularization)[3]和Total Denoising[17]方法进行对比, 结果如图4所示. 为更好地观察实验结果, 本文实验在可视化时进行了着色处理, 图4右上角的颜色框从蓝到红依次表示了点到物体表面距离的由近到远, 当点云无噪声时, 点云呈现出纯蓝色状态. 进一步将本文方法与其他方法做定量比较, 结果列于表1. 其中, 有监督方法是为验证方法的有效性, 使用干净点云和带噪点云配对训练, 并且沿用了本文网络做基线得出的结果. 由表1可见, 本文方法在噪声强度较小时性能优于其他方法, 在噪声增大时, 也有与有监督方法相近的效果.

表1 点云去噪评价结果

图4 可视化测试结果Fig.4 Visualisation test results

为验证自监督方法的泛化性能, 本文在数据集Paris-rue-Madame上也进行了同样测试, 结果如图5所示. 由图5可见, 在真实环境下本文方法有更好的视觉效果.

综上所述, 针对无噪点云采集困难且使用模拟噪声在合成数据集上训练泛化性能较低的问题, 本文提出了一种不需要干净点云的自监督去噪方法, 该方法可用于单点云或无干净点云环境下去噪. 首先, 设计了一种减少噪声扰动的点云采样器, 对点云多次采样得出训练所需的输入和拟合对象; 然后, 设计了一个轻型多尺度点云去噪网络, 用于更好地提取点云特征. 本文方法在数据集ModelNet40和PUNet上都取得了与有监督方法相近的效果, 且在噪声强度较低时, 优势更明显.