面向开环扫描系统的超声图像畸变校正方法∗

张金英 史亦凡 吴先梅

(1 精密光电测量仪器及技术北京市重点实验室 北京理工大学光电学院 北京 100081)

(2 北京理工大学长三角研究院 嘉兴 314001)

(3 中国科学院声学研究所 声场声信息国家重点实验室 北京 100090)

(4 中国科学院大学 北京 100049)

0 引言

超声显微成像技术利用物体的声阻抗差异，通过探测回波信号实现对物体表面及亚表面结构的三维成像，具有非侵入、无辐射、高分辨、穿透深等显著优势，广泛应用于半导体、芯片封装检测、复合新材料、金刚石复合片、航空航天材料、低压电器、新能源锂电池和碳纤维材料等领域内部缺陷检测。由于高频(>30 MHz)超声阵列换能器的制备[1-5]及与高频相控阵电路的集成[6-9]仍存在巨大挑战，超声显微成像技术难以利用相控阵扫描技术，目前仍采用机械扫描方式。机械扫描主要包括闭环、半闭环、开环3 种控制方式。闭环控制系统通常采用光栅尺或编码器等运动检测器读取电机的运动位置信息，将其反馈至运动控制器和上位机，并根据该反馈位置信息做出调整使电机修正运动位置，实现最佳定位精度，但这种调整往往使得连续扫描成像难以实现，仅适用于逐点扫描成像。半闭环控制系统在硬件上与闭环控制一致，也是需要采用光栅尺或编码器读取电机的运动位置信息，将其反馈至运动控制器和上位机。不同的是，半闭环控制系统不会根据反馈位置信息对电机运动做出调整，因此可以实现快速连续扫描，但在利用位置信息和回波信号进行图像重建时需要谨慎采用插值算法以消除图像畸变。开环控制系统也叫“无反馈系统”，即没有反馈功能来调节驱动系统。与闭环、半闭环系统相比，开环控制系统简单得多，无需光栅尺或编码器，仅利用回波信号进行图像重建，可以实现快速的连续扫描成像，但存在非线性运动引起的图像畸变。

开环控制方式虽然不如闭环、半闭环控制方式的定位精度高，但由于结构简单、易于调试、成本低廉，多年来在激光扫描、数控系统、外骨骼增强等诸多领域获得了广泛应用。1994年，田雯等[10]研制了开环控制的二维激光扫描动态检测系统，利用对系统随机误差的修正，很好地实现了工件超差的准确判别。2004年，施群等[11]提出了应用于开环系统的高精度均匀插补算法，通过软硬件结合的方式保证了开环步进电机控制脉冲的均匀性，提高了开环系统的数控精度。2020年，Orekhov等[12]研制并对比了3 种人类脚踝外骨骼辅助行走系统，证明了开环控制方式不仅在扭矩追踪能力等性能上优于闭环控制，并且具有更低的能量损耗、噪声及复杂度，具有更优的商业前景。

在超声显微成像中，目前研究人员广泛采用的机械扫描方式还是闭环、半闭环控制系统。2019 年，Shoukroun 等[13]利用自主搭建的闭环超声扫描系统对新型的X射线CT系统的探伤检测进行评估和校准验证，该超声成像系统的聚焦声斑为280 µm；2020 年，Svilainis 等[14]利用三维闭环机械扫描系统对高频聚焦超声换能器进行C 扫描成像，聚焦声斑为350 µm，还可对超声换能器进行性能测试和验证，指导新的换能器制造方法；2021 年，Lim 等[15]研制了一套超声热疗检测双模式医疗设备，该设备应用德国PHYSIC仪器的L-509半闭环扫描系统进行C 扫描成像，分辨率为200 µm，在小鼠实验上取得了阶段性成功。这些闭环扫描系统具有反馈机制，定位精度高、成像分辨率高，但是系统复杂、所需硬件成本高。

如果能采用开环控制系统实现快速连续扫描，并将非线性运动引起的图像畸变消除，就会显著降低超声显微成像系统的成本和控制复杂度。本文提出一种面向开环扫描系统的超声图像畸变校正方法，通过改进图像重建算法消除非线性运动引起的图像畸变，具有校正简便、控制简单、成本低廉等特点，能够适应多种目标检测和成像需求。

1 图像畸变校正原理

在超声显微成像中，通过A 扫描获得待测样品某个位置处的回波信号，反映了该处轴向的深度信息(图1(a)∼(b))；当扫描系统按照直线方式运动时，可获得多个A 扫描的回波信号，构成B 扫描，反映了待测样品沿该直线的剖面信息(图1(c))；当扫描系统按照蛇形或梳形方式运动时，可获得多个A 扫描的回波信号，构成C扫描，反映了待测样品在某个深度的层析信息或表面形貌(图1(d))。

图1 超声扫描方式示意图Fig.1 Schematic diagram of ultrasonic scanning mode

在由B 扫描或C 扫描获得超声图像时，必须保证超声图像中每个A 扫描回波信号对应的像素点位置与扫描探头的实际位置一致，这在闭环系统中容易实现，通常通过伺服电机的编码器或利用光栅尺等将步进电机扫描的精确位置反馈至上位机来实现(图2(a))。

图2 扫描系统工作原理框图Fig.2 Scanning system working principle block diagram

在开环系统中，由于运动控制器只负责发出扫描指令而无扫描探头的位置信息反馈(图2(b))，难以保证像素点位置与扫描探头的实际位置完全一致。当扫描系统按照连续直线方式运动时，即使运动控制器在每次直线扫描(B扫描)过程中发射驱动脉冲数量相同，每次直线运动情况也不完全一致，主要是线性运动区的起始和终止位置不同。这是由于步进电机转子转动时，运动速度并不总是均匀的，其开始和停止过程存在加速和减速运动，会引入空触发等造成的位移误差。因此，当采用开环系统连续直线扫描时，不论采用蛇形扫描(图3(a))还是梳形扫描(图3(b))，由于存在加速和减速过程诱导的非线性运动(图3(c)～(d))，导致每个B 扫描的线性运动区起始位置和终止位置均存在随机误差(图3(e))，从而使得感兴趣区域(Region of interest,ROI)出现错位，引起图像像素错位畸变。在开始运行一段时间后，速度趋于稳定(即进入线性运动区)，此时位移误差大幅降低，可忽略不计。

图3 像素错位产生原因示意图Fig.3 Schematic diagram of causes of pixel dislocation

因此，在开环扫描中，需要解决的主要问题是消除线性运动区起始和终止位置的错位误差。一个简单的解决方法是将ROI 置于扫描系统的线性运动区。为了解决非线性运动引起的像素错位问题，本文提出集最大值投影(Maximum intensity projection,MIP)法、最大类间方差(Maximum between-cluster variance,Otsu)法和中心坐标校正法(Central coordinate correction method,C3M)于一体的MIP-Otsu-C3M 方法，图像畸变校正原理如图4所示。首先采用MIP法获得ROI表面散射形貌的灰度图像(图4(a))，其次利用Otsu 法获得灰度图像中每一行的ROI 边缘像素位置(图4(b))，进而获取每一行两个边缘像素的对称中心位置(图4(c))，将每一行的像素整体进行平移校正，直至将对称中心移动到图像对称轴所在的列(图4(d))。由于两侧均为非ROI 区域，因此平移时可将一侧溢出数据补充至另一侧，无需考虑灰度图两侧的校正问题。平移校正后，即可获得消除ROI 像素错位畸变的灰度图像。需要说明的是，除了Otsu 边缘检测算子法，也可利用图像中背景像素与ROI 表面散射边缘像素存在明显灰度值差异，采用观察法或其他边缘检测算子法来确定ROI 的边缘像素位置。

图4 MIP-Otsu-C3M 方法错位畸变校正原理示意图Fig.4 Schematic diagram of MIP-Otsu-C3M method for dislocation distortion correction

图5 对A 扫描超声回波信号的预处理过程Fig.5 Preprocessing of ultrasonic A-scan signal

图6 MIP 法获得灰度图像示意图Fig.6 MIP method to obtain gray image schematic

2 图像畸变校正算法

本文提出的MIP-Otsu-C3M 图像畸变校正算法处理流程如表1 所示，主要包括数据预处理、MIP、Otsu、C3M等4个步骤。

表1 图像畸变校正算法处理流程伪代码Table 1 Image distortion correction algorithm process pseudo-code

3 结果与讨论

本文采用如图2(b)所示的开环控制方式，利用三轴平移运动位移台带动高频聚焦超声换能器(OLYMPUS V376-SU，30 MHz)对待测样品(游戏硬币、五角硬币)进行蛇形或梳形C扫描。位移台由步进电机(北光世纪SC100)驱动，步进电机通过运动控制器与上位机相连。超声换能器与脉冲发射-接收器(JSR Ultrasonic DPR 500，带宽300 MHz)连接，接收到的回波信号经过脉冲发射-接收器的放大、滤波等前置电路处理，由示波器(R&S RTB2004)采集后以二进制数据传输至上位机。

在连续直线扫描时，上位机发送指令至运动控制器，驱动三轴位移台按预设路径进行C扫描运动。为实现机械扫描、脉冲发射及数据采集的同步工作，运动控制器向步进电机每发送N个驱动脉冲，超声换能器发射一次超声信号并接收回波信号，同时示波器将该回波信号采集后传输至上位机。如果运动控制器向步进电机每发送N个驱动脉冲，位移台能够移动相同的长度，则经过MIP 后获得的灰度图像应无像素错位畸变。然而，如前所述，步进电机的加速、减速过程引入的非线性运动，使得在加速、减速阶段，不能保证位移台移动相同长度，因此本文对如图7(a)所示的游戏硬币进行蛇形C 扫描，经MIP法获得的灰度超声图像显示了明显的像素错位畸变，如图7(b)所示。对五角硬币进行梳形C扫描，经MIP 法获得的灰度图像及其边缘图像均显示了明显的像素错位畸变，如图8(a)∼(b)所示。采用本文提出的MIP-Otsu-C3M 方法对图7(b)、图8(a)所示的灰度图校正后，得到如图7(c)、图8(c)所示的灰度图，对图8(c)灰度图提取边缘图像如图8(d)所示，可见校正后的图像大幅消除了图像像素错位畸变，准确显示了硬币上的各种文字和图案等信息。在Windows 10操作系统环境下，利用图像处理软件对本方法代码进行测试运行，平均运行时间约为1.9 s。

图7 蛇形C 扫描的游戏硬币时域MIP 法超声图像Fig.7 Snake C-scan game coin ultrasound image with MIP method

图8 梳形C 扫描的五角硬币时域MIP 法超声图像Fig.8 Raster C-scan coin ultrasound image with MIP method in time domain

本文提出的MIP-Otsu-C3M 方法不只适用于上述时域MIP 法超声成像，也适用于飞行时间(Time of flight,TOF)法及频域法超声成像。图9(a)为未采用MIP-Otsu-C3M 方法校正的TOF法二维灰度图，图9(b)为采用MIP-Otsu-C3M 方法校正后利用TOF法重建的灰度图。TOF 法与MIP法类似，区别是每个像素的灰度值来源于幅度最大值所对应的时间信息。TOF 法以三维图表示时更能反映ROI 的形貌信息，即TOF 反映物体表面的起伏程度或者厚度，如图9(c)所示。图10(a)为五角硬币的正面、背面图案照片，图10(b)为对预处理回波信号进行傅里叶变换后，利用频域MIP 法重建的灰度图。对预处理回波信号采用MIP-Otsu-C3M方法校正后再进行傅里叶变换，利用频域MIP法重建的灰度图如图10(c)所示。可以看出，采用MIPOtsu-C3M 方法校正后，不论是TOF 法灰度图、三维图，还是频域法MIP 图，均显著消除了图像像素错位畸变。

图9 五角硬币TOF 法超声图像Fig.9 Coin ultrasound image with TOF method

图10 五角硬币及频域MIP 法超声图像Fig.10 Coin and ultrasound image with MIP method in frequency domain

与图8(c)所示的时域MIP灰度图不同，图10(c)所示的频域MIP 灰度图除显示了五角硬币正面的图案信息，也显示了其背面的图案信息。这是因为，本文将硬币放置于30 MHz 聚焦超声换能器的景深内，换能器发射的声波可穿透硬币，在正面、背面均产生回波或散射。超声成像的对比度来源于声阻抗差异，当声波由水入射至硬币表面时，二者之间巨大的声阻抗差异使得硬币正面的反射回波很大。如果硬币表面是平整的，反射回波会被换能器接收产生强回波信息；如果硬币表面具有起伏的棱角，声波会被散射而大幅降低被换能器接收的能量。因此超声回波主要携带的信息为硬币界面的散射形貌。在时域MIP中，硬币正面的回波强度大大高于背面的回波强度，取最大值时仅选取了正面的回波幅值，因此仅呈现了正面的图案信息。而在频域MIP 中，当正面、背面均产生反射回波时，其声波频率均为30 MHz左右，傅里叶变换中均对30 MHz附近的频率成分产生贡献，具有最大的频域MIP 值；当正面产生反射回波、背面产生散射无回波时，其30 MHz附近的频率成分仅由正面回波贡献，具有较大的频域MIP 值；当正面产生散射无回波、背面产生反射回波时，其30 MHz 附近的频率成分仅由背面回波贡献，具有较小的频域MIP值；当正面、背面均产生散射无回波，其30 MHz 附近的频率成分具有最小的频域MIP 值。因此频域MIP 既包含了正面的图案信息，也包含了背面的图案信息，这表明该方法对探测超声内部结构具有重要潜力和价值。

MIP法通常仅用于获得灰度图像，是血管造影等生物医学领域常见的图像重建方法[16]，而本文提出的MIP-Otsu-C3M 方法则是利用MIP 法不仅实现了MIP图像的像素错位畸变校正，而且在校正MIP 图像的同时，实现了C 扫描预处理数据的整体校正，为更灵活的TOF 法、傅里叶变换法及层析法等图像重建处理提供了消除错位的数据。这拓展了MIP法的应用领域。

需要指出的是：(1)本文提出的MIP-Otsu-C3M方法需要在ROI 所需扫描面积的基础上预留非线性运动区，这会增大额外的C 扫描区域。不过目前商用步进电机每个连续直线扫描的加速、减速过程很快，非线性运动区的长度很短，因此预留扫描范围很小，对C 扫描成像速度影响较小。(2) 本方法在图像矫正方面利用了目标物体的轴对称特性，即需要每个行扫描中物体占据的有效像素点具有共同的对称轴，仅需找到每行的对称轴，将原本错位的对称轴平移至同一列，即可实现所有行扫描的对齐。因此本文提出的MIP-Otsu-C3M方法仅适用于对圆形轮廓的目标物体进行超声成像，而对非圆形轮廓的目标物体，则需要借助圆形轮廓的模具，例如材质为超声可探测的圆环，采用图11 所示方法放置。只要圆形轮廓模具和ROI 均位于线性运动区，则借助圆形轮廓模具实现错位畸变校正，即可获得非畸变的ROI 超声图像。该方法在保证所提MIP-Otsu-C3M 校正算法的精确度和优越性的同时，进一步扩大了校正算法的使用范围。

图11 圆形轮廓模具推荐放置方法Fig.11 Recommended placement method for the ring mold

4 结论

开环扫描方式控制简单、硬件成本低，但无反馈机制会引起超声图像错位畸变。本文提出了一种面向开环扫描系统的图像畸变校正方法，集合了MIP、Otsu 和C3M 多种算法，从实验上验证了该方法对蛇形、梳形C 扫描图像均有消除错位畸变的效果。利用校正后的C 扫描数据，获得了五角硬币的TOF 法和傅里叶变换法非畸变图像。最后讨论了所提校正方法两个可能的应用局限，均给出了相应解决方案。本文提出的MIP-Otsu-C3M方法有利于开环扫描系统应用于超声显微成像，且拓展了MIP法的应用。