基于空间相关性的图像缝合算法

王冠群

(1.河北省仪器仪表工程技术研究中心，河北 承德 067000；2.承德石油高等专科学校 仪器仪表工程技术研究中心，河北 承德 067000)



基于空间相关性的图像缝合算法

王冠群1,2

(1.河北省仪器仪表工程技术研究中心，河北 承德 067000；2.承德石油高等专科学校 仪器仪表工程技术研究中心，河北 承德 067000)

作为一种新型的区域观测技术，无线多媒体传感器网络(WMSN)获得了国内外研究者的高度关注。在密集部署的无线多媒体传感器网络中，不同的相机节点所观察到的视觉信息存在较大的冗余和空间相关性。为了适应无线多媒体传感器网络的带宽有限、计算能力有限、功耗有限的缺点，利用WMSN节点的空间几何关系以及相机成像原理，获得图像之间的相关系数，根据信息熵的原理建立相机节点的选择机制。在此基础上，利用相关系数对选择的相机采集的图像进行缝合。降低了复杂度和计算量，使之更适合WMSN节点的应用。

WMSN;空间相关性;节点;熵;图像缝合

无线多媒体传感器网络(Wireless Multimedia Sensor Networks，WMSN)[1，2]是目前最具有发展潜力和应用前景的信息感知技术手段之一，具有自组织、快速部署、信息准确等优点。即使没有电力和通信等基础设施，WMSN也能够快速部署和组成观测网络，实时获取图像、音频等多媒体数据，对环境信息实现全面有效的感知，极大地增强一线人员准确掌握现场态势的能力，在环境监测和灾难救援领域具有巨大的应用价值[3]。在多媒体传感器网络中，通常需要部署多个相机传感器以便提供多个视图、高分辨率图片以便对环境加强监测[4]。无线多媒体传感器网络的典型应用方案是：相机通过观测感兴趣区域，并将其拍摄的图像传给接收器。假设有N个相机可以观测到这个特定的感兴趣区域，对于观测的相机用组T={T1,T2,T3…,TN}来表示，并且它们观测的图像为P={P1,P2,P3…,PN}。这组观测的相机存在相关性，可以被用来开发设计多媒体网络处理方案。研究不同相机所观测到图片之间的相关特征。针对所有观测相机T={T1,T2,T3…,TN}中的相机i和相机j，用相关系数ρij描述图片Pi和Pj的相关程度。在获得空间相关系数后，需要研究如何测量无线多媒体传感器网络中多个相机的视频信息量。直观来看，各个相机提供的视频信息之间存在相关特征。这些相机所观测到的图像之间相关特征越少，这些相机将会传输给接收器更多的信息。本文将采取一种基于熵的框架[5]，估计多个相关相机的信息量。

由于传输的视频信息需要很高的带宽，这将会降低网络的生命周期，因此要求整个无线多媒体传感器网络的数据通信量越少越好。多幅图像传输到簇节点后，需要将这些图像进行缝合。可以通过空间的相关性、以及多幅图像之间的空间几何关系找到准确的缝合位置，进而将多幅图像融合成一副图像，而不会造成信息的严重损失。这样，仅仅利用空间相关性和图像在空间的几何位置而进行的图像缝合，其算法的复杂度远远低于传统的图像融合方法，更适用于无线多媒体传感器网络。

1 存在相关性的多节点联合效应

针对多簇节点存在相关性的特点展开研究。以信息熵的理论为基础，测量多个相关相机所采集图像的信息量，在无线多媒体传感器网络传输能力受限的情况下，根据信息量的大小，尽量选择包含更多信息的图像，从而提出一种基于相关性的相机选择算法。

1.1 基于熵的方法

在信息理论中，用熵的概念测量随机源模型的信息量。假设一幅图片被认为是一个灰度级源模型的例子，这个源的标志可以通过灰度级直方图建模。源的熵估计可以用下面公式表达：

(1.1)

其中，L是所有可能存在的灰度级个数，p(rk)是可能存在的k个灰度级。这个公式表示图像中一个像素点的平均信息量。

如果相机Si将其观测到的图片Xi传到簇节点，那么簇节点增加的信息量就是H(Xi)。如果一组相机传感器{S1，S2…,SN}传输它们所观测的图片{X1，X2…,XN}到簇节点，而传输到簇节点的平均信息量为H(X1，X2，…，XN)。

1.2 多个相机的联合熵

假设有多个相机同时检测感兴趣区域时，设定相机组为S={S1,S2,…,SN}，采集的图像为{X1,X2,…,XN}。针对多幅图像的联合熵H(X1,X2,…,XN)求取进行分析。

如果按照概率论的相关理论对H(X1,X2,…,XN)进行计算，则必须知道相机S={S1,S2,…,SN}的分布情况。然而对多个相机的分布情况进行估计是非常困难的，尤其是当相机数量很大时。

一个可行的方法是利用上一节中两个相机的联合熵来计算多个相机的联和熵。由于N个相机间相互独立，可以让它们两两之间联合，这样每两个相机间的联合熵就可以计算出来。将联合起来的相机看做是一个相机，则传感器网络中相机数量变为N-1个。如果不断重复上述过程，N个相互独立的相机最终变成一个相机。由于两个相机的联和熵可以在相机的联合过程中求取，当相机联合过程结束时，N个相机的联合熵H(X1,X2,…,XN)也计算出来。

按照分级聚类的思想，本文设计了计算多个相机联合熵的算法。只要每个相机的熵以及它们之间的相关矩阵已知，N个相机间的联和熵H(X1,X2,…,XN)可以通过分级聚类的思想得到。具体的算法流程是：1)找到N个相互相关相机中的最大相关系数；2)将上述的两个相机的图像相结合，组成一类，计算信息熵；3)依次计算步骤2中的图像与其他图像的相关系数(计算聚类以外所有相机与聚类中所有相机的相关系数，将其累加在进行平均得到[6])；4)将这两个相机所拍摄的图像从图像聚类中删除；5)重复步骤以上步骤，直至得到所有图像总和的信息熵。

2 图像缝合

假定，所有的相机采用同一规格的相机(相机的焦距一致)，相机具有相同的景深d，并且相机的水平位置保持一致，根据图像的之间的相关系数的本质，可以得出两幅图像的重叠区域所占的比例。

在图像水平位置已知的情况下，两幅图像的像平面相关可以比作为两个平面具有相互重叠的部分。两个图像重叠的三维空间立体图如图1所示。

假设图像的采集区域为无限宽广的场地，则在无穷远处可以认为是一个平面，如果在有限的区域，同样也可以将场地的尽头假定为一个平面。在这样的情况下，可以将三维空间转变为二维空间，如图2所示。

图中θ为相机T2的旋转角度，a、b分别为相机T1与相机T2的像平面俯视图，p1、p2分别为世界坐标系中立体平面的俯视图，与y轴平行，d为相机的景深。

假定各幅图像的信息熵大小，相机所拍摄的图像之间的相关系数均为已知量。因为相机是绕z轴进行旋转，所以z轴对图像的缝合不起作用。相机是水平移动的情况下，世界坐标系中的x轴对图像的缝合影响较小，因此针对世界坐标系的y轴图像投影变换进行研究，找到图像的缝合位置。

根据图3的4幅图像，通过Matlab计算图像的信息熵，得到4幅图像的信息熵分别为7.553 4、7.567 5、7.586 2、7.571 6，几乎相差无几，设定相机T1、T2的信息熵为1，两相机的相关系数为ρ。设重叠区域的信息熵为c。则有：

(1)

(2)

设T2右半轴的信息量为b1，左半轴的信息量为b2，则有：

(3)

(4)

根据图像的几何关系可知相机T2与相机T1缝合时，应保留相机T2的负半轴的部分信息量和相机T1的正轴方向的部分信息量以及两相机重叠的信息量。

(5)

(6)

T1与T2采集的图像如图4所示。

为了实现更高的压缩比，首先将源图像进行灰度处理。针对处理后的灰度图像进行缝合根据上述方法进行缝合，效果如图5所示。

3 结论

本文通过研究传感器模型和相机的部署，计算图像的空间相关性，用来描述感兴趣区域中相机所监测到的视觉信息相关特征。阐述了基于熵分析的框架，衡量由网络中多个相机提供的视觉信息。同时，根据相关性函数和基于熵的框架，对采集图像的相机进行选择。根据以上的基础信息，利用空间几何关系，完成了相邻WMSN节点的图像缝合，较现有利用图像的灰度信息或者是特征信息进行的图像缝合方法，大大的降低了复杂度和计算量。

[1] Chai W C, Chew L W, Ang L M, et al. Low memory image stitching and compression for WMSN using strip-based processing[J]. International Journal of Sensor Networks, 2012, 11(1): 22-32.

[2] 樊晓平, 熊哲源, 陈志杰, 等. 无线多媒体传感器网络视频编码研究[J]. 通信学报, 2011, 32(9): 137-146.

[3] 程文芳, 张侠, 何剑峰. 极地生态环境监测与研究信息平台的设计与实现[J]. 极地研究, 2009, 21(4): 299-307.

[4] Cucchiara R. Multimedia surveillance systems[C]. Proceedings of the third ACM international workshop on Video surveillance & sensor networks, 2005: 3-10.

[5] Tononi G. Integrated information theory[J]. Scholarpedia, 2015, 10(1): 4164.

[6] Jain A K, Murty M N, Flynn P J. Data clustering: a review[J]. ACM computing surveys (CSUR), 1999, 31(3): 264-323.

Image Stitching Algorithm Based on Spatial Correlation

WANG Guan-qun1,2

(1.Hebei Instrument & Meter Engineering Technology Research Center, Chengde 067000, Hebei, China; 2.Instrument & Meter Engineering Technology Research Center, Chengde Petroleum College, Chengde 067000, Hebei, China)

Line Multimedia Sensor Networks (WMSN) wins high attention from researchers both home and abroad as a new type of regional observation technology. In the dense deployment wireless multimedia sensor network, the visual information different camera node observes is redundant and has spatial correlation. In order to adapt to the disadvantage of WMSN such as limited bandwidth, calculation ability and power dissipation, this paper uses WMSN node’s space geometrical relationship and camera imaging principle to acquire correlation coefficient between the images, and establishes a camera node selection mechanism according to the theory of information entropy. Based on this, this paper uses correlation coefficient to stitch the images collected by cameras that has been chosen before. This method greatly reduces the complexity and computation, and makes it more suitable for the application of WMSN nodes.

WMSN; spatial correlation; node; entropy; stitching image

2016-11-28

王冠群(1987-)，男，河北承德人，助教，硕士，主要从事仪器仪表研发、智能控制研究工作，E-mail:wgq_neu@163.com。

TP391.41

A

1008-9446(2017)03-0051-04