高光谱图像辐射位深残差量化及其对地物分类影响分析

王 娟, 张爱武*, 张希珍, 陈云生

1. 首都师范大学三维信息获取与应用教育部重点实验室, 北京 100048

2. 首都师范大学空间信息技术教育部工程研究中心, 北京 100048

3. 首都师范大学地理环境研究与教育中心, 北京 100048

引 言

随着遥感成像技术的发展, 遥感图像的空间分辨率、 光谱分辨率、 辐射分辨率都在不断提高[1], 高辐射分辨率(≥10 bit)的航空航天数字遥感图像已经逐渐成为主要的数据源, 增强了对地物辐射能量的感知范围, 也增加了遥感图像更多的地物细节[2]。

然而, 目前人们多关注高空间分辨率和高光谱分辨率的运用, 如K最近邻(K nearest neighbor, KNN)[3]、 光谱角制图(spectral angel mapping, SAM)[4]和支持向量机(support vector machine, SVM)[5]等经典光谱分类方法, 以及一些空谱结合分类方法[6-8]。 遥感图像辐射分辨率反映了传感器对地物辐射能量的微小变化的探测能力[9-10], 辐射分辨率越高, 图像包含的地物细节越丰富。 Franks等[11]评估了高辐射分辨率对林业应用的益处, Irons等[12]研究了原始和降比特的TM(thematic mapper)图像对最大似然分类算法的影响, Tucker等[13]研究了不同辐射分辨率对区分植被的影响, Rao等[14]评估了不同辐射分辨率对估算主要农作物(如棉花、 甘蔗和水稻)叶面积指数(LAI)的影响, Rama Rao等[15]和Verde等[16]评估了不同辐射分辨率对地物分类的影响。 这些研究虽然从表象上分析了不同辐射分辨率对分类的影响, 但都没有充分挖掘和综合利用图像所包含的辐射信息。

Kang等[17-18]为了挖掘光谱信息提出一种基于高阶残差量化的光谱二值编码新方法HOBC (high-order binary coding), 将光谱信息分解成不同粒度的编码特征、 残差特征和重建特征, 有效地突出了光谱弱信息。 本工作受Kang等[17-18]方法启发, 对高光谱图像(hyperspectral image, HSI)进行辐射位深分割, 构建不同辐射位深层级位深特征图像及其残差图像, 并分析不同层级的位深特征图像、 残差图像及其组合对地物分类的影响。 主要内容包括： (1)提出高光谱图像辐射位深残差分割方法, 对辐射分辨率为mbit的高光谱图像进行辐射位深量化, 生成从1 bit至(m-1)bit不同位深层级的位深特征图像(low bit depth hyperspectral image, LHSI)及其残差图像(residual hyperspectral image, RHSI)。 (2)分析不同辐射位深层级的LHSI和RHSI及其组合对地物分类的影响。 首先, 结合随机森林分类器[19]用LHSI和RHSI进行地物分类, 分析不同位深层级的LHSI和RHSI对不同地物分类精度的影响; 接着利用主成分分析(principal component analysis, PCA)进一步提取从1 bit至(m-1)bit的LHSI和RHSI的综合特征[20], 对PCA后的LHSI和RHSI的特征图像进行排列组合, 并在特征组合的基础上运用随机森林分类器进行地物分类, 分析不同位深层级的位深特征图像与残差图像组合对地物分类的影响。

1 数据和方法

1.1 实验数据

采用的实验数据是Indian Pines, 该数据集由可见光红外成像光谱仪AVIRIS在1992年拍摄美国印第安纳州获得, 其光谱覆盖范围为400～2 450 nm, 空间分辨率为20 m, 辐射分辨率为14 bit, 包含145×145个像元和220个光谱波段, 共包含16个地物类别, 其中大多数代表不同的农作物。 去除图像在[104—108], [150—163]和第224波段不能被水反射的无用波段, 余200个可用波段。 图1(a)为该数据的伪彩色图像, 图1(b)是人工标记图像, 不同地物用不同颜色标记, 共16种地物类别, 并将不属于任何一类地物的像元用黑色作为底色标识, 在实际的分类过程中, 黑色标识部分不考虑。

图1 (a) Indian Pines伪彩图(Red： band50; Green： band100; Blue： band150); (b)真值图; (c)随机训练样本分布图; (d)图例

从每类地物中随机选择20%的样本数量作为训练样本, 其余用作验证样本, 样本分布图如图1(c)所示; 样本分类及各类别样本数量详见表1。

表1 训练集与测试集样本类别及样本数量

1.2 高光谱图像辐射位深残差量化方法

常规的图像位深量化实际上是一个简单的降比特的过程, 只提取了位深特征信息, 而忽略了每一层级对应的残差信息, 是一个有损的降比特过程, 如Wallace[21]在量化过程中只保留必要的整数部分的位深特征信息。 Belyaev[22]等将16 bit深度红外图像降比特为一个8 bit基础深度图像和一个8 bit残差位深图像, 基础深度图像中包含主要信息, 残差位深图像中包含细节信息; Li[23]等在做网络加速时运用高阶残差量化进行二值编码, 在利用二值网络加速的同时避免网络精度的大幅度下降。 Kang等[17-18]提出基于高阶残差量化的光谱二值编码方法, 利用残差信息突出光谱细节。

本工作将残差量化用于高光谱图像辐射位深提取上, 获得每一层级的位深特征图像及残差图像。 具体讲, 假设输入的图像X={X1,X2,X3, …,XN}的每个像素的辐射值是以mbit表示的非负整数值, 即0≤Xi≤2m-1, 首先, 则可将每个像素Xi量化为

Xi=βnHi+Ri(X)i=1, 2, 3, …,N

(1)

式(1)中,n为辐射位深量化层级,N为图像的像素个数,βn为第nbit辐射位深残差量化系数,Hi为像素Xi的位深特征,Ri(X)为像素Xi的残差, 则可通过式(2)计算得出像素Xi对应的βn, 利用式(3)量化像素Xi得到相应的辐射位深Hi, 然后四舍五入到最接近的整数, 并生成nbit时的辐射位深特征图像H={H1,H2,H3, …,HN}

(2)

(3)

式(2)和式(3)中,m为像素Xi的辐射位深, 计算得出βn和Hi后, 接下来利用式(4)量化像素Xi的残差Ri(X), 并生成nbit残差图像R={R1,R2,R3, …,RN}

Ri(X)=Xi-βnHii=1, 2, 3, …,N

(4)

具体算法流程图如图2所示。

图2 高光谱图像辐射位深残差量化流程图

2 结果与讨论

设计三组实验, 具体探究辐射位深特征及残差对地物分类精度的影响。 通过实验1分析不同位深特征图像对地物分类精度的影响, 通过实验2分析不同位深残差图像对地物分类精度的影响, 通过实验3分析位深特征图像与残差图像组合对地物分类的影响。 此外, 由于实际高光谱图像往往存在异常值, 在进行实验前, 先对高光谱图像进行辐射值异常值检测, 用邻域均值替换[24]去除小于等于零的DN值。

2.1 辐射位深特征图像对地物分类精度影响

首先对辐射分辨率为14bit的Indian Pines数据集进行辐射位深残差量化, 生成1～13 bit的LHSI, 结果如图3所示。 可以看到, 随着位深增加, LHSI的信息含量逐步增多并趋于稳定。 为进一步确定信息含量随辐射位深大小变化的规律, 利用MATLAB R2021a中的corr2函数计算LHSI与原始HSI对应波段间的皮尔森相关系数(pearson correlation coefficient, PCC)[25], 取波段间相关系数均值, 相关系数的绝对值越大, 相关性越强。 图4(a)所示为PCC随辐射位深变化曲线图, 可以发现, 随着辐射位深的增加, 各位深对应的LHSI与原始HSI相关度整体呈憎大趋势, 位深达到6 bit时, 增大趋势渐缓, 当位深为7 bit时, 与原始图像相关度高达92.24%, 从7 bit到13 bit变化过程中, 相关度虽然仍有提高, 但此时相差以0.03为单位增加。 因此, 初步确定位深为7 bit时, 最大程度降低数据冗余的同时, 保留了图像大部分主要信息。

图3 (a)—(m)依次为1～13 bit位深特征图像(Red： band50; Green： band100; Blue： band150)

图4 (a) PCC随位深变化曲线图; (b) MSA随位深变化曲线图; (c) OA、 KC随位深变化曲线图

进一步采用平均光谱角(mean spectral angel, MSA)[26]衡量辐射位深残差量化前后光谱保真性, 越小的MSA表明光谱越相似。 图4(b)中, 随着辐射位深的增加, 各位深对应的LHSI与原始HSI光谱夹角逐渐减小。 实验发现, 当位深在7 bit时, 光谱角为0.011 9 rad, 位深达到8 bit后, 光谱角减小到0.006 rad并以0.003 rad递减(表2)。

表2 7～13 bit LHSI和原始HSI各地物分类精度及客观评价

为分析不同位深LHSI对地物分类精度影响, 采用ENVI软件中的随机森林分类器对其进行分类实验(其中关键参数设置： Number of Trees=100; Number of Features=Square Root; Impurity Function=Gini Coefficient; Min Node Samples=1; Min Impurity=0), 并利用总体分类精度(overall accuracy, OA)[27]、 Kappa系数(Kappa coefficient, KC)[28]作为分类性能评价指标。 结合图4(c)中OA和KC来看, 当位深在7 bit时, OA为0.742 3, KC为0.698 8, 相对于原始HSI的分类精度有所降低; 当位深为8 bit时, OA达到了0.821 2, KC达到0.793 9, 相较于原始HSI, OA降低0.020 8, KC降低0.024 6(表2)。

进而利用图像熵(image entropy, IE)[29]评估8～13 bit LHSI中各波段信息含量, 并与原始HSI中各波段信息含量进行对比, 图像熵越大, 图像包含的像素灰度越丰富, 灰度分布越均匀, 图像的地物目标越多, 图像的信息量越大。 图5(a)—(f)为对比结果曲线图。 整体来看, 随着辐射位深的提高, 各波段信息含量不断增加; 当辐射位深为10 bit时, 各波段平均信息量超过原始HSI的信息量(表2), 其中仅有少数几个波段信息含量低于原始HSI, 如band104、 band145、 band199; 当辐射位深为12 bit时, LHSI中各波段信息含量均高于原始HSI。

图5 (a)—(f) 8～13 bit LHSI与原始HSI各波段信息熵对比

表2所示为7～13 bit LHSI中各地物分类精度和原始HSI中各地物分类精度的情况, 从表中可以看出, Alfalfa在辐射位深为9 bit时, 分类精度最优达到0.652 2; Corn-min till在辐射位深为9和13 bit时, 分类精度最优达到0.677 1; Corn在辐射位深为9和12 bit时, 分类精度最优达到0.514 8; Grass/pasture在辐射位深为9和12 bit时, 分类精度最优达到0.913; Grass/trees在辐射位深为7 bit时, 分类精度最优达到0.968 5; Grass-pasture-mowed在辐射位深为8 bit时, 分类精度最优达到0.642 9; Hay-windrowed在辐射位深为7和8 bit时, 分类精度最优达到0.995 8; Oats在辐射位深为10～13 bit时, 分类精度最优达到0.3; Soybeans-no till在辐射位深为10和13 bit时, 分类精度最优达到0.815 8; Soybeans-min till在辐射位深为7 bit时, 分类精度最优达到0.932 4; Soybeans-clean till在辐射位深为11 bit时, 分类精度最优达到0.760 5; Wheat在辐射位深为7和9 bit时, 分类精度最优达到0.961; Buildings-Grass-Tree-Drives在辐射位深为9 bit时, 分类精度最优达到0.652 8; Stone-steel towers 在辐射位深为8 bit时, 分类精度最优达到0.881 7; 而Corn-no till和Woods这两类地物在原始HSI上分类精度最优, 分别为0.802 5和0.973 9。 分析其中几种地物分类精度较低的原因在于训练样本数量较少, 导致其分类误差较多, 分类精度不高。

综合以上实验结果, 整体看来, 随着辐射位深的增加, LHSI分类精度逐渐提升。 当辐射位深为9 bit时, 与原始14 bit图像相比, 精度变化只有2%～3%, 这个实验结果与其他探究不同辐射分辨率多光谱图像对地物分类影响的研究结果相一致[10,14-15], 并且共有6类地物在辐射位深为9 bit时分类精度最优, 且IE低于原始HSI, 表明9 bit时LHSI在降低数据冗余的同时, 可以保证地物的分类精度, PCC和MSA也侧面证明9 bit时的LHSI与原始HSI相关度高达98.87%, 光谱差异性仅为0.003 rad。 同时, 当辐射位深为10, 11和13 bit时, 相较于原始图像, 辐射位深较低而分类精度较高, OA提升0.1%～0.2%(表2), 考虑是由于在像素内辐射位深越高则地物细节信息越丰富, 故导致分类准确度下降。 当辐射位深12 bit时, 出现分类精度略降低但IE高于原始HSI的情况, 考虑由于提取其位深特征后, Grass-pasture-mowed这类地物分类精度较低而导致整体分类精度略低。

2.2 位深残差图像对地物分类精度影响

根据辐射分辨率为14 bit的Indian Pines数据集辐射位深残差量化结果, 生成1～13 bit RHSI, 结果如图6所示。 可以看到, 随着位深增加, RHSI的信息含量逐渐降低。 为了探究不同辐射位深RHSI的分类精度, 绘制了OA和KC随位深变化的曲线图。 从图7(a)中OA和KC来看, 分类精度随辐射位深增加而降低; 位深为5 bit时, OA为0.792 1, KC为0.760 1, 相较于原始HSI, OA降低0.049 9, KC降低0.058 4(表3)。

表3 1～5 bit RHSI和HSI各类地物分类结果质量客观评价

图7(b)—(f)所示为1～5 bit RHSI与原始HSI各波段IE对比, 整体看来, IE出现了由高到低再到高的变化趋势, 考虑随着辐射位深的不断增加, 增加图像细节的同时, 也增加了部分噪声, 故导致其4～5 bit出现了IE升高的趋势。 辐射位深为1 bit时, 少数几个波段信息含量较少, 如band7、 band9、 band38等, 其余波段相较原始图像信息含量增加, 侧面说明细节信息较丰富; 辐射位深为2bit时, 与原始HSI信息含量相差不大, 也有少数几个波段信息含量降低; 辐射位深为3 bit时, 前106个波段相比于原始HSI信息含量增加, 后94个波段相对信息含量降低; 当辐射位深为4和5 bit时, RHSI中信息含量超过原始HSI中信息含量, 表明其细节信息丰富。

表3所示为1～5 bit RHSI中各类地物分类精度, Alfalfa、 Corn-no till、 Corn-min till、 Soybeans-min till这4类地物在原始HSI上分类结果更优; Corn、 Grass-trees、 Grass-pasture-mowed、 Buildings-Grass-Tree-Drives、 Stone-steel towers这5类地物在1 bit RHSI上表现较优; Grass-pasture、 Soybeans-no till、 Soybeans-clean till、 Stone-steel towers这4类地物在2 bit RHSI上表现较优; Hay-windrowed、 Oats这2类地物在5 bit RHSI上表现较优; Wheat在3和4 bit RHSI上表现较优; Woods在2和3 bit RHSI上表现较优。

综合以上实验结果, 辐射位深为4 bit时的RHSI与原始HSI相比, OA仅仅降低0.65%; 同时IE表明, 相较于原始HSI, 4 bit时的波段信息熵含量略高, 表明RHSI中突出了许多地物重要特征以及丰富的细节信息。

2.3 不同位深层级的位深特征图像与残差图像组合对地物分类影响

2.1中辐射位深残差量化后OA≥80%的LHSI为8～13 bit, 2.2中辐射位深残差量化后OA≥80%的RHSI为1～4 bit, 对2.1、 2.2中辐射位深残差量化后OA≥80%的LHSI和RHSI利用PCA变换来进一步提取LHSI和RHSI的综合特征, 得到特征图像前10波段的信息量占比达到96%以上, 故选取特征图像的前10波段代替原始200个波段的LHSI和RHSI。 将PCA变换后的8～13 bit LHSI和1～4 bit的RHSI利用MATLAB R2021a中的cat函数进行特征组合, 特征组合后的图像共20波段, 共有24种组合方式, 结果如图8所示。

图8 (a)—(f) 1 bit RHSI和8～13 bit LHSI组合图像; (g)—(l) 2 bit RHSI和8～13 bit LHSI组合图像; (m)—(r) 3 bit RHSI和8～13 bit LHSI组合图像; (s)—(x) 4 bit RHSI和8～13 bit LHSI组合图像(Red： band1; Green： band2; Blue： band3)

为验证特征组合图像中各类地物的分类精度, 采用随机森林分类器进行分类, OA和KC进行精度评估。 精度评估结果如表4所示(其中R1_L8表示1 bit RHSI和8 bit的LHSI组合后高光谱图像, 依次类推)。

表4 组合后图像各地物分类精度客观评价

表4列示了组合后图像各地物分类精度, 整体看来, 组合后图像分类精度有所降低; 位深为R3_L13的组合图像OA最高, 达到0.818 1, 与原始HSI相比, OA损失0.023 9, 相较于13 bit时LHSI, OA降低0.024 6, 较于3 bit时RHSI, OA降低0.015 9; 其KC也最高, 达到0.791 2, 较原始HSI, 降低0.027 3; 相较于13 bit时LSHI, 降低0.028 3, 较于3 bit的RHSI KC降低0.018 1。

Alfalfa、 Oats在R3_L10时分类精度分别为0.652 2和0.4, 较原始HSI分类精度有所提升; Corn-no till 在R3_L10分类精度为0.782 9, Corn-min till在R3_L11分类精度为0.659, Grass-pasture在R1_L8分类精度为0.879 9, Soybeans-no till在R4_L8分类精度为0.790 1, Soybeans-min till在R3_L12分类精度为0.866 8, Soybeans-clean till在R1_L11、 R1_L8上分类精度为0.654 3, 较原始HSI分类精度均有所降低; Corn在R1_L10分类精度较原始HSI分类精度提升0.033 7; Grass-trees在R1_L13和R2_L9上分类精度为0.952 1, 较原始HSI分类精度提升0.002 8; Grass-pasture-mowed在R1_L8、 R1_L12、 R3_L9、 R3_L11、 R4_L11上分类精度为0.892 9, 较原始HSI分类精度大幅提升, 提升0.571 5; Hay-windrowed在R2_L9、 R2_L11、 R2_L13、 R4_L12上分类精度为0.997 9, 较原始HSI分类精度提升0.020 9; Wheat在R3_L9分类精度为0.975 6, Woods在R2_L8上分类精度为0.977 9, 较原始HSI分类精度分别提升0.024 4、 0.004; Buildings-Grass-Tree-Drives在R1_L8和R1_L12上分类精度为0.626 9, Stone-steel towers在R1_L10和R1_L11上分类精度为0.957, 较原始HSI分类精度分别提升0.005 1、 0.096 8。

综合以上实验结果表明, 组合后的图像总体分类精度降低3%～5%, KC降低2%～5%, 其原因是由于PCA变换后信息主要集中在前10个波段, 降低了数据冗余, 减少了波段数, 导致分类精度有所损失。 但其中Grass-pasture-mowed分类精度大幅度提升, 说明PCA变换后明显突出了这类地物的特征; Alfalfa、 Oats、 Corn、 Grass-trees、 Hay-windrowed、 Wheat、 Woods、 Buildings-Grass-Tree-Drives、 Stone-steel towers这9类地物分类精度均有所提升, 说明PCA变换后进一步突出了这9类地物的特征。

3 结 论

提出了一种高光谱图像辐射位深残差量化的方法, 研究了不同辐射位深特征及残差对不同地物分类的影响, 并采用不同实验方案来筛选出面向分类应用的最佳辐射位深特征图像、 最佳辐射位深残差图像及最佳特征组合图像。

实验结果表明随着辐射位深的降低, 当辐射位深为9 bit时, 既保留了原始图像的主要信息, 同时又保证了图像的分类精度, 表明了适当降低辐射分辨率, 对分类精度影响很小。 这项研究提出了一些关于为某些分类任务选择或降低辐射分辨率的提示, 研究表明较低的辐射分辨率并不总是以牺牲分类精度为代价。 同时, 辐射位深为4 bit时, 得到最佳辐射位深残差图像, 面向分类时既保证了分类精度又突出了图像的细节特征, 这项研究可以为地物精细分类提供一些思路; R3_L13时的最佳组合特征图像, 进一步突出了图像的主要特征, 减少了数据冗余, 同时保证了分类精度, 这项研究为面向分类应用时高光谱图像的数据量大、 冗余度高的问题高提供了一些解决思路。 未来研究可以更深入研究不同分类方法对不同辐射分辨率高光谱图像分类精度的影响。