基于光谱信息与图割模型求解的高光谱图像拼接方法

发表文献：

Zongyi Peng, Yong Ma, Yujie Zhang, Hao Li, Fan Fan, Xiaoguang Mei:

Seamless UAV Hyperspectral Image Stitching Using Optimal Seamline Detection via Graph Cuts. IEEE Trans. Geosci. Remote. Sens. 61: 1-13 (2023)，中科院一区TOP期刊

关键词：图形切割、高光谱图像 （HSI） 拼接、*佳接缝线检测、光谱相似性。

背景：

高光谱遥感图像因同时具有空谱信息而得到了广泛的应用。现有的高光谱图像传感器主要分为基于卫星载荷与无人机载荷两种。然而，卫星传感器载荷成本较高，图像空间分辨率较低且成像过程中易受到大气云层的干扰。近年来，无人机载传感器由于其灵活便捷性、低成本等优势而受到了广泛的关注。无人机传感器所采集的高光谱图像具有较高的空谱分辨率，但是由于无人机的成像视场角较小，所采集的单张图像无法涵盖大范围环境信息，因此，基于高光谱图像拼接的研究具有重要意义。

普通图像的拼接领域已经获得了较多成果，但高光谱图像拼接的研究还并不是十分成熟。用于遥感探测的高光谱图像通常由机载设备拍摄，无人机拍摄的条件不稳定，飞机振动、曝光时飞机快速运动导致的像点偏移等现象会使拍摄得到的图像质量下降并且存在非刚性变换。传统的图像拼接方法会虽然能将相邻图像的重叠区域进行几个对齐，但在图像融合过程中会不可避免地存在诸如模糊、重影等人工痕迹。此外，由于高光谱图像中的众多单波段灰度图像具有不同的空间特征，传统的基于二维图像空间信息的*优拼缝线探测手段在处理不同单波段灰度图像时会得到不同的结果，导致高光谱图像中众多波段拼接结果难以统一，引起光谱失真问题。针对无人机所采集的单张高光谱图像空间范围小，传统拼接方法所得到的结果具有模糊重影、光谱失真等问题，提出基于光谱信息与图割模型求解的高光谱图像拼接方法。

实验设计：

本文所进行实验的数据集为无人机拍摄的真实高光谱数据，拍摄场景为四川省某植物园，拍摄高度为300米，相邻图像具有较大的重叠区域，单张图像空间分辨率为960×1057，光谱范围覆盖400-1100nm，每隔4nm获取一幅单波段灰度图像，共176个波段。该数据集包含有丰富的地物信息，包括树林、灌木丛、草地、道路、建筑物等，数据在拍摄过程中受到噪声影响，且相邻图像间具有一定视差，因此在该数据集上所进行的实验能反映本文方法在真实环境与应用中的有效性。所有实验均在2.8GHZ英特尔酷睿i7-7700HQ的CPU和8GB内存的电脑上测试，方法以Matlab代码实现。数据集中18幅高光谱源图像如图1所示，为了便于观察，所展示的图像为数据集中第76波段（对应波长700nm）、第38波段（对应波长548nm）及第13波段（对应波长448nm）三个波段所融合而成的伪彩色图像形式。

图1实验所采用的高光谱图像数据集。

结论

在拼接图像空间视觉效果的验证实验中，将直接对数据集中18幅高光谱图像拼接而成的全景图像进行性能验证，实验中将与现有的5个先进拼接算法进行对比，分别为ANAP、SPHP、DHW、NISwGSP与REW。不同拼接算法对18幅高光谱源图像进行拼接所得到的全景图像拼接结果如图2所示，总体来看，所有拼接算法均成功将18幅源图像配准至统一坐标系下，得到了一幅完整的全景拼接图像。为了对拼接图像的细节效果进行评估，将全景图像中四处典型地物局部区域进行放大，展示在对应全景图像右边的红、蓝、黄、绿色矩阵方框中。从图中可以看出，ANAP与SPHP算法拼接结果中的放大区域中均存在不同程度的模糊与重影，尤其是在蓝色局部矩形区域中的白色正方形地物具有明显的人工拼接痕迹。NISwGSP算法所得到的拼接结果在具有视觉重影的同时，其黄色与蓝色矩形区域局部矩形区域中出现了明显的条纹状几何错位。相对于上述结果，虽然DHW算法所得到的全景图像更加清晰平滑，但红色和黄色的局部矩形区域的地物仍然存在明显的颜色失真痕迹。由于REW算法与本文配准方法具有相同的策略，即将图像局部单应变换与全局相似进行结合，因此在图2（e）与图2（f）中，所得到的全景拼接图像具有大体上几乎一致的几何形状，然而通过观察局部放大区域可以发现，REW算法的红色与黄色矩形区域内，典型地物仍具有明显重影，而本章所提出方法的局部放大图像中，所有地物均呈现出清晰的形貌特征，无任何明显的人工拼接痕迹。因此，通过图2中所展示的结果可以得出，本章提出方法所得到的全景拼接图像具有更加清晰平滑的视觉效果，所有地物均呈现出清晰的形貌特征。此外，通过对相同局部放大区域的视觉效果进行对比可以看出，本章方法的拼接图像克服了对比算法结果中的所有缺陷，局部区域无任何明显的人工拼接痕迹，具有更加良好的视觉效果。

图2 不同拼接算法的空间视觉效果对比图。（a）ANAP；（b）SPHP；（c）DHW；（d）NISwGSP；（e）REW；（f）本文方法。

本节实验将对本文方法在高光谱图像中所探测的最优拼缝线性能进行评估，并与现有的5个先进最优拼缝线探测算法进行对比。用于对比的最优拼缝线算法包括有seam-driven、动态规划（Dynamic Programming，DP）、一种增强的动态规划（Effective Dynamic Programming，EDP）、快速鲁棒拼缝评估（Fast and Robust Seam Estimation，FARSE）以及基于5/2范数的拼缝线探测方法。拼缝线质量评估实验结果如图3所示，其中图3（a）为本章实验数据集中具有丰富地物背景的相邻图像（即数据集中的第8和第9幅图像），图3（b）为两幅源图像经配准后的结果，图3（c）至图3（h）分别为不同算法所得到的拼缝线，此外，除去拼缝线的主观视觉效果外，为了对不同方法所得到拼缝线的质量进行更客观的评估，实验中基于拼缝线的SSIM系数以进行定量评估。

图3 本文提出方法与其它拼缝线检测方法的拼缝线质量比较。利用SSIM指数对所有探测到的拼缝线进行了定量对比。为了便于观察，图像同样以伪彩色形式展示。（a）输入两幅高光谱源图像；（b）配准图像；（c）Seam-driven，SSIM = 0.9098；（d）DP，SSIM = 0.8887；（e）EDP，SSIM = 0.8717；（f）Farse，SSIM = 0.9195；（g）5/2 normed，SSIM = 0.9203；（h）本章方法，SSIM = 0.9371。

通过图3可以看出，最优拼缝线探测策略对于去除图像重叠区域内的模糊与重影误差具有显著效果，所有拼接图像均呈现出较为平滑清晰的视觉效果。然而，seam-driven与FARSE算法所得到的拼缝线均穿过了图中的唯一白色建筑物。通过观察图3（f）可以看出，FARSE算法在路径规划的过程中还容易陷入局部最优解，拼缝线中部分位置出现像素大量堆积的现象。图3（d）与图3（e）为DP与EDP算法的实验结果，由于这两种方法过度注重于拼缝线中像素点的数目，导致所提取拼缝线的起止点并不固定，在图像重叠区域边界具有明显的几何错位，出现了一条明显的黑色拼接痕迹。通过图3（g）和图3（h）可以看出，本文提出方法和基于5/2范数方法所得到的最优拼缝线均可以在一定程度上消除可见边界，并且避免了明显地物，位于具有高度相似纹理信息的位置。在定量上分析中，我们使用SSIM系数对所有方法得到的最优拼缝线进行评估。可以发现，本章提出方法得到最优拼缝线的SSIM指数为0.9371，在所有方法中具有最高指标。因此，本章提出方法能够很好地选择符合人类视觉感知的拼缝线，在高光谱图像拼接任务中取得最优的拼接性能。

本章实验对拼接后图像的光谱性能进行拓展分析，将本章所提出方法与几个经典的图像融合方法进行比较，以进一步验证本章方法对于光谱信息保真的优越性。本章实验中用以对光谱曲线进行定量评估的指标包括：均方根误差（root mean square error，RMSE），光谱角距离（Spectral Angle Distance，SAD）以及光谱信息散度（Spectral Information Divergence，SID）。本文方法与三个经典融合方法的光谱信息一致性对比结果如图4所示，其中用以对比的融合方法为平均融合，线性加权融合以及泊松融合。选取本章实验所选用数据集图4中具有丰富地物信息的第8、第9幅图像作为源图像I1与I2以进行实验，图4（a）与图4（b）分别为两幅源图像经配准后的结果图，图4（c）为配准图像的重叠区域及所得到的拼缝线，点“A”、“B”、“C”、“D”分别为图中四个典型地物所对应的像素，地物类别分别为树木、道路、建筑物以及白色轿车，图4（d）至图4（g）分别为四个典型地物像素点所对应的光谱曲线结果。与本文第三章光谱性能实验中相同，图4（c）中像素点“A”的光谱信息应与源图像I2中同名像素的光谱进行比较，而像素点“B”、“C”、“D”的光谱信息应与源图像I1中的同名像素的光谱进行比较。在图4（d）至图4（g）中，红色实线表示源图像中像素点的参考光谱曲线，蓝色实线为本文方法所得到的光谱曲线，绿色、青色及黄色曲线分别表示平均融合、线性加权融合以及泊松融合所得到的光谱曲线结果。总体来看，本文方法所得到的蓝色光谱曲线与源图像中的红色光谱曲线最为吻合，而基于不同图像融合方法所得到的光谱均与原始曲线存在不同程度的失真。其中，三种所对比的图像融合方法中，平均融合与线性加权融合方法均对图像重叠区域内像素的灰度值进行线性赋值，最终所得到的光谱曲线仍能保留与原始曲线大致相同的形状；泊松融合方法通过求解图像中梯度域的泊松方程而具有更复杂的处理过程，虽然在特定场景中具有空间上更好的融合效果，但会对高光谱图像中的光谱维度信息一致性造成更严重的破坏，因此，图4中代表泊松融合方法的黄色光谱曲线与原始曲线的形状差异最大，失真情况最为严重。表1至表4展示了本章方法与对比方法中，四个典型地物像素点光谱曲线与原始光谱曲线的定量指标评估结果。结合图4与四个表格中的定量数据可以看出，传统的图像融合方法对于像素灰度值的重构导致了融合后图像像素光谱曲线与原始光谱的信息失真，而这种失真随着融合方法复杂程度的加深而愈加严重，如图4中泊松融合方法所得到的光谱曲线与原始光谱的形状差异最大，而在表1至表4中所得到的定量指标同样具有最差性能。综上所述，对于高光谱图像数据集中相邻图像不具有明显色差的情况而言，对配准后图像所进行的融合步骤会导致像素光谱信息的进一步失真，融合方法越复杂，失真情况越严重。而本章所提出的基于最优拼缝线探测的高光谱图像拼接方法采用对相邻图像重叠区域进行分割以替代传统图像融合的策略来获取全景图像，保证了拼接后图像内像素光谱信息与原始图像的尽可能一致，为后续的光谱信息解译任务提供了更有利的数据支撑。

图4 本文方法与三个传统融合方法的光谱信息一致性对比结果。（a）、（b）两幅已配准的源图像；（c）配准图像重叠区域及所得到的拼缝线，点“A”、“B”、“C”、“D”分别为图中四个典型地物“树木”、“道路”、“建筑物”以及“白色轿车”所对应的像素；（d）“树木”光谱曲线结果；（e）“道路”光谱曲线结果；（f）“建筑物”光谱曲线结果；（g）“白色轿车”光谱曲线结果。

表1 像素点“A”（树木）的光谱曲线定量分析结果，对最优指标进行加粗表示

表2 像素点“B”（道路）的光谱曲线定量分析结果，对最优指标进行加粗表示

表3 像素点“C”（建筑物）的光谱曲线定量分析结果，对最优指标进行加粗表示

表4 像素点“D”（白色轿车）的光谱曲线定量分析结果，对最优指标进行加粗表示

作者: 彭宗义武汉大学理学院博士,研究方向：遥感图像处理、计算机视觉和图案识别

参考文献：

S. Yang, Z. Shi, and W. Tang, “Robust hyperspectral image target detection using an inequality constraint,” IEEE Trans. Geosci. Remote Sens., vol. 53, no. 6, pp. 3389–3404, Jun. 2015.

[2] F. Li, X. Zhang, L. Zhang, D. Jiang, and Y. Zhang, “Exploiting structured sparsity for hyperspectral anomaly detection,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 7, pp. 4050–4064, Jul. 2018.

[3] M. Zhang, W. Li, and Q. Du, “Diverse region-based CNN for hyperspectral image classification,” IEEE Trans. Image Process., vol. 27, no. 6, pp. 2623–2634, Jun. 2018.