基于高光谱成像技术的壁画文字识别分析报告

基于高光谱成像技术的壁画文字识别分析报告

一、测试原理及方法：

 高光谱成像技术是近二十年来发展起来的基于非常多窄波段的影像数据技术，其最突出的应用是遥感探测领域，并在越来越多的民用领域有着更大的应用前景。它集中了光学、光电子学、电子学、信息处理、计算机科学等领域的先进技术，是传统的二维成像技术和光谱技术有机的结合在一起的一门新兴技术。

 高光谱成像技术的定义是在多光谱成像的基础上，在从紫外到近红外（200-2500nm）的光谱范围内，利用成像光谱仪，在光谱覆盖范围内的数十或数百条光谱波段对目标物体连续成像。在获得物体空间特征成像的同时，也获得了被测物体的光谱信息。

目标物体-成像物镜-入射狭缝-准直透镜-PGP-聚焦透镜-CCD棱镜-光栅-棱镜：PGP

图1 成像原理图

光谱仪的光谱分辨率由狭缝的宽度和光学光谱仪产生的线性色散确定。最小光谱分辨率是由光学系统的成像性能确定的（点扩展大小）。

成像过程为：每次成一条线上的像后（X方向），在检测系统输送带前进的过程中，排列的探测器扫出一条带状轨迹从而完成纵向扫描（Y方向）。综合横纵扫描信息就可以得到样品的三维高光谱图像数据。

图2 像立方体

图3  Gaia Field高光谱成像仪

高光谱仪配置：镜头：22mm镀膜消色差镜头；光谱范围：400nm-1000nm，光谱分辨率: 4nm@435.8nm（@400-1000nm），像面尺寸（光谱x空间）：6.15 x 14.2 mm，相对孔径：F/2.4，狭缝长度14.2 mm. 内置控制、扫描机构；内置电池；

SpecView软件：控制完成自动曝光、自动对焦、自动扫描速度匹配；数据处理：黑白、辐射度、均匀性、镜头等校准；光谱查看。

GaiaField便携式高光谱系统是双利合谱自行研制的超便携式高光谱成像仪器。它的核心由三部分构成，分别是：多维运动控制器，光谱相机和成像光谱仪。使用此系统进行扫描，在获得目标影像信息的基础上，还可以获得数百甚至上千波段的光谱信息。

GaiaField系统有着轻便灵活，续航能力出色的特点。广泛适用于，目标识别、伪装与反伪装等军事领域，地面物体与水体遥测、现代精细农业等生态环境监测领域，以及刑侦、文物保护、生物医学等领域。

覆盖可见光与近红外全波段可提供超过700个光谱通道，可自由选择GaiaField便携式高光谱系统采用了高分辨率的成像光谱仪。在可见光波段，光谱分辨率高达3nm，即使在短波红外波段也能达到10nm。因而全波段内可以获得超过700个的光谱通道，更多的光谱通道意味着更多的信息，有助于研究人员通过对连续光谱的分析、反演，获得更多的高价值数据细节。

图4  高光谱成像仪采集的影像效果图

独有的软硬件功能：

辅助摄像头功能

通过辅助摄像头观察目标拍摄区域

当前狭缝位置指示

选择自动曝光与自动调焦区域，直观方便，仅需鼠标即可完成操作。

图 5  辅助摄像头观察目标拍摄区域

自动扫描速度匹配、自动曝光：

自动曝光：根据当前光照环境，进行曝光测试，获得精准的曝光时间。在得到最佳信噪比的同时，又可避免过度曝光造成数据作废。同时软件具有实时过度曝光监视功能。

自动扫描速度匹配：根据当前的曝光时间等参数，进行测试拍摄，得到实时帧速，进而计算出合适的扫描速度。从而避免了扫描图像的变形（拉伸或压缩）。

图 6   采集数据自动曝光、速度匹配

二、数据分析：

本文以山西壁画为研究对象，利用江苏双利合谱科技有限公司的高光谱成像仪Gaia Field（光谱范围400 nm - 1000 nm）采集测试对象的高光谱数据。

对成像高光谱仪拍摄的原始影像数据进行数据的预处理，预处理过程主要包括两部分。第一部分是辐射定标；第二部分为噪声去除。

首先进行辐射定标。辐射定标的计算公式如1所示。

                       (1)

其中，Ref_target为目标物的反射率，Ref_panel为标准参考板的反射率，DN_target为原始影像中目标物的的数值，DN_panel为原始影像中标准参考板的数值，DN_dark为成像光谱仪系统误差。

其次是噪声去除，本文运用国外较为常用的最小噪声分离方法(Minimum Noise Fraction Rotation， MNF)进行噪声去除。最小噪声分离工具用于判定图像数据内在的维数（即波段数），分离数据中的噪声，减少随后处理中的计算需求量。MNF本质上是两次层叠的主成分变换。第一次变换（基于估计的噪声协方差矩阵）用于分离和重新调节数据中的噪声，这步操作使变换后的噪声数据只有最小的方差且没有波段间的相关。第二步是对噪声白化数据（Noise-whitened）的标准主成分变换。为了进一步进行波谱处理，通过检查最终特征值和相关图像来判定数据的内在维数。数据空间可被分为两部分：一部分与较大特征值和相对应的特征图像相关，其余部分与近似相同的特征值以及噪声占主导地位的图像相关。由于此次采集的高光谱影像没有白板校正，因此数据预处理的第一步辐射定标没有进行分析处理，直接作MNF降噪分析。图7为MNF降噪前后的成像高光谱数据中DN值的变化。

图7  MNF变换前(左)后(右)高光谱影像DN值的变化

下图分别为壁画中不同成分的高光谱影像RGB（640 nm、550 nm、460 nm）真彩色合成数据及影像中不同位置的DN变化。从图8可知，受自然腐蚀的影响，壁画的字迹变得模糊不清，使原有的光谱信息发生变化，因此增加了通过光谱信息来识别壁画中腐蚀字迹的难度。

图8  壁画中不同成分的DN值变化

利用SpecView软件的Analysis-Animate功能，能快速浏壁画中的各波段图像的灰度变化，结果表明能较为清楚地识别壁画中字迹等高光谱影像信息的波段主要集中在红光与近红外区域，这与目前国内外的研究结果相同。以730 nm波段影像为例，对壁画730 nm处影像的灰度图作密度分割，以期能更清楚地分辨壁画内部成分的变化，如图9所示。从图9可知，通过对成像高光谱特定某一波段作密度分割并赋予不同的颜色，不仅在图像能较为清晰的看到壁画中各成分的变化，而且也能看到其在数值上的变化。

图9  壁画在730 nm处的灰度图像的密度分割效果图

为了客观地分别壁画内部成分的变化及壁画字迹的识别，对经预处理后的高光谱数据进行主成分分析（Principal Component Analysis, PCA），去除波段之间的多余信息、将多波段的图像信息压缩到比原波段更有效的少数几个转换波段下。一般情况下，第一主成分包含波段中的80%的方差信息，前三个主成分包含了所有波段的中95%以上的信息量。由于各波段之间的不相关，主成分波段可以生成更多颜色、饱和度更好的彩色合成图像。图分别对比分析壁画高光谱影像在PCA变化前后影像的合成图。

图10 壁画的PCA变化前影像合成图

（左 R：640 nm,G:550 nm，B：460 nm；右 R：PCA2,G:PCA1，B：PCA3）

从图8-图10可知，受自然腐蚀的影响，壁画上的文字表现出不同的清晰度，被腐蚀的文字，其高光谱影像中的DN值与文字背景的DN值相似，因此很难通过光谱匹配、监督分类、非监督分类、决策树、数学形态学等方法识别出被腐蚀的文字。为了提取壁画上的文字信息，本文尝试利用主成分分析，去除波段之间的多余信息、将多波段的图像信息压缩到比原波段更有效的少数几个转换波段下，并利用波段组合的方法组合成RGB图像，如图10所示，然而从图中可知，主成分的RGB合成图像仍无法识别受自然腐蚀的字迹；同样，利用成像高光谱的单波段作密度分割识别壁画上的受腐蚀的字迹效果也不理想。

但是，从图9和图10可知，通过PCA各主成分的波段组合及单波段的密度分割后，壁画内部成分的变化能较为清晰的展现出来，因此可以利用成像高光谱技术来分析壁画的受腐蚀程度。

在自然界中，存在着许多同物异谱，异物同谱的现象，传统的非成像高光谱，对于异物同谱的现象很难将地物相互区别开来。但是随着遥感技术的发展，成像高光谱的“图谱合一”的特点为解决同物异谱，异物同谱的问题提供了技术支撑，本文壁画中的字迹与其背景的光谱十分相似，但基于成像高光谱“图谱合一”的特点，利用马氏距离法能较好地从背景中提取影像中的字迹，如图11所示。

图11  高光谱影像字迹提取