基于成像高光谱技术的人脸黑痣识别研究

基于成像高光谱技术的人脸黑痣识别研究

一、测试原理及方法：

 高光谱成像技术是近二十年来发展起来的基于非常多窄波段的影像数据技术，其最突出的应用是遥感探测领域，并在越来越多的民用领域有着更大的应用前景。它集中了光学、光电子学、电子学、信息处理、计算机科学等领域的先进技术，是传统的二维成像技术和光谱技术有机的结合在一起的一门新兴技术。

 高光谱成像技术的定义是在多光谱成像的基础上，在从紫外到近红外（200 -2500nm）的光谱范围内，利用成像光谱仪，在光谱覆盖范围内的数十或数百条光谱波段对目标物体连续成像。在获得物体空间特征成像的同时，也获得了被测物体的光谱信息。

目标物体-成像物镜-入射狭缝-准直透镜-PGP-聚焦透镜-CCD棱镜-光栅-棱镜：PGP

图1 成像原理图

光谱仪的光谱分辨率由狭缝的宽度和光学光谱仪产生的线性色散确定。最小光谱分辨率是由光学系统的成像性能确定的（点扩展大小）。

成像过程为：每次成一条线上的像后（X方向），在检测系统输送带前进的过程中，排列的探测器扫出一条带状轨迹从而完成纵向扫描（Y方向）。综合横纵扫描信息就可以得到样品的三维高光谱图像数据。

图2 像立方体

图3  Gaia Field高光谱成像仪

高光谱仪配置：镜头：22mm镀膜消色差镜头；光谱范围：400nm-1000nm，光谱分辨率: 4nm@435.8nm（@400-1000nm），像面尺寸（光谱x空间）：6.15 x 14.2 mm，相对孔径：F/2.4，狭缝长度14.2 mm. 内置控制、扫描机构；内置电池；

SpecView软件：控制完成自动曝光、自动对焦、自动扫描速度匹配；数据处理：黑白、辐射度、均匀性、镜头等校准；光谱查看。

GaiaField便携式高光谱系统是双利合谱自行研制的超便携式高光谱成像仪器。它的核心由三部分构成，分别是：多维运动控制器，光谱相机和成像光谱仪。使用此系统进行扫描，在获得目标影像信息的基础上，还可以获得数百甚至上千波段的光谱信息。

GaiaField系统有着轻便灵活，续航能力出色的特点。广泛适用于，目标识别、伪装与反伪装等军事领域，地面物体与水体遥测、现代精细农业等生态环境监测领域，以及刑侦、文物保护、生物医学等领域。

覆盖可见光与近红外全波段可提供超过700个光谱通道，可自由选择GaiaField便携式高光谱系统采用了高分辨率的成像光谱仪。在可见光波段，光谱分辨率高达3nm，即使在短波红外波段也能达到10nm。因而全波段内可以获得超过700个的光谱通道，更多的光谱通道意味着更多的信息，有助于研究人员通过对连续光谱的分析、反演，获得更多的高价值数据细节。

图4  高光谱成像仪采集的影像效果图

独有的软硬件功能：

辅助摄像头功能

通过辅助摄像头观察目标拍摄区域

当前狭缝位置指示

选择自动曝光与自动调焦区域，直观方便，仅需鼠标即可完成操作。

图 5  辅助摄像头观察目标拍摄区域

自动扫描速度匹配、自动曝光：

自动曝光：根据当前光照环境，进行曝光测试，获得精准的曝光时间。在得到最佳信噪比的同时，又可避免过度曝光造成数据作废。同时软件具有实时过度曝光监视功能。

自动扫描速度匹配：根据当前的曝光时间等参数，进行测试拍摄，得到实时帧速，进而计算出合适的扫描速度。从而避免了扫描图像的变形（拉伸或压缩）。

图6  采集数据自动曝光、速度匹配

二、数据分析：

本文以江苏双利合谱科技有限公司自行拍摄的高光谱人脸数据为研究对象，利用江苏双利合谱科技有限公司的高光谱成像仪GaiaField（光谱范围400 nm - 1000 nm）采集测试对象的高光谱数据，以分析人脸上黑痣的分布情况。图7为人脸拍摄的现场图片。

图 7  基于成像高光技术人脸拍摄的现场

对成像高光谱仪拍摄的人脸原始影像数据进行数据的预处理，预处理过程主要包括两部分。第一部分是辐射定标；第二部分为噪声去除。

首先进行辐射定标。辐射定标的计算公式如1所示。

                       (1)

其中，Ref_target为目标物的反射率，Ref_panel为标准参考板的反射率，DN_target为原始影像中目标物的的数值，DN_panel为原始影像中标准参考板的数值，DN_dark为成像光谱仪系统误差。

其次是噪声去除，本文运用国外较为常用的最小噪声分离方法(Minimum Noise Fraction Rotation， MNF)进行噪声去除。最小噪声分离工具用于判定图像数据内在的维数（即波段数），分离数据中的噪声，减少随后处理中的计算需求量。MNF本质上是两次层叠的主成分变换。第一次变换（基于估计的噪声协方差矩阵）用于分离和重新调节数据中的噪声，这步操作使变换后的噪声数据只有最小的方差且没有波段间的相关。第二步是对噪声白化数据（Noise-whitened）的标准主成分变换。为了进一步进行波谱处理，通过检查最终特征值和相关图像来判定数据的内在维数。数据空间可被分为两部分：一部分与较大特征值和相对应的特征图像相关，其余部分与近似相同的特征值以及噪声占主导地位的图像相关。由于此次采集的高光谱影像没有白板校正，因此数据预处理的第一步辐射定标没有进行分析处理，直接作MNF降噪分析。图8为MNF降噪前后的成像高光谱数据中DN值的变化。

图7  MNF变换前(左)后(右)高光谱影像DN值的变化

由于本研究的高光谱影像数据在采集过程中无白板数据作为参考。图8分别为高光谱人脸上白眼珠、黑眼珠、黑痣、皮肤、头发、嘴唇的DN值变化规律。从图8可知，除350-450 nm范围内，嘴唇与黑痣的DN值变化曲线及其相似外，在450-1000 nm范围内，黑痣的DN值变化规律有白眼珠、黑眼珠、皮肤、头发、嘴唇均不相同，这说明黑痣的光谱反射率也异于白眼珠、黑眼珠、皮肤、头发、嘴唇。

图8  人脸上各目标物在350-1000 nm范围内的DN值变化

利用SpecView软件的Analysis-Animate功能，能快速地浏览高光谱影像各波段的灰度信息变化，本研究通过快速浏览人脸的高光谱影像的各波段灰度信息变化可知，在不同波段范围内，图像中不同目标物的显示效果并不相同，有些目标物只有在特定的波长即特征波长才显示出来。图9分别列举了400 nm、640 nm和800 nm的灰度图。从图9可知，400 nm和800 nm处，人脸上的黑痣几乎无法用肉眼识别出来，而在640 nm处，脸上的黑痣能隐约看到，但效果并不明显。 

图9  人脸在400 nm、640 nm和800 nm的灰度图

在本研究中，由于人脸在不同波长下成像，得到几百景人脸图像，且在不同的波长下人脸的灰度图像显示效果并不同，有的图像清晰，有的图像模糊，还有些基本上看不见。如果用计算机处理，会因为图像信息量太大而难以处理，浪费时间过多。所以，需要经过主成分分析法筛选出特征图像。主成分分析（Principal Component Analysis, PCA）的作用是去除波段之间的多余信息、将多波段的图像信息压缩到比原波段更有效的少数几个转换波段下。图10分别展示了人脸经主成分变换后的15个主成分图像，从图10可知，前2个主成分虽然包含了较多信息，且图像较为清晰，但黑痣的显示效果并不理想。从图10中我们可以发现，第4、6和10主成分能较为清晰地人脸黑痣的分布情况。

  图10  人脸经主成分变换后的前15个主成分

    经主成分变换后，各主成分间相关性较小且包含较多的图像信息，因此可以通过波段间的组合更清晰地识别各目标物。图11为原始图像的真彩色合成及各主成分变换的假彩色合成。从图11可知，PCA假彩色合成，并不是主成分越靠前，其合成图中各目标物显示就越清晰，而是根据在各主成分中较为清晰地识别目标物的主成分进行彩色合成。根据图10可知，第4、6和10主成分能较为清晰地人脸黑痣的分布情况，因此运用4、6和10三个主成分构建的假彩色合成能较为清晰识别人脸黑痣的分布范围。

图11  人脸经主成分变换后的前15个主成分