高光谱显微成像系统结合多数据Faster RCNN的白细胞快速检测

背景

白细胞（White blood cells, WBCs）是血液的重要组成部分，具有抵抗病毒和细菌感染的功能。在一定的血容量中，白细胞的数量和比例为医生诊断相应疾病提供了有价值的信息。无论是白细胞计数还是形态检测，需要解决的关键问题是实现白细胞的分类和识别。然而，传统的显微镜方法严重依赖于操作人员的经验，检测方法过于复杂。

近年来，相应的计算机视觉算法和系统已广泛应用于血细胞自动检测领域。然而，大多数识别算法只是将特征提取和分类模块按顺序叠加在一起。当样本空间较小或类间差距不明显时，这些算法的泛化能力和稳定性就无法得到保证。深度学习具有准确、**、稳定的特点，这在医学领域和大量图像的分析和处理中具备巨大应用价值。但是常用的仅基于具有细胞空间特征的灰度或RGB图像，容易受到多种环境因素的影响，如显微镜的光学条件、载玻片的厚度等。

高光谱成像（Hyperspectral imaging, HIS）技术是图像和光谱技术的结合。获得的高光谱数据包含被检测目标的空间和光谱特征。虽然HSI在空间特征的基础上提供了丰富的光谱信息，但数百个窄波段使得每张高光谱图像占用过多的内存，巨大的计算资源占用使得快速检测难以实现。降低计算成本的有效方法是从整个高光谱图像中选取目标区域作为感兴趣区域（Region of interest, ROI），只计算ROI的光谱信息。然而，ROI的获取必须是手工的，不能满足快速和自动的要求。

具体研究内容如下：（1）利用高光谱显微成像（Hyperspectral microscopic imaging, HMI）系统获取血液涂片中含有白细胞区域的影像，并对每种类型的白细胞进行标记，形成五种分类的数据集。（2）根据VGG16网络架构构建一维CNN网络，并基于WBC的光谱数据进行相应的训练和预测，验证光谱数据作为WBC分类依据的可行性。（3）与一维CNN相似，采用Faster RCNN作为对照组，基于伪彩色图像对WBC进行识别分类，观察基于单一数据的分类准确率。（4）最后，构建了基于图像和光谱特征的多数据Faster RCNN深度学习模型，并探讨多数据联合在白细胞检测中的可行性和优势。

试验设计

大连工业大学王慧慧教授团队使用如图1b所示的HMI系统采集血液图片的高光谱数据。它由一个image-λ -N17E近红外高光谱成像系统（江苏双利合谱公司）和一个三目生物显微镜（Nikon Eclipse 80i）和卤光源组成。高光谱数据的波长范围为382.3 ~ 1020.2 nm，光谱分辨率为1.8 nm。

为了验证高光谱成像数据用于WBC分类的可行性，本研究构建三种网络模型并探索其性能：基于WBC光谱数据的一维CNN、基于WBC图像特征的Faster RCNN和基于融合光谱和图像特征的多数据Faster RCNN。一维CNN参考VGG16，具体结构如图2所示。图3是Faster RCNN的详细结构。其特征提取网络为Resnet18，RPN网络可以大大提高检测WBC等小目标的能力。最后，Dense和Softmax层将建议的框坐标和特定WBC类别作为Faster RCNN的输出。对原有的Faster RCNN网络进行修改，即在Faster RCNN的结构中加入光谱数据提取模块、光谱特征提取网络（一维CNN）和特征融合（Concatenate）层，构建多数据Faster RCNN检测模型（图4）。

图1 主要研究流程图

图2 基于光谱数据的一维CNN结构

图3 Faster RCNN的结构

图4 多数据Faster RCNN

结论

如图5所示，在450 ~ 570 nm波长范围内存在一个明显的吸收谷，在640 ~ 680 nm波长范围内存在一个较小的吸收谷。5种白细胞中，Neu、Eos、Lym和Mon含有酸性磷酸酶和过氧化物酶，Bas含有大量的肝素和组胺酶。同时，Neu还含有碱性磷酸酶，Eos含有芳基硫酸酯酶，Lym含有游离核糖体，Mon含有非特异性酯酶。所有这些成分都是蛋白质。因此，我们认为光谱反射率的差异是由于每个白细胞中所含酶的差异造成的，这两个吸收谷可能是白细胞检测模型的重点关注区域。

图5所有WBC（a）和五种WBC（b）的平均光谱反射率曲线

一维CNN对WBC的分类结果如图6所示。从图中可以清楚地看到，模型在第20次迭代时基本收敛，校准集和验证集的损失分别为0.19和0.26，说明一维CNN对WBC光谱数据具有较强的适应性，适合分类。从混淆矩阵可以看出，每次分类的准确率都达到90%以上，没有出现过拟合现象，说明该模型具有很好的泛化能力。模型的精度随着召回率的增加而降低。另外，大多数白细胞的PR曲线在下降之前是稳定的，而Lym和Mon的PR曲线波动幅度较小，推测这两种白细胞中的酶相似，因此它们的光谱反射率非常接近，使得模型难以有效区分。

图6 一维CNN的分类结果

WBC二维伪彩色图像应用于Faster RCNN建模。从图7的光谱波段权重可视化可以看出，模型主要关注400 ~ 570 nm和640 ~ 700 nm范围内的波段。这两个范围内的波段被模型赋予了更多权重，从而包含了更多用于WBC识别的特征信息。在上述波段范围内，在420.8 nm、536.5 nm和672.8 nm处存在较强的光谱响应峰和波谷，表明其对应的图像将包含较强的响应信息，选择这些波峰和波谷进行伪彩色图像合成。然后，将这三个波段对应的单通道光谱图像分别映射到R、G、B三个颜色通道进行合成。

图8显示了基于Faster RCNN的5种WBC类别在两种不同图像下的检测结果。图9展示了Faster RCNN模型的具体分类结果。从模型训练的角度来看，总损失在20次迭代之前迅速下降，80次迭代之后趋于平缓，基本收敛，这证明了Faster RCNN在本WBC图像数据集中是可行的。与一维CNN相比，Faster RCNN不仅在训练过程中收敛速度更慢，而且在Neu和Eos中的分类准确率也要低得多。然而，由于Lym的形态特征与Neu和Eos有很大的不同，因此不会与这两者混淆。

图10为从预测集得到的CAM图。重点着色的区域基本集中在白细胞的细胞核上，这证明该模型主要根据细胞核的特征来区分不同的白细胞。而Lym和Mon的细胞核占据了大部分的细胞空间，使得细胞核的形态特征难以识别，导致模型将背景中一些颜色更深、体积更大的红细胞误识别为Lym或Mon。然而，红细胞与白细胞在组成上有很大的不同，这使得它们在光谱反射率上更容易被识别。为此，建立基于光谱反射率和图像特征的多数据Faster RCNN联合检测模型，利用光谱和图像的融合特征，提高模型对WBC的分类精度。

图7 基于预测集WBC光谱波长的梯度加权类激活映射

图8 基于伪彩色图像的Faster RCNN对白细胞的检测结果

图9 Faster RCNN的分类结果

图10 基于Faster RCNN的预测集梯度加权类激活映射

图11详细展示了多数据Faster RCNN的分类结果。当迭代次数达到40次时，校准集和验证集的总损失值分别下降0.008和0.03，然后趋于稳定，证明模型训练效果良好。与前两种模型相比，Lym或Mon的分类精度有所提高。此外，各类别之间的混淆较少，表明该模型的预测能力得到了提高。从图11c和表1可以看出，Lym和Mon的AP值改善最为明显，分别达到0.917和0.911。融合特征的分类不仅减少了白细胞之间的误判，而且有效地减少了背景与白细胞目标之间的误判。证明了多数据联合检测相对于单一数据检测的可行性和优势。

多数据Faster RCNN在预测集中得到的CAM图如图12所示。与单一数据一维CNN聚焦的400 ~ 570 nm和640 ~ 700 nm波段范围相比，多数据Faster RCNN模型在融合特征的指导下，聚焦的波段范围分别为380 ~ 570 nm和640 ~ 950 nm。同时，与单一数据Faster RCNN相比，背景的注意区域明显变窄，暗红色区域更集中在核区。这表明该模型更关注细胞的各种特征，而不是背景，有利于在复杂情况下准确检测白细胞，提高模型的泛化能力。

与现有的白细胞检测方法相比，多数据Faster RCNN可以实现大量白细胞样本的自动快速检测，并且HMI的引入可以获得高质量的细胞高光谱图像，大大提高了检测的准确性。该研究为其他生物试验的高效准确开展提供了技术参考。

图11 多数据Faster RCNN的分类结果

表1 多数据Faster RCNN在不同WBC分类中的性能比较

图12 多数据Fasteer RCNN在预测集中的梯度加权类激活映射

作者信息

王慧慧，博士，大连工业大学机械工程与自动化学院教授，博士生导师。

主要研究方向：基于机器视觉的智能检测研究、装备数字化设计。

参考文献：

Zeng, F., Du, Z., Li, G., Li, C., Li, Y., He, X., An, Y., & Wang, H. (2023). Rapid detection of white blood cells using hyperspectral microscopic imaging system combined with Multi-data Faster RCNN. Sensors and Actuators B: Chemical, 389.

https://doi.org/10.1016/j.snb.2023.133865