超表面在微测辐射热计中的应用

杨君, 袁俊, 杨春丽, 王文金, 张杰, 李华妮

杨君, 袁俊, 杨春丽, 王文金, 张杰, 李华妮. 超表面在微测辐射热计中的应用[J]. 红外技术, 2024, 46(1): 1-11.
引用本文: 杨君, 袁俊, 杨春丽, 王文金, 张杰, 李华妮. 超表面在微测辐射热计中的应用[J]. 红外技术, 2024, 46(1): 1-11.
YANG Jun, YUAN Jun, YANG Chunli, WANG Wenjin, ZHANG Jie, LI Huani. Application of Metasurfaces in Microbolometers[J]. Infrared Technology , 2024, 46(1): 1-11.
Citation: YANG Jun, YUAN Jun, YANG Chunli, WANG Wenjin, ZHANG Jie, LI Huani. Application of Metasurfaces in Microbolometers[J]. Infrared Technology , 2024, 46(1): 1-11.

超表面在微测辐射热计中的应用

详细信息
    作者简介:

    杨君(1997-),男,硕士研究生,研究方向是非制冷探测器超表面结构技术研究。E-mail: yangjun_wulisuo@163.com

    通讯作者:

    袁俊(1980-)男,正高工,主要从事红外探测器研究。E-mail:yuanjun5516@tom.com

    杨春丽(1980-),女,正高工,主要从事红外探测器研究。E-mail:149578363@qq.com

  • 中图分类号: TN214

Application of Metasurfaces in Microbolometers

  • 摘要: 超表面突破了传统自然材料的电磁特性限制,同时也解决了三维超材料难以加工实现等瓶颈问题,使器件朝着集成化,小型化,低成本,可调谐的方向不断发展。目前超表面已在许多领域得到了较为广泛的应用,在探测器领域也越来越受到人们的重视,通过独特的材料、结构设计,超表面可有效完成电磁波各项特性的精确调控,通过超表面的集成,微测辐射热计在光吸收增强,器件波段选择改善等方面有了更多的可能性。本文针对超表面及其在微测辐射热计上的应用研究进行了阐述,展现了超表面在这一领域的发展趋势和广阔前景。
    Abstract: Metasurfaces have overcome the electromagnetic limitations of traditional natural materials and solved the bottlenecks of difficult processing and implementation of three-dimensional metamaterials, leading devices to continuously develop towards integration, miniaturization, low cost, and tunability. Metasurfaces are widely used in many fields and are increasingly valued in the field of detectors. Through unique material and structural designs, metasurfaces can effectively achieve precise control of various electromagnetic wave characteristics. Through the integration of metasurfaces, microbolometers are more likely to enhance light absorption and improve the device band selection. This article elaborates on the research on metasurfaces and their applications in microbolometers, demonstrating the development trend and broad prospects of metasurfaces in this field.
  • 目标检测作为计算机视觉领域关键技术之一,旨在模拟人类视觉和认知,探索统一框架实现不同类型目标的识别和定位[1],在无人驾驶、智能家居、智能电网、智慧医疗等诸多领域发挥着重要作用[2]。现阶段目标检测技术大多基于可见光图像,虽然检测效果较优,但容易受到天气、光照强度等环境因素影响[3]。而红外图像主要根据物体散发的热辐射强度成像,有效避免了可见光成像的局限,可以全天候进行目标检测任务[4]。但相较于可见光图像,红外图像存在纹理细节信息较少、对比度和信噪比较低、目标模糊等问题,使得目前的红外检测方法对目标深层次语义信息提取困难,检测效果也较差[5]。因此,研究一种结合红外图像特点的目标检测方法,不仅可以丰富相关理论,也能进一步推动红外目标检测技术实际落地应用。

    红外目标检测技术的发展主要分为传统方法以及深度学习两个阶段[6],传统检测主要基于手工构建目标特征结合分类算法实现红外目标检测,如Viola Jones[7]、HOG(Histograms of Oriented Gradients)[8]、DPM(Discriminatively Trained Part-Based Models)[9]等检测器。虽然效率较高,但检测效果较差且特征设计复杂。而深度学习方法通过训练的方式获取目标特征,可有效避免传统特征设计的局限。虽然计算量较大,但随着计算机性能的突破,基于深度学习的检测方法逐渐成为了当下红外目标检测研究热点[10],如蔡杰等人[11]针对红外电力设备的检测,提出了一种基于双重注意力机制的目标检测网络,通过引入CBAM(Convolutional Block Attention Module)注意力结构来增强显著特征,并利用局部池化来丰富空间纹理特征的获取,该方法虽提升了网络性能,但仅使用池化操作无法充分获取图像标全局上下文信息,且注意力机制中的全连接结构也引入了较多计算量。李向荣等人[12]基于YOLO(You Only Look Once)目标检测架构提出了一种多尺度红外目标检测方法,利用不同维度特征加权融合方式来补充浅层高分辨率特征信息,进而提升检测效果,但该方法仅在检测部分引入了多尺度结构,未充分考虑特征提取过程中的多尺度信息,且融合方式也容易导致不同目标信息相关干扰。Banuls等人[13]针对红外图像细节特征缺失等问题,利用多源信息融合技术,提出了一种双支路特征融合的目标检测网络,将可见光与红外图像相融合实现特征互补,虽检测效果提升较大,但双支路结构也使网络检测时间翻倍,无法较好应用于实际场景。可见,现有红外目标检测方法虽从不同角度提升了检测效果,但都存在一定局限,检测性能仍有较大的提升空间。

    针对上述检测方法存在的局限和不足,本文在总结现有算法结构的基础上,从信息增强和特征融合的角度,提出了一种基于轻量级卷积神经网络的红外目标检测方法。所提方法主要贡献如下:

    1)利用直方图均衡化、滤波、锐化等传统图像处理方法来增强红外目标显著信息以及边缘细节信息,提升输入数据多样性;

    2)设计了一种多层次特征聚合的提取结构,从局部和全局的角度提升网络对目标空间及语义信息的提取;

    3)引入了一种混合注意力结构,利用多种方式从通道和空间位置角度获取图像上下文信息,增强有效特征权重;

    4)设计了多尺度检测结构,以自适应融合相邻维度特征的方式来综合目标多尺度信息,降低特征间干扰,并提升网络检测效率。

    本文所设计的基于特征增强和融合的红外目标检测网络整体架构如图 1所示,主要分为红外图像信息增强、多层次特征提取、混合注意力机制、多尺度检测结构几个部分。红外图像增强主要利用直方图均衡化、滤波、锐化等传统图像处理算法来提升目标显著特征以及边缘细节特征,丰富输入图像信息;多层次特征提取结构由不同卷积模块以多层次连接方式充分提取目标全局以及局部信息;混合注意力机制从特征通道以及空间位置角度综合利用均值、极值、标准差等计算方式来提升建模能力,使网络聚焦目标相关特征;而多尺度结构则将每个尺度特征结合相邻尺度信息,以自适应加权的方式融合目标关联特征,提升各尺度目标检测效果。最后,利用单阶段检测器并结合非极大值抑制算法实现红外目标识别与定位。

    图  1  红外目标检测网络整体架构
    Figure  1.  Overall architecture of infrared target detection network

    目前,大多数目标检测网络主要基于原始图像直接进行特征提取,该方式对于信息丰富的可见光图像效果较优,但对于信息相对单一的红外图像,仅依靠原图作为输入无法较好地突出目标,且噪声也较多,容易增加后续特征提取难度[14]。因此,为丰富红外图像信息,设计了如图 2所示的信息增强模块。

    图  2  红外图像增强模块
    Figure  2.  Infrared image enhancement module

    所提图像增强模块主要利用直方图均衡化、中值滤波以及基于Sobel算子的图像锐化3种方法对所有图像信息进行增强。直方图均衡化主要是增强图像对比度,提升目标显著性;中值滤波则是为了降低高频噪声干扰的同时尽可能保留目标细节信息;而Sobel图像锐化则为了增强图像局部信息,突出目标边缘特征。同时,图像增强过程中间接增加了输入图像数量,也使网络具备数据扩增的效果。将增强后的图像与原图进行通道拼接,作为特征提取结构的输入数据。

    特征提取是目标检测任务中最重要的一环,所提特征的有效性直接决定了最终的检测效果。现阶段的特征提取结构主要以逐步降维方式由浅到深地提取特征,而每个维度的特征又由多个卷积操作以串联方式反复提取该层次目标信息,如YOLO[15]、RetinaNet[16]、TridentNet[17]等网络。该方式虽然可以较好地获取每个维度在一定感受野下的目标特征,但所提特征信息存在一定局限,即未能有效捕获该层次特征在不同感受野下的信息。基于此,本文设计了多层次特征提取结构(Multilevel Feature Extraction,MFE),分别从特征层面以及网络层面对目标信息进行深入挖掘,结构如图 3所示。

    图  3  多层次特征提取模块
    Figure  3.  Multilevel feature extraction module

    图 3(a)为基于特征层面的多层次提取结构,该模块主要针对同一维度的特征,通过串联不同空洞率的卷积单元来逐步扩大所提特征提取的感受野,再将不同感受野下的特征信息进行拼接,使其能充分提取该维度全局以及局部特征信息。为保障网络运行效率,采用深度可分离卷积作为基本提取单元,并利用H-Swish激活函数提升网络非线性表达能力。同时,为避免拼接时特征通道增加,利用点卷积来调整不同感受野下的特征通道,使感受野越大,特征通道越少。其中,CDH为点卷积(Conv1×1)、深度可分离卷积(DWConv3×3)和H-Swish激活函数的缩写。而网络层面的多层次特征提取则是针对不同维度特征,从网络整体的角度进一步丰富所提特征,基本结构如图 3(b)所示。该结构主要将最深层次特征通过上采样方式与最浅层次特征融合,再基于融合后的特征逐步降维卷积并依次与对应维度特征融合,如此反复提取融合目标特征,使网络充分捕获目标空间语义信息,提升不同维度特征之间的信息交互。

    由于所提特征提取结构网络层数较深,网络的参数量也较大,而大量的特征信息容易造成信息过载等问题。因此,为使网络在海量信息中聚焦于当前任务相关的关键特征,降低对无效背景信息的关注度,本文设计了混合注意力结构,如图 4所示。

    图  4  混合注意力模块
    Figure  4.  Hybrid attention block

    混合注意力结构以每个维度的输出特征作为输入,从特征通道和空间位置两个角度提升目标空间语义信息。为有效提取关键特征信息,注意力结构首先通过最大值、平均值以及标准差分别获取对应特征的全局上下文信息,并利用加权叠加方式综合全局信息(通道特征采用3×1卷积核;空间特征采用1×1卷积核),提升注意力机制建模能力;其次,为保障不同通道之间以及不同空间位置之间的信息交互,采用了卷积操作来融合不同位置的关键特征(通道特征采用1×K卷积核;空间特征采用K×K卷积核),相比传统注意力机制中的全连接方式,该方式有效降低了网络参数以及计算量;最后,将权值计算结果与对应的通道/空间位置特征相乘,根据各特征重要程度为对应特征赋予不同的权重,进而达到提升目标关键特征信息的效果。其中K的取值根据输入数据维度自动调整,计算方式如式(1)所示:

    $$ K = \frac{1}{2}{\left( {{{\log }_2}d + 1} \right)_{{\text{odd}}}} $$ (1)

    式中:d为输入数据维度;odd指计算结果取奇数。可见,当特征通道数或特征图尺寸较大时,对应的卷积核K值越大。

    多尺度检测主要解决目标尺度变化范围过大等问题。由于早期的目标检测方法通常只利用特征提取结构的最后一层输出进行物体的识别和定位。而在深层网络中,网络层数越深,特征下采样率也越大,这就造成了越深层特征中所包含的小目标信息越少,无法有效检测出小目标。因此,针对目标多尺度问题,本文设计了如图 5所示的自适应多尺度结构来融合不同维度特征信息,保障网络对不同大小目标的检测。

    图  5  多尺度检测模块
    Figure  5.  Multiscale detection module

    多尺度模块以各维度融合层特征作为输入,由于同一目标信息大多存在多个维度的特征中,而不同大小目标所关联的特征维度也不同,通常深层特征主要决定了大目标信息,浅层则决定小目标信息。可见,若只利用单个维度的特征进行目标预测,则会丢失部分目标特征;而若融合所有维度特征信息也会引入过多参数,会造成特征冗余。因此,所提多尺度结构针对每个维度特征先利用点卷积减少特征通道,降低冗余信息;再将相邻维度特征通过采样与当前维度特征进行融合。同时,为避免不同目标在特征融合时导致信息相互干扰,引入了自适应参数,通过训练的方式自主调节各特征融合权重,计算如式(2)~(3)所示:

    $$y^i=\alpha^i x^{\text {low} \rightarrow i}+\beta^i x^i+\delta^i x^{\text {high} \rightarrow i}$$ (2)
    $$ {\alpha ^i} = \frac{{{{\text{e}}^{\lambda _\alpha ^i}}}}{{{{\text{e}}^{\lambda _\alpha ^i}}{\text{ + }}{{\text{e}}^{\lambda _\beta ^i}} + {{\text{e}}^{\lambda _\delta ^i}}}} $$ (3)
    $$ \lambda _\alpha ^i, \lambda _\beta ^i, \lambda _\delta ^i = {\text{Softmax}}({\text{Con}}{{\text{v}}_{1 \times 1}}(x_{}^{{\text{low}} \to i}, x_{}^i, x_{}^{{\text{high}} \to i})) $$ (4)
    $$ \begin{gathered} \alpha _{}^i, \beta _{}^i, \delta _{}^i \in [0, 1] \hfill \\ \alpha _{}^i + \beta _{}^i + \delta _{}^i = 1 \hfill \\ \end{gathered} $$ (5)

    式中:xi表示维度为i的特征;xlow→i表示将i相邻低维特征降采样至i维度;同理,xhigh→i表示将i相邻高维特征采样至i维度;αi, βi, δi为自适应参数,通过代入λ参数指数函数来计算,使其满足公式(5)的条件约束;而λ参数通过对输入特征1×1点卷积再利用Softmax函数归一化来计算。根据公式可见,当自适应参数等于0时,忽略对应维度特征,反之等于1时则融合该维度特征。

    为验证所提红外目标检测方法的可行性和鲁棒性,实验利用了KAIST、FLIR、RGBT三个公开红外图像数据集[18-19]进行训练测试。KAIST数据集主要是针对行人检测任务,包含3类目标(清晰行人、模糊行人、骑行的人)在不同时间段(白天和夜晚),多个交通场景下(街道、校园、乡下等)的图像。FLIR数据集主要是用于高级辅助驾驶开发和无人驾驶汽车系统,由搭载于汽车顶部的热成像仪对街道以及高速路上的场景采集构成,主要标注了行人、汽车、自行车等5类目标。而RGBT数据集主要用于目标跟踪任务,涵盖了十多类目标,且大多数目标存在遮挡、尺度变化大以及光照强度不一等情况。由于上述数据集中的图像主要来源于连续的视频帧,且部分目标过于模糊,故实际实验时,剔除了数据集中高重复度的图像(如连续视频中提取的同一场景)以及无法有效区分的目标(如KAIST中模糊行人目标),将图像归一化后进行训练测试,实验数据集如表 1所示。

    表  1  数据集构建
    Table  1.  Dataset construction
    KAIST FLIR RGBT
    Number of images 3613 14452 5105
    Image size 640×480 512×512 640×480
    Number of categories 2 5 7
    Training validation test Ratio 7:1:2
    下载: 导出CSV 
    | 显示表格

    实验时硬件设备采用CPU型号为Intel Core i7 7700 K@4.2 GHz,GPU型号NVIDIA RTX 2080Ti的台式电脑进行训练测试,目标检测结构采用PyTorch神经网络框架进行构建,训练时超参数设置如表 2所示。

    表  2  实验环境及超参数设置
    Table  2.  Experimental environment and hyperparameter setting
    Hyperparameter Values
    Batch size 4
    Learning rate 0.01
    Momentum 0.95
    Weight attenuation 0.0005
    Weight strategy Gaussian
    Learning strategy SequentialLR
    Optimization strategy Adam
    Position loss CIou Loss
    Category loss Cross Entropy Loss
    下载: 导出CSV 
    | 显示表格

    对于网络性能,采用mAP(均值平均精度)和FPS(网络每秒检测图像数量)作为评价指标。同时,为更好地评估所提方法对不同尺度目标的识别效果,将目标根据标注框像素面积分为大、中、小3种尺度,并分别利用mAPl、mAPm、mAPs表示检测精度。其中,目标尺度划分参考文献[20]:[大目标>962>中目标>322>小目标]。

    对于所提网络的可行性验证主要利用KAIST数据集,该数据集中的图像数量以及目标种类都相对较少,可以快速验证各模块性能。为有效验证所提图像增强、特征提取、注意力机制以及多尺度检测等模块,实验以YOLO神经网络[16]为基础结构,通过逐步引入所提各个子模块来验证对应结构的可行性。首先,针对图像增强结构,实验通过在YOLO网络基础上依次采用不同的图像增强方法来测试其对目标检测精度的影响,测试结果如表 3所示。其中,origin表示原图;HE表示直方图均衡化;MF表示中值滤波;AF表示均值滤波;Canny表示Canny边缘检测;Sobel表示基于Sobel算子锐化。

    表  3  图像增强结构测试结果
    Table  3.  Image enhancement structure test results
    Origin HE MF AF Canny Sobel FPS mAP
    58 82.3
    57 82.6
    57 82.5
    57 82.3
    56 82.2
    57 82.5
    56 83.0
    下载: 导出CSV 
    | 显示表格

    根据表 3中网络精度变化可以看出,不同处理方法对红外目标信息的增强效果不尽相同。其中,直方图均衡化、中值滤波以及Sobel锐化较好地增强了目标全局和细节特征,并过滤了部分噪声干扰,使得检测效果提升相对明显。而均值滤波虽降低了噪声,但也破坏了目标局部特征;Canny算法相对于边缘模糊的红外图像,所提取细节信息也包含较多噪声,故无法有效增强红外目标信息。为进一步验证所提图像增强结构,将其与传统数据扩增方法进行了对比,结果如表 4所示。其中,传统方法即利用裁剪、镜像、旋转等操作将训练图像数量扩增一倍。

    表  4  不同图像增强方法对比
    Table  4.  Comparison of different image enhancement methods
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    Traditional 58 82.5 60.4 79.4 90.2
    Ours 56 83.0 61.3 80.1 91.4
    Traditional+Ours 56 83.1 61.1 80.6 91.7
    下载: 导出CSV 
    | 显示表格

    通过与传统方法对比可见,所提方法针对图像目标特点进行信息增强可以更好地保留目标特征,并且在测试阶段也使用了该增强结构,故在检测精度上的提升相对较大。传统方法虽然也提升了网络性能,但也使网络过度依赖训练数据集,且过多的非正常目标也引入了较多噪声,容易误导网络对目标特征的学习,特别是对小目标的影响较大。而将本文方法与传统方法结合进一步扩大了传统方法的局限,使小目标检测效果较差。对于所提多层次征提取结构的验证,实验分别从特征、网络以及两者结合的角度进行了测试,结果如表 5所示。

    表  5  特征提取结构测试结果
    Table  5.  Feature extraction structure test results
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    YOLO 56 83.0 61.3 80.1 91.4
    Multi-level features 61 83.1 61.5 80.2 91.3
    Multi-layered network 52 83.6 61.8 80.9 91.8
    Features+Network 57 83.9 62.1 81.3 92.1
    下载: 导出CSV 
    | 显示表格

    根据不同特征提取结构的测试结果可以看出,原始YOLO特征结构主要采用标准卷积来提取信息,而所提特征多层次提取结构采用深度可分离卷积作为基本单元,有效提升了网络效率,且多层次连接方式也丰富了每个维度特征局部细节信息,使网络对小目标识别效果有较大提升。网络多层次结构主要是在YOLO网络基础上将深层特征与浅层特征融合后进一步提炼目标特征,从全局角度丰富每个维度空间语义信息,进而整体提升检测效果,但由于新增了特征提取支路,故网络效率有所降低。而将所提特征及网络多层次结构相结合可以使网络在保证计算效率的同时充分提取不同尺度目标特征,进而大幅提升检测效果。对于所提注意力结构的有效性验证,实验与当前主流的SE(Squeeze-and-Excitation)和CBAM(Convolutional Block Attention Module)注意力机制进行了对比,并展示了特征层2在不同注意力机制下的可视化效果,结果如表 6图 6所示。

    表  6  注意力机制对比
    Table  6.  Comparison of attention mechanism
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    No attention 57 83.9 62.1 81.3 92.1
    SE 56 84.2 62.2 81.5 92.5
    CBAM 54 84.6 62.6 82.0 92.9
    Ours 56 84.5 62.5 81.9 92.8
    下载: 导出CSV 
    | 显示表格
    图  6  特征层2可视化效果对比
    Figure  6.  Comparison of visualization effects of feature layer 2

    根据上述结果可以看出,由于SE结构仅针对通道特征进行加权,虽增强了语义信息,但目标在空间位置上的特征相对模糊;CBAM结构同时考虑了空间和通道特征,使目标信息显著得到较大提升,但该结构在全局信息获取上相对单一,并且全连接的信息交互方式也引入了较多的计算量;而所提注意力机制在CBAM基础上丰富了全局信息获取,并利用局部连接替代全连接来降低网络参数,虽缺失了部分信息交互,但有效平衡了注意力机制的整体性能。对于所提多尺度融合检测结构,实验分别与FPN特征金字塔以及ASFF(Adaptively Spatial Feature Fusion)自适应空间特征融合多尺度结构进行了对比,并展示了融合层2对应维度的多尺度特征可视化效果,结果如表 7图 7所示。

    表  7  多尺度结构对比
    Table  7.  Multiscale structure comparison
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    FPN 56 84.5 62.5 81.9 92.8
    ASFF 53 84.9 62.9 82.5 93.2
    Ours 55 84.8 62.8 82.4 93.2
    下载: 导出CSV 
    | 显示表格
    图  7  多尺度特征融合可视化对比
    Figure  7.  Visual comparison of multi-scale feature fusion

    根据不同多尺度结构的测试结果可以看出,FPN结构采用逐层上采样叠加的方式可以较好地将全局信息融入局部特征中,但对浅层特征的利用不够充分,且直接叠加的方式也产生了较多噪声,对小目标的检测影响较大。ASFF结构针对每个尺度的特征以自适应加权方式融合其他尺度特征,虽然综合了所有尺度特征信息,但也引入了较多冗余计算,对网络检测效率有较大影响。而所提结构充分考虑了目标尺度与特征尺度的关联性,将特征提炼后结合相邻尺度特征实现多尺度目标检测,使网络在保障精度的前提下有效提升了检测效率。对于整个网络的可行性验证,实验与其他红外目标检测方法进行了对比,结果如表 8图 8所示。

    表  8  同类型网络测试对比
    Table  8.  Comparison of network tests of the same type
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    Literature[12] 61 80.1 58.4 78.3 90.1
    Literature[15] 53 82.5 62.3 80.7 91.6
    Ours 55 84.8 62.8 82.4 93.2
    下载: 导出CSV 
    | 显示表格
    图  8  同类型网络检测效果对比
    Figure  8.  Comparison of network detection effects of the same type

    通过与其他方法的对比结果可以看出,文献[12]主要基于YOLO-tiny结构进行改进,虽检测效率较高,但网络对目标特征提取相对有限,且未充分融合全局和局部信息,使网络存在较多误检目标。文献[15]通过改进的多尺度结构来提升红外小目标检测,但该方法目标尺度针对性较强,对大尺度目标以及存在遮挡的目标检测效果较差。所提网络在全局以及局部特征的提取融合上进行了深入研究,并充分结合目标多尺度信息,使网络检测效果得到了相对较大的提升。

    由于KAIST数据集相对简单,为进一步验证所提方法在复杂场景下的鲁棒性以及泛化能力,实验分别测试了该方法在FLIR和RGBT数据集下的检测效果,并与文献[12]、[15]进行了对比,结果如表 9表 10图 9所示。

    表  9  FLIR数据集测试对比
    Table  9.  FLIR dataset testing comparison
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    Literature[12] 70 75.2 52.6 74.0 85.1
    Literature[15] 61 77.6 56.9 76.7 86.8
    Ours 63 80.4 57.8 78.6 89.6
    下载: 导出CSV 
    | 显示表格
    表  10  RGBT数据集测试对比
    Table  10.  RGBT dataset testing comparison
    Network FPS Precision /(%)
    mAP mAPs mAPm mAPl
    Literature[12] 60 71.0 51.2 72.3 81.8
    Literature[15] 52 73.4 55.9 75.8 82.5
    Ours 54 76.7 56.8 77.5 85.3
    下载: 导出CSV 
    | 显示表格
    图  9  在FLIR和RGBT数据集上各方法的检测效果对比(前两排:FLIR;后两排:RGBT)
    Figure  9.  Comparison of detection performance of various methods on FLIR and RGBT datasets (The first two rows: FLIR; the last two rows: RGB)

    根据上述实验结果可以看出,在复杂场景下,各方法的检测精度都有所降低,但所提方法仍保持最优的检测效果,有效验证了本文方法的鲁棒性。同时,通过对比不同方法的精度变化可见,随着环境复杂度升高,文献[12]所提方法检测精度下降较快,文献[15]次之,而本文所提方法精度下降相对较少。由此可以看出,本文方法具有更高的泛化能力,且检测效率也达到了相对较高的水平。

    本文针对现阶段红外目标检测方法存在的局限与不足,提出了一种基于深层卷积神经网络的目标检测算法。算法从输入信息、特征提取、特征融合以及多尺度检测等几个方面进行深入研究,利用传统图像增强技术丰富输入信息,并分别从特征层面以及网络层面提升网络对目标局部和全局信息的提取。同时,为突出各层次特征中的有效信息,设计了混合通道空间注意力机制,降低背景信息干扰。最后,针对不同大小目标,通过压缩提炼各维度特征后结合相邻维度特征信息实现各尺度目标的检测。通过在多个数据集上的测试结果有效验证了所提网络的可行性以及鲁棒性,并且目标检测性能也更优于其他同类方法。尽管本文方法有效提升了红外目标的检测效果,但由于红外图像自身的局限性,对于热辐射较弱的目标识别较差,后续将考虑结合多源信息来进一步探索目标检测技术。

  • 图  1   超表面相关理论示意图:(a)磁导率μ和介电常数ε正负分类及其对应材料示意图;(b)广义斯涅尔定律示意图(其中左图为其二维形式,右图为其三维形式)[6-7];(c)辅助理解广义斯涅尔定律的溺水者困境示意图[8];(d)亚波长V型金属天线超表面阵列实现反常折射和反射示意图[9];(e)推导PB相位原理的庞加莱球示意图[10]

    Figure  1.   Schematic diagram of metasurface correlation theory: (a) positive and negative classification of magnetic permeability and permittivity and schematic diagram of their corresponding materials; (b) Schematic diagram of Snell's law in a generalized sense(The left image shows its two-dimensional form, and the right image shows its three-dimensional form)[6-7]; (c) Schematic diagram of the drowning person's plight that aids in understanding Snell's law in general[8]; (d) Schematic diagram of parastatic refraction and reflection of subwavelength V-shaped metal antenna metasurface array[9]; (e) Schematic diagram of a Poincaré sphere from which the PB phase principle is derived[10]

    图  2   微测辐射热计超表面结构类型:(a)方块状孔洞型;(b)圆柱状孔洞型;(c)花瓣状天线型;(d)方块状天线型;(e)圆柱状天线型;(f)十字状天线型

    Figure  2.   Microbolometer metasurface structure type: (a) Square shaped pore type; (b) Cylindrical hole type; (c) Petal shaped antenna type; (d) Square antenna type; (e) Cylindrical antenna type; (f) Cross shaped antenna type

    图  3   几种超表面吸收结构及其结果:(a)左图为长波红外吸收共振超表面结构示意图;右图为超表面吸收器的反射光谱图[42];(b)上图和中图分别为周期性超表面结构的俯视图和结构示意图;下图为光学谐振腔和表面等离子体对器件吸收的影响示意图[43];(c)左图为红外宽带超表面吸收器结构示意图;右图为超表面吸收器测量(实心曲线)和仿真(虚线曲线)的吸收光谱响应图[44];(d)左图为结合超表面的微测辐射热计结构示意图;右图为在300℃下进行真空退火前后的电压噪声图[45];(e)左图为红玫瑰状超表面吸收器结构示意图;右图为相对于表面法线入射时角度在0°~45°之间变化所对应的吸收光谱图[46]

    Figure  3.   Several metasurface absorption structures and their result diagrams: (a) The left figure is a schematic diagram of the long-wave infrared absorption resonance metasurface structure; The right image shows the reflectance spectrum of the metasurface absorber[42]; (b) The top view and schematic diagram of the periodic metasurface structure are shown in the upper and middle figures, respectively; The figure below shows the influence of optical resonator and surface plasma on device absorption[43]; (c) The left figure is a schematic diagram of the structure of the infrared broadband metasurface absorber; The right image shows the absorption spectral response diagram of metasurface absorber measurement (solid curve) and simulation (dashed curve)[44]; (d) Top view and schematic diagram of the microbolometer structure combined with metasurface and middle figures, respectively; The figure on the right shows the voltage noise diagram before and after vacuum annealing at 300℃[45]; (e) The left figure is a schematic diagram of the structure of the red rose-shaped metasurface absorber; The right figure is the absorption spectrum corresponding to the change of angle between 0° to 45° relative to the surface normal[46]

    图  4   几种超表面波长选择结构及其结果(1):(a)上图为中红外多光谱超表面基本单元结构示意图;下图为宽度不同的超表面吸收器集成到微测辐射热计上的吸收光谱图[49];(b)左上、右上、中图分别为偶极型电阻板、槽型电阻板及偶极-槽镜堆叠超表面吸收器结构示意图;下图为偶极型电阻板层(红)、槽型电阻板层(蓝)及偶极-槽镜堆叠结构(黑)的吸收光谱图[50];(c)左图为多光谱波长选择性超表面吸收器及超表面单个单元结构示意图;右图为三种不同尺寸的超表面吸收器的光谱响应图[51]

    Figure  4.   Several metasurface wavelength selection structures and their results (1) : (a) The above figure is a schematic diagram of the basic unit structure of the mid-infrared multispectral metasurface; The figure below shows the absorption spectrum integrated into the microbolometer with metasurface absorbers of different widths[49]; (b) The upper left, upper right, and middle figures are the schematic diagram of the structure of dipole type resistance plate, slot type resistance plate and dipole-slot mirror stacked metasurface absorber; The figure below shows the absorption spectra of the dipole resistor plate layer (red), the slot resistor plate layer (blue) and the dipolar-slot mirror stack structure (black)[50]; (c) The figure on the left is a schematic diagram of the structure of a multispectral wavelength-selective metasurface absorber and a single unit of metasurface; The figure on the right shows the spectral response of three metasurface absorbers of different sizes[51]

    图  5   几种超表面波长选择结构及其结果(2):(a)左上图为超表面结构示意图;右上图为超表面单个单元结构示意图;左下图为超表面的光谱响应图;右下图为吸收峰值波长与超表面顶部金盘半径的关系图[52];(b)上图为六边形阵列窄带超表面结构示意图,下图为集成到微测辐射热计中的宽带超表面结构示意图[53];(c)左图为超表面集成到SixGeyO1-x-y红外微测辐射计的装置结构侧视图(左为单腔,右为双腔);右图为单腔微测辐射计的响应率和探测率示意图[54]

    Figure  5.   Several metasurface wavelength selection structures and their results (2) : (a) The upper left figure is a schematic diagram of the metasurface structure; The upper right figure is a schematic diagram of the metasurface single element structure; The lower left figure shows the spectral response of the metasurface; The figure below on the right shows the relationship between the absorption peak wavelength and the radius of the gold disk at the top of the metasurface[52]; (b) The figure above is a schematic diagram of the narrowband metasurface structure of a hexagonal array, and the figure below is a schematic diagram of the broadband metasurface structure integrated into a microbolometer[53]; (c) The figure on the left shows a side view of the metasurface integrated into the SixGeyO1-x-y infrared microradiometer (single chamber on the left, double chamber on the right); The figure on the right is a schematic diagram of the response rate and detection rate of a single-cavity microradiometer[54]

    图  6   几种超表面波长选择结构及其结果(3):(a)左上,右上图分别为利用液晶调谐的吸收器截面图和在0 V(蓝色)和6 V(绿色)条件下液晶调谐吸收器的模拟(虚线)、测量(实线)反射光谱图;左下,右下图分别为为利用吸收腔压电调谐的吸收器截面图和不同腔体厚度值下的反射光谱图[55];(b)上图为波长选择性测辐射热计示意图(底部为全视图,顶部为截面图);下图为器件谐振波长与谐振器宽度(w)的关系图[57];(c)左图为用于光谱和偏振检测的超表面集成微测辐射热计结构图;右下图为两种天线宽度不同的宽度超表面吸收器截面图及他们所对应的光谱吸收曲线图[58]

    Figure  6.   Several metasurface wavelength selection structures and their results (3) : (a) upper left and upper right figures are respectively the cross-section of the absorber tuned by liquid crystal and the simulation (dashed line) and measurement (solid line) reflection spectrum of the liquid crystal tuned absorber under 0 volt (blue) and 6 volts (green) conditions; The lower left and the lower right figures show the cross-section of the absorber tuned by piezoelectric tuning of the absorption cavity and the reflection spectrum under different cavity thickness values[55]; (b) Schematic diagram of wavelength-selective bolometer above (full view at the bottom and cross-sectional view at the top); The figure below shows the relationship between the resonant wavelength of the device and the width of the resonator (W)[57]; (c) The left image shows the structural diagram of a metasurface integrated microbolometer for spectral and polarization detection; The right image shows the cross-sectional view of the metasurface absorber with different widths of the two antennas and their corresponding spectral absorption curves[58]

  • [1]

    Veselago V G. The electrodynamics of substance with simultaneously negative values of ε and μ[J]. Physics-Uspekhi, 1968, 10: 509-514. DOI: 10.1070/PU1968v010n04ABEH003699

    [2]

    Pendry J B. Negative refraction index makes perfect lens[J]. Phys. Rev. Lett. , 2000, 85: 3966-3969. DOI: 10.1103/PhysRevLett.85.3966

    [3]

    Smith D R, Padilla W J, Vier D C, et al. Composite medium with simultaneously negative permeability and permittivity[J]. Phys. Rev. Lett, 2000, 84(18): 4184-4187. DOI: 10.1103/PhysRevLett.84.4184

    [4] 罗先刚. 亚波长电磁学(上册)[M]. 北京: 科学出版社, 2017: 197-232.

    LUO Xiangang. Subwavelength Eectromagnetism (Volume 1)[M]. Beijing: Science Press, 2017: 197-232.

    [5] 李荣真. 基于超表面结构的等离子体偏振器件的研究[D]. 合肥: 合肥工业大学, 2016.

    LI Rongzhen. Study of Plasma Polarization Devices Based on Metasurface Structures[D]. Hefei: Hefei University of Technology, 2016.

    [6]

    YU N, Genevet P, Kats M, et al. Light propagation with phase discontinuities: generalized laws of reflection and refraction[J]. American Association for the Advancement of Science, 2011, 6054: 333-337.

    [7]

    CHEN Houtong, Antoinette J Taylor, YU Nanfang. A review of metasurfaces: physics and applications[J/OL]. Optics, 2017, https://arxiv.org/abs/1605.07672 .

    [8]

    YU Nanfang, Federico Capasso. Flat optics with designer metasurfaces[J]. Nature Materials, 2014, 13: 139-150. DOI: 10.1038/nmat3839

    [9]

    Aieta F, Genevet P, Yu N, et al. Out-of-plane reflection and refraction of light by anisotropic optical antenna metasurfaces with phase discontinuities[J]. Nano Letters, 2012, 12(3): 1702-1706. Doi: 10.1021/nl300204s.

    [10]

    Bomzon Z, Biener G, Kleiner V, et al. Space-variant Pancharatnam-Berry phase optical elements with computer-generated subwavelength gratings[J]. Optics Letters, 2002, 27(13): 1141-1143. DOI: 10.1364/OL.27.001141

    [11]

    Peifer C, Grhic A. Metamaterial huygens' surfaces: tailoring wave fronts with reflectionless sheets[J]. Phys. Rev. Lett. , 2013(110): 197401.

    [12]

    LUO X G. Principles of electromagnetic waves in metasurfaces[J]. Science China Physics, Mechanics & Astronomy, 2015, 58(9): 594201-594201.

    [13]

    PU Mingbo, HU Chenggang, WANG Min, et al. Design principles for infrared wide-angle perfect absorber based on plasmonic structure[J]. Optics Express, 2011, 19(18): 17413-17420. DOI: 10.1364/OE.19.017413

    [14] 彭华新, 周济, 崔铁军, 等. 超材料[M]. 北京: 中国铁道出版社, 2020.

    PENG Huaxin, ZHOU Ji, CUI Tiejun, et al. Metamaterial[M]. Beijing: China Railway Press, 2020.

    [15]

    Meinzer N, Barnes W L, Hooper I R. Plasmonic meta-atoms and metasurfaces[J]. Nature Publishing Group, 2014, 8(12): 889-898.

    [16]

    Aieta F, Genevet P, Kats M A, et al. Aberration-free ultrathin flat lenses and axicons at telecom wavelengths based on plasmonic metasurfaces[J]. Nano Letters, 2012, 12(9): 4932-4936. DOI: 10.1021/nl302516v

    [17]

    LIN D, FAN P, Hasman E, et al. Dielectric gradient metasurface optical elements[J]. Science, 2014, 345(6194): 298-302. DOI: 10.1126/science.1253213

    [18]

    Khorasaninejad M, SHI Z, ZHU A Y, et al. Achromatic metalens over 60 nm bandwidth in the visible and metalens with reverse chromatic dispersion[J]. Nano Letters, 2017, 17(3): 1819-1824. DOI: 10.1021/acs.nanolett.6b05137

    [19]

    CHEN K, FENG Y, Monticone F, et al. A reconfigurable active Huygens' metalens[J]. Advanced Materials, 2017, 29(17): 1606422. DOI: 10.1002/adma.201606422

    [20]

    ZHENG G, Muehlenbernd H, Kenney M, et al. Metasurface holograms reaching 80% efficiency [J]. Nature Nanotechnology, 2015, 10(4): 308-312. DOI: 10.1038/nnano.2015.2

    [21]

    LEE G Y, YOON G, LEE S Y, et al. Complete amplitude and phase control of light using broadband holographic metasurfaces[J]. Nanoscale, 2018, 10(9): 4237-4245. DOI: 10.1039/C7NR07154J

    [22]

    NI Xingjie, Alexander V Kildishev, Vladimir M Shalaev. Metasurface holograms for visible light[J]. Nature Communications, 2013, 4: 2807. DOI: 10.1038/ncomms3807

    [23]

    Kuznetsov S A, Astafev M A, Beruete M, et al. Planar holographic metasurfaces for Terahertz focusing[J]. Sci. Rep. , 2015, 5: 7738. DOI: 10.1038/srep07738

    [24]

    Yuk T I, CHEUNG S W, ZHU H L. Mechanically pattern reconfigurable antenna using metasurface[J]. IET Microwaves, Antennas & Propagation, 2015, 9(12): 1331-1336.

    [25]

    ZHU H L, CHEUNG S W, LIU X H, et al. Design of polarization reconfigurable antenna using metasurface[J]. IEEE Transactions on Antennas and Propagation, 2014, 62(6): 2891-2898. DOI: 10.1109/TAP.2014.2310209

    [26]

    NI C, CHEN M, ZHANG Z, et al. Design of frequency and polarization reconfigurable antenna based on the polarization conversion metasurface[J]. IEEE Antennas and Wireless Propagation Letters, 2017, 17(1): 78-81.

    [27]

    WAN X, ZHANG L, JIA S L, et al. Horn antenna with reconfigurable beam-refraction and polarization based on anisotropic huygens metasurface[J]. IEEE Transactions on Antennas and Propagation, 2017, 65(9): 4427-4434. DOI: 10.1109/TAP.2017.2722829

    [28]

    CAI H, CHEN S, ZOU C, et al. Multifunctional hybrid metasurfaces for dynamic tuning of terahertz waves[J]. Adv. Opt. Mater. , 2018, 6(14): 1800257. DOI: 10.1002/adom.201800257

    [29]

    Tasolamprou A C, Koulouklidis A D, Daskalaki C, et al. Experimental demonstration of ultrafast thz modulation in a graphene-based thin film absorber through negative photoinduced conductivity[J]. ACS Author Choice, 2019, 6(3): 720-727.

    [30]

    ZHAO X, WANG Y, Schalch J, et al. Optically modulated ultra-broadband all-silicon metamaterial terahertz absorbers[J]. Acs Photonics, 2019, 6(4): 830-837. DOI: 10.1021/acsphotonics.8b01644

    [31]

    CONG L, Singh R. Spatiotemporal dielectric metasurfaces for unidirectional propagation and reconfigurable steering of terahertz beams[J]. Advanced Materials, 2020, 32(28): 2001418. DOI: 10.1002/adma.202001418

    [32]

    Mousavi S H, Khanikaev A B, Neuner B, et al. Suppression of long-range collective effects in meta-surfaces formed by plasmonic antenna pairs[J]. Optics Express, 2011, 19(22): 22142-22155. DOI: 10.1364/OE.19.022142

    [33]

    ZHANG J, MEI Z, ZHANG W, et al. An ultrathin directional carpet cloak based on generalized snell's law[J]. Applied Physics Letters, 2013, 103(15): 1780.

    [34]

    LIU S, XU H X, ZHANG H C, et al. Tunable ultrathin mantle cloak via varactor-diode-loaded metasurface[J]. Optics Express, 2014, 22(11): 13403-13417. DOI: 10.1364/OE.22.013403

    [35]

    NI Xingjie, WONG Zijing, Michael M, et al. An ultrathin invisibility skin cloak for visible light[J]. Science, 2015, 349(6254): 1310-1314. DOI: 10.1126/science.aac9411

    [36]

    TAN X, ZHANG H, LI J, et al. Non-dispersive infrared multi-gas sensing via nanoantenna integrated narrowband detectors[J]. Nature Communications, 2020, 11(1): 5245. DOI: 10.1038/s41467-020-19085-1

    [37] 苏君红. 红外材料与探测技术[M]. 杭州: 浙江科学技术出版社, 2015.

    SU Junhong. Infrared Materials and Detection Technology[M]. Hangzhou: Zhejiang Science and Technology Press, 2015.

    [38]

    Dereniak L Eustace. Infrared Detectors and Systems[M]. Hoboken: Wiley, 1996.

    [39] 邓洪朗, 周绍林, 岑冠廷. 红外和太赫兹电磁吸收超表面研究进展[J]. 光电工程, 2019, 46(8): 13.

    DENG Honglang, ZHOU Shaolin, CEN Guanting. Progress in infrared and THz electromagnetic absorption metasurface[J]. Photoelectric Engineering, 2019, 46(8): 13.

    [40] 徐天宇. 微纳结构超表面增强吸收研究[D]. 长春: 长春理工大学, 2019.

    XU Tianyu. Ultrasurface-Enhanced Absorption Study of Micro-Nano Structures[D]. Changchun: Changchun University of Science and Technology, 2019.

    [41]

    Maier T, Brückl H. Wavelength-tunable microbolometers with metamaterial absorbers[J]. Optics Letters, 2009, 34(19): 3012-3014. DOI: 10.1364/OL.34.003012

    [42]

    Smith E M, Nath J, Ginn J, et al. Responsivity improvements for a vanadium oxide microbolometer using subwavelength resonant absorbers[C]// SPIE Defense + Security, 2016, Doi: 10.1117/12.2223954.

    [43]

    LI Q, YU B Q, LI Z F. Surface plasmon-enhanced dual-band infrared absorber for VOx-based microbolometer application[J]. Chinese Physics B, 2017(8): 269-274.

    [44]

    JUNG J Y, SONG K, Choi J H, et al. Infrared broadband metasurface absorber for reducing the thermal mass of a microbolometer[J]. Scientific Reports, 2017, 7(1): 430. DOI: 10.1038/s41598-017-00586-x

    [45]

    Alkorjia O, Abdullah A, Koppula A. Metasurface based uncooled microbolometer with high fill factor[C]// International Conference on Solid-State Sensors, Actuators and Microsystems & Eurosensors, XXXIII, 2019: 2126-2129.

    [46]

    Swett D W. Near zero index perfect metasurface absorber using inverted conformal mapping[J]. Scientific Reports, 2020, 10(1): 9731. DOI: 10.1038/s41598-020-66476-x

    [47]

    Joseph J Talghader, Anand S Gawarikar, Ryan P Shea. Spectral selectivity in infrared thermal detection[J]. Light: Science & Applications, 2012, 1(8): e24-e24.

    [48]

    Thomas Maier, Hubert Brückl. Wavelength-tunable microbolometers with metamaterial absorbers[J]. Optics Letters, 2009, 34(19): 3012-3014. DOI: 10.1364/OL.34.003012

    [49]

    Maier T, Brueckl H. Multispectral microbolometers for the midinfrared[J]. Optics Letters, 2010, 35(22): 3766-3768. DOI: 10.1364/OL.35.003766

    [50]

    Kim H, Neikirk D P, Andresen B F, et al. Three-dimensional dual-band stacked microbolometer design using resistive dipoles and slots[C]//Proceedings of SPIE - The International Society for Optical Engineering, 2013, 8704: 19.

    [51]

    JUNG J Y, LEE J, CHOI D G, et al. Wavelength-selective infrared metasurface absorber for multispectral thermal detection[J]. IEEE Photonics Journal, 2015, 7(6): 1-11.

    [52]

    DU K, LI Q, ZHANG W, et al. Wavelength and thermal distribution selectable microbolometers based on metamaterial absorbers[J]. IEEE Photonics Journal, 2015, 7(3): 1-8.

    [53]

    LIU Tao, QU Chuang, Mahmoud Almasri, et al. Design and analysis of frequency-selective surface enabled microbolometers[C]//Infrared Technology and Applications XLII. SPIE, 2016, 9819: 487-494.

    [54]

    LIU T, Abdullah A A, Alkorjia O, et al. Device architecture for metasurface integrated Uncooled SixGeyO1-x-y Infrared Microbolometers (Conference Presentation)[C]// Infrared Technology and Applications XLV, 2019, 11002: 372-378.

    [55]

    Creazzo T A, Zablocki M J, Zaman L, et al. Frequency selective infrared optical filters for micro-bolometers [C]// SPIE Defense + Security, 2017, 10194: 611-618.

    [56]

    Gallacher K, Millar R W, Giliberti V, et al. Mid-infrared n-Ge on Si plasmonic based microbolometer sensors[C]//IEEE International Conference on Group IV Photonics, 2017: 3-4.

    [57]

    DAO T D, Doan A T, Ishii S, et al. MEMS-based wavelength-selective bolometers[J]. Micromachines, 2019, 10(6): 416. DOI: 10.3390/mi10060416

    [58]

    JIANG S, LI J, LI J, et al. Metamaterial microbolometers for multi-spectral infrared polarization imaging[J]. Optics Express, 2022, 30(6): 9065-9087. DOI: 10.1364/OE.452981

图(6)
计量
  • 文章访问数:  298
  • HTML全文浏览量:  66
  • PDF下载量:  146
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-12-03
  • 修回日期:  2023-02-14
  • 刊出日期:  2024-01-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日