基于SIRA的红外和可见光图像未爆弹目标配准方法

张子军, 赵旭, 李连鹏, 刘子玉

张子军, 赵旭, 李连鹏, 刘子玉. 基于SIRA的红外和可见光图像未爆弹目标配准方法[J]. 红外技术, 2025, 47(3): 376-384.
引用本文: 张子军, 赵旭, 李连鹏, 刘子玉. 基于SIRA的红外和可见光图像未爆弹目标配准方法[J]. 红外技术, 2025, 47(3): 376-384.
ZHANG Zijun, ZHAO Xu, LI Lianpeng, LIU Ziyu. A Stable Interactive Registration Algorithm-based Infrared and Visible Light Image Registration Method for Unexploded Ordnance Targets[J]. Infrared Technology , 2025, 47(3): 376-384.
Citation: ZHANG Zijun, ZHAO Xu, LI Lianpeng, LIU Ziyu. A Stable Interactive Registration Algorithm-based Infrared and Visible Light Image Registration Method for Unexploded Ordnance Targets[J]. Infrared Technology , 2025, 47(3): 376-384.

基于SIRA的红外和可见光图像未爆弹目标配准方法

基金项目: 

北京市自然科学基金项目 4242036

高动态导航技术北京市重点实验室 

详细信息
    作者简介:

    张子军(1996-),男,硕士研究生,主要从事红外与可见光双模复合探测技术的研究。E-mail:zzjmfjhhd@163.com

    通讯作者:

    赵旭(1988-),男,博士,硕士生导师,清华大学访问学者,主要从事激光红外复合近场探测,导航制导与控制方面的研究。E-mail:zhaoxu@bistu.edu.cn

  • 中图分类号: TP391

A Stable Interactive Registration Algorithm-based Infrared and Visible Light Image Registration Method for Unexploded Ordnance Targets

  • 摘要:

    针对红外和可见光成像技术在未爆弹(Unexploded Ordnance,UXO)探测中图像背景复杂、互信息度低、有效特征点少导致配准困难的问题,在Imregtform算法基础上提出了一种稳定的交互式配准算法(Stable Interactive Registration Algorithm, SIRA)。首先结合Cpselect算法实现图像关键节点的精确配准,通过算术平均聚合作为初始矩阵。同时融合对比度受限自适应直方图均衡化算法(Contrast Limited Adaptive Histogram Equalization, CLAHE)对图像进行自适应分割并均衡化,限制对比度避免过度增强,结合双线性插值保证区域之间的平滑连续,以保证配准迭代过程中的稳定性。引入矩阵弗罗贝尼乌斯接近度(Matrix Frobenius Proximity, MFP)作为配准评估指标,缓解传统评估指标的波动性。实验结果表明,SIRA与Imregtform算法相比,配准效率提升4.72倍,MFP提升15.47倍,该算法对UXO图像配准具有更高的精度与稳定性。

    Abstract:

    A stable interactive registration algorithm (SIRA) based on the Imregtform algorithm is proposed to address issues such as complex image backgrounds, low mutual information, and few effective feature points, leading to registration difficulties in the detection of unexploded ordnance (UXO) using infrared and visible-light imaging techniques. First, the Cpselect algorithm is incorporated to realize the accurate alignment of the key nodes of an image, which are aggregated by arithmetic averaging as the initial matrix. The contrast-limited adaptive histogram equalization (CLAHE) algorithm is incorporated to adaptively segment and equalize the image and avoid contrast over-enhancement, combined with bilinear interpolation to ensure smooth continuity between the regions and a stable iterative alignment process. Matrix Frobenius proximity (MFP) was introduced as an alignment evaluation index to alleviate the volatility of traditional evaluation indices. Experimental results show that SIRA enhanced the alignment efficiency by approximately 4.72× and MFP by 15.47× compared to the Imregtform algorithm. The algorithm exhibited high accuracy and stability for UXO image alignment.

  • 目前,水下机器人被广泛应用于深海探测、海洋考古和科研考察等领域[1]。在线视频图像是水下机器人获取信息的主要手段。然而,光在水介质中传输时会受到吸收和散射作用,导致采集到的图像存在颜色失真、对比度低和细节模糊等问题[2],这给后续的计算机视觉任务带来了诸多不利的影响。

    近年来,该领域学者不断探索出针对采集到的水下图像进行清晰化的方法,按处理方式的不同可分为:基于图像复原和图像增强的方法。其中图像复原的方法[3-12]是利用降质图像的先验信息完成水下成像模型的逆求解。研究者们在暗通道先验(Dark Channel Prior,DCP)[3]的基础上,扩展得到逆向红色暗通道先验(Red Dark Channel Prior,RDCP)[4]、广义暗通道先验(Generalized Dark Channel Prior,GDCP)[6]以及新型暗通道先验[8]等方法。此类方法能够有效去除自然光照在成像中的散射影响,但在深水域探索过程中,通常存在人造光和自然光的混合光照,现有的水下成像模型未能考虑光源造成的散射干扰,导致复原图像仍存在局部色偏和细节模糊等问题。因此,赵欣慰等[13]对不同光照条件下的水下成像背景光进行了建模研究,分析得出:水下图像的背景光强度主要与水体光学参数、相机到目标的距离、相机到光源的距离以及相机成像角等因素有关,但求解该模型需要手动测量部分参数,导致图像重建工作变得复杂。相较于复原的方法,增强方法[14-19]不考虑水下物理成像过程,通过运用图像处理技术来改善图像的整体或局部特征,传统方法主要包括基于直方图均衡(Histogram Equalization,HE)、限制对比度直方图均衡(Contrast Limited Adaptive Histogram Equalization,CLAHE)以及白平衡算法,但上述方法容易加强源图像中的噪声干扰。而在过去几年中,提出了基于图像融合[14-15]和颜色恒常性理论[16-17]的方法,能大幅度提高图像的对比度和清晰度,但此类方法应用在混合光照场景中采集的图像时,色彩均衡效果不理想。

    针对上述问题,本文提出了一种红通道补偿算法以消除各种照明或介质衰减特性而导致的色偏、一种基于非线性反锐化掩蔽技术的图像边缘增强算法、一种满足瑞利分布的限制直方图的图像全局对比度增强算法,提取融合图像的显著特征进行多尺度融合。

    本研究将基于颜色校正图像获得融合图像输入对,其流程如图 1所示,其中Input1为边缘锐化图像,Input2为全局对比度增强图像。从图 1可以看出,融合过程分为3个步骤:颜色校正、融合图像对获取和多尺度融合。

    图  1  本文融合算法流程
    Figure  1.  Fusion algorithm flow of this paper

    在自然光稀疏的深水区,往往需要人造光源的辅助照明。然而,由于照射区域内光子密度较为集中,四周逐渐减小所引起的光照不均匀现象以及成像距离变化导致的光线透过率变化均会在非光照区域产生颜色畸变。为了纠正图像色偏,受去马赛克算法重建颜色样本的思想启发,设计红通道补偿函数为:

    $$ {\tilde I_{\text{R}}}(x,y) = {I_{\text{R}}}(x,y) + {\text{Tem}}{{\text{p}}_1} * {\text{Tem}}{{\text{p}}_2} $$ (1)

    式中:(x, y)为像素坐标;IR(x, y)为红通道值;Temp1为补偿量;Temp2为补偿控制项。为了弥补红通道的损失,基于以下二个观察设计函数:①与红色通道相比,绿色和蓝色通道在水下保存较好;②补偿应主要影响红色通道值较小的像素,而不该改变已经包含的红色分量像素,可理解为既要避免在过度曝光区域引入红色伪影,又对高度衰减的区域中执行补偿。在数学上,可将每个像素位置(x, y)处红通道进行补偿,计算公式为:

    $$ \begin{gathered} {\text{Tem}}{{\text{p}}_1} = ((\alpha \mathop {{I_{\text{G}}}}\limits^\_ + (1 - \alpha )\mathop {{I_{\text{B}}}}\limits^\_ ) - {I_{\text{R}}}(x,y)) \hfill \\ {\text{Tem}}{{\text{p}}_2} = \frac{{\alpha {I_{\text{G}}}(x,y) + (1 - \alpha ){I_{\text{B}}}(x,y)}}{{{I_{\text{R}}}(x,y) + {I_{\text{G}}}(x,y) + {I_{\text{B}}}(x,y)}} \hfill \\ \end{gathered} $$ (2)

    式中:$ {\bar I_{\text{G}}} $和$ {\bar I_{\text{B}}} $是以(x, y)为中心的滤波窗口内绿色通道和蓝色通道的平均值,窗口大小设置为5×5;在实践测试表明,α=0.8时适用于各种照明条件的设置。然后将式(3)应用于每个通道,做简单有效的直方图拉伸,使所有像素覆盖图像的整个动态范围。

    $$ {I_{{\text{cc}}}} = ({i_{{\text{in}}}} - {i_{\min }})(\frac{{{o_{\max }} - {o_{\min }}}}{{{i_{\max }} - {i_{\min }}}}) + {o_{\min }} $$ (3)

    式中:Icc是拉伸结果;iin是红通道补偿图像;ominomax分别是输出图像的最小值和最大值;iminimax分别是颜色校正图像的最小值和最大值。图 2展示了颜色校正前后的红通道图和直方图。

    图  2  颜色校正结果。(a) 颜色校正前后图像;(b) 红通道图;(c) 红通道直方图
    Figure  2.  Color correction results. (a) Image before and after color correction; (b) Red channel; (c) Red channel histogram

    尽管颜色校正对于恢复图像颜色至关重要,但仅使用此步骤不足以解决图像模糊问题。本节工作将基于多尺度融合策略,引入一对输入分别增强颜色校正图像的边缘锐度和自然度,并定义权重映射,以保留对应输入的优势。

    反锐化掩蔽(Unsharp masking)技术通过将图像的模糊背景与边缘锐化的图像融合以获得锐化图像,如式(4)所示:

    $$ R=Y+\lambda D $$ (4)

    式中:R是增强图像;Y是输入图像X的背景,通常使用低通滤波器获得;细节信息D可利用输入图像减去背景信号:DXYλ用作比例因子来控制细节信息的幅值。在实践中,反锐化掩蔽技术可能会出现以下两个问题:①D包含了噪声信号和高频细节信息,λ过大会导致噪声信号突出以及图像过饱和;②使用低通滤波器提取背景会在图像边缘处产生负作用,进而导致D中锐化边缘的过冲和欠冲现象。因此,本研究考虑了边缘保持滤波器和自适应增益控制因素,提出用非线性反锐化掩蔽技术对图像边缘进行增强,其算法流程如图 3所示。其中⊕和⊗为广义系统[20]中的加法和乘法运算,定义为:

    $$ X \oplus Y=\varPhi^{-1}[\varPhi(X)+\varPhi(Y)] $$ (5)
    $$ \lambda \otimes X = {\varPhi ^{ - 1}}[\lambda \varPhi (X)] $$ (6)
    图  3  非线性反锐化掩蔽算法流程
    Figure  3.  Nonlinear unsharp masking algorithm flow

    式中:Φ表示非线性函数;XY为信号输入;λ为增益标量。因此,可以将式(4)用广义运算表示为:

    $$ R = H(Y) \oplus [\lambda (D) \otimes D] $$ (7)

    式中:为保持更高的通用性,函数H(Y)可以是线性的或者非线性的,这表明可以对背景信号Y进行可选的二次处理。自适应增益λ(D)为选择性地增强边缘细节信号D的函数。

    图 3可以看出,该阶段可分为背景信号提取、对比度增强和自适应增益3个步骤。在介绍前,首先根据非线性函数必须遵循严格凸和可微的原则[21],选择log变换函数,数学表示为:

    $$ \varPhi(X)=\log [(1+X) /(1-X)], X \in(-1,1) $$ (8)

    式中:X为输入图像,考虑到函数输入范围在(-1, 1)之间,首先对输入图像进行归一化处理,然后应用线性变换(X: =2x-1),使输入图像处于(-1, 1)范围内。

    然后分别对上述3个步骤进行说明:①为避免在提取背景信号时出现光晕伪影,使用了改进的混合中值滤波器[22](modified Hybrid Median Filter,mHMF)估计背景信号。mHMF通过计算正方形、交叉和对角线3个窗口中值,然后选择三者的中间值作为最终结果。来自交叉和对角窗口的信息有助于mHMF更好地保留边缘区域;②传统图像处理技术中,若先进行直方图均衡化,再进行高频加强,图像亮度会呈现较强的两级分布,并且获得的图像边缘不突出,对比度差。但提出的技术将输入图像分离为背景信号和细节信号,可以分别对每种信号进行处理,因此本次研究使用了限制对比度自适应直方图均衡(CLAHE)对背景信号进行二次处理;③细节信号D中包含了:(1)图像边缘;(2)高频噪声;(3)过冲和欠冲。mHMF滤波可以有效减少过冲和欠冲数量,此外,由于log变换自动解决了超值问题,因此高频噪声的干扰也得到了减少。本文使用了一个简单的指数变换,它从最大值λmax逐渐减小到最小值λmin,数学方程如式(9)所示:

    $$ \lambda(D)=\beta+\gamma \times \exp \left(-|D|^\eta\right) $$ (9)

    式中:η为控制λ(D)下降速率的参数,在实验测试中,为避免图像过饱和,η设为0.5。细节信号D处于(-1, 1)范围内,因此可得:

    $$ \lambda_{\max }=\lambda(0)=\beta+\gamma $$ (10)
    $$ \lambda_{\min }=\lambda(1)=\lambda(-1)=\beta+\gamma \times(\exp (-1)) $$ (11)

    要增强图像细节,增益必须大于等于1,因此λmin设为1。较大的λmax值可以使边缘锐化更突出,因此本文将λmax设为5。最终将λminλmax的值代入式(10)和(11)中,得到βγ图 4中展示了反锐化掩蔽和所提方法对图像增强的结果。

    图  4  三种方法的锐化增强结果。(a)源图像;(b)颜色校正图像;(c)反锐化掩蔽;(d)非线性反锐化掩蔽
    Figure  4.  Sharpening enhancement results of three methods. (a)Raw image; (b) Color corrected image; (c) Unsharpe masking; (d)Nonlinear unsharpe masking

    非线性反锐化掩蔽旨在增强图像的边缘锐度,能弥补颜色校正中损失的细节部分,但代价是会过度增强图像的局部区域。为解决这一问题。根据文献[23]可知,瑞利分布对水下图像保持自然性是理想的,故将具有瑞利分布的直方图拉伸引入,得到与锐化图像相对应的第二输入。瑞利分布的概率分布函数(PDF)可表示为:

    $$ {\text{PD}}{{\text{F}}_{\text{R}}} = \left( {\frac{{I(x)}}{{{\sigma ^2}}}} \right)\exp ( - {I^2}(x)/2{\sigma ^2}) $$ (12)

    式中:x为像素坐标;I为输入图像;σ为分布参数,本次研究默认为0.4。将式(3)代入到式(12)得到限制直方图的瑞利拉伸分布方程:

    $$ \begin{aligned} {I_{{\text{SR}}}} = &\left[ {\left[ {\left( {{i_{{\text{in}}}} - {i_{\min }}} \right)\left( {\frac{{{o_{\max }} - {o_{\min }}}}{{{i_{\max }} - {i_{\min }}}}} \right) + {o_{\min }}} \right]/{\sigma ^2}} \right] \cdot \hfill \\ & \exp ( - {\left[ {\left( {{i_{{\text{in}}}} - {i_{\min }}} \right)\left( {\frac{{{o_{\max }} - {o_{\min }}}}{{{i_{\max }} - {i_{\min }}}}} \right) + {o_{\min }}} \right]^2}/2{\sigma ^2}) \hfill \\ \end{aligned} $$ (13)

    所提方法还在拉伸过程中使用限制,且限制仅应用于输出图像。从统计数据中发现:输出图像的强度值在4%~96%之间可以在局部对比度增强和全局视觉质量之间进行很好的权衡,可表示为:

    $$ {O_{c,\min }} = \left\{ \begin{array}{l} {I_{c,\min }},\ \ \ \ {I_{c,\min }}{ > 4\% \text{ of }}{I_c}{\text{ }} \hfill \\ 4\% {\text{ of }}{I_c},{\text{ otherwise}} \hfill \\ \end{array} \right.{\text{ }}c \in \{ R,G,B\} $$ (14)

    式中:如果输出图像的最小拉伸值大于R、G、B通道最小值的4%,则该输出值设为原始直方图的最小值,否则,输出图像的最小值设为R、G、B通道中的最小值。同样,输出图像的最大拉伸被确定为:

    $$ {O_{c,\max }} = \left\{ \begin{array}{l} {I_{c,\max }},\ \ \ \ {I_{c,\max }}{< 96\% \text{ of }}{I_c}{\text{ }} \hfill \\ 96\% {\text{ of }}{I_c},{\text{ otherwise}} \hfill \\ \end{array} \right.c \in \{ R,G,B\} $$ (15)

    权重图用于使具有较大权重值的像素突显在结果当中。因此,它们是基于图像的显著性特征来定义的,具体权重图的定义如下:①拉普拉斯对比度权重WL通过计算输入图像亮度通道上拉普拉斯滤波器的绝对值来估计全局对比度,赋予边缘和纹理较高的值。②显著权重Ws通过对图像HSV颜色空间中的色调、饱和度和亮度分量进行综合衡量,可表示为:

    $$ \begin{aligned} {W_{{\text{s}},k}}(x) =& {({H_k}(x) - {\overline H _k}(x))^2} + {({S_k}(x) - {\overline S _k}(x))^2} \hfill \\ & + {({V_k}(x) - {\overline V _k}(x))^2} \hfill \\ \end{aligned} $$ (16)

    式中:x为像素坐标;HkSkVk、$ {\overline H _k} $、$ {\overline S _k} $和$ {\overline V _k} $分别是第k个输入图像的色调、饱和度、亮度、平均色调、平均饱和度和平均亮度值。然后对每个输入图像的WLWs权重进行归一化处理,计算方法如下:

    $$ \overline {{W_k}} = ({W_k} + \delta )/(\sum\limits_{k = 1}^K {{W_k} + K \cdot \delta } ) $$ (17)

    式中:δ是一个小的正则化项,确保每个输入对输出都有贡献,这里设为0.1。对应权重如图 5所示。

    图  5  融合图像权重图。(a)图像颜色校正前后;(b)融合输入对;(c)拉普拉斯权重;(d)显著权重;(e)归一化权重
    Figure  5.  Fusion image weight map. (a)Before and after image color correction; (b)Fusion input pair; (c) Laplace contrast weight; (d) Saliency weight; (e)Normalized weight

    然后,对第k个输入图像Ik进行拉普拉斯金字塔分解得到Ll{Ik(x)},$ \overline {{W_k}} $被高斯金字塔分解为$ {G_l}\left\{ {\overline {{W_k}} (x)} \right\} $,并且对输出图像金字塔进行上采样处理得:

    $$ {R_l}(x) = \sum\limits_{k = 1}^K {{G_l}\left\{ {\overline {{W_k}} (x)} \right\}{L_l}\left\{ {{I_k}(x)} \right\}} $$ (18)
    $$ {R_{{\text{final}}}}(x) = \sum\limits_l {{U_{\text{d}}}} [{R_l}(x)] $$ (19)

    式中:Rl(x)为输出图像金字塔;l为金字塔层数,本次研究取5层;Rfinal(x)为最终输出图像;Ud[Rl(x)]为d=2l-1的上采样算子。

    本文实验通过MATLAB R2018a平台实现,主机配置为i7-7700HQ CPU(2.80 GHz),16 GB内存,Windows10操作系统。为了使本文方法更具有代表性,要求数据集包含各种深度、各种极端条件(不均匀光和过度曝光等)和各种目标的水下图像。因此,本文建立了一个真实的水下照明图像数据集,用于水下照明图像增强算法的研究。数据集中的图像为在Similan Island(斯米兰岛)水深40 m内使用人造光源辅助拍摄的混合光照场景。根据不同的场景类型选取了300幅具有代表性的图像组建数据集,并命名为RULI,图 6展示了部分示例。

    图  6  RULI数据集部分实例
    Figure  6.  Part instance of RULI dataset

    本文在RULI数据集中进行了实验测试,在测试过程中将所提方法与几种具有代表性的方法进行了比较,其中包括文献[6]中GDCP复原方法、文献[15]中融合增强(Fusion)方法、文献[17]方法和文献[24]方法。从测试结果中选取了6幅具有代表性的图像,分别为:幼鲨、海星、鱼、珊瑚、乌龟和洞穴图像,此类图像受混合光照的干扰,存在不均匀色偏以及细节模糊问题,结果如图 7所示。

    图  7  RULI数据集上实验结果。(a)原图;(b)GDCP;(c)Fusion;(d)文献[17];(e)文献[24];(f)本文方法
    Figure  7.  Experimental results on the RULI dataset. (a)Raw image; (b)GDCP; (c)Fusion; (d)Ref.[17]; (e)Ref.[24]; (f)Proposed method

    图 7中可以看出,GDCP方法加剧了图像的颜色失真,造成这种结果的原因主要是复原类方法没有使用颜色校正算法处理图像,容易造成图像过饱和。而基于Fusion和文献[24]的方法在纠正人造光照射所带来的不均匀色偏时,更容易忽略非光照区域,进而导致局部区域呈现模糊感。文献[17]方法虽然在图像的色偏纠正上有着显著的效果,但对细节的处理较为粗糙,使得边缘轮廓不清晰,图像整体模糊。相较之下,本文方法不仅能够准确地纠正不均匀色偏,而且也提高了边缘细节的清晰度。

    接着,选取了两种常用的水下图像质量评价指标对实验结果进行定量比较,其中包括水下图像质量指标UIQM[25]和图像信息熵IE。UIQM使用图像色彩度量、清晰度度量和对比度度量来评估图像的质量,其值越大,表明图像的视觉效果越好。IE反映了图像的平均信息量,IE值越大,表明图像的清晰度越高,细节信息越丰富。表 1分别为UIQM和IE指标对比结果,其中红色加粗部分为最优值。

    表  1  指标定量评价结果
    Table  1.  Quantitative evaluation results of two indexes
    Image Raw image GDCP Fusion Ref.[17] Ref.[24] Proposed
    UIQM IE UIQM IE UIQM IE UIQM IE UIQM IE UIQM IE
    Shark 2.4769 7.8035 2.0167 7.4261 3.8390 7.7697 1.2000 7.6560 3.6325 7.7457 4.1886 7.8082
    Starfish 3.3338 7.6036 3.3338 7.4357 4.6353 7.7103 1.4085 7.3784 3.7752 7.6598 4.6030 7.7609
    Fish 4.1761 7.7435 4.3707 7.4928 5.2305 7.7465 1.3472 7.5719 4.3173 7.8347 5.3556 7.8236
    Coral 2.8116 7.4418 4.1680 6.8282 4.2722 7.6392 1.5667 7.3247 3.1475 7.0861 4.4589 7.7440
    Turtles 2.3612 7.2907 1.6147 7.2893 5.1895 7.5114 1.2625 7.1808 4.5354 7.5288 5.2475 7.6692
    Caves 3.1605 7.5006 2.2696 7.6480 4.5516 7.7966 1.3102 7.5650 3.9620 7.7000 4.5856 7.7642
    Average 3.0903 7.5973 2.9622 7.3533 4.6197 7.6956 1.3492 7.4461 3.8950 7.5925 4.7399 7.7617
    下载: 导出CSV 
    | 显示表格

    表 1可以看出,5种方法按照评估质量的平均度量可分为三个等级。第一等级(黑色加粗),基于GDCP和文献[17]的方法在所有方法中的最优值占比最小,这表明色偏严重和细节模糊的图像不利于指标的评估。第二等级(蓝色加粗),对于Fusion和文献[24]两种方法,从2.2.1中可以观察到:两种方法产生的结果相似,但前者在所有图像上的评估值均大于后者,这表明与Fusion方法相比,文献[24]方法在纠正色偏和增强细节方面仍存在不足。第三等级(红色加粗),本文方法的UIQM和IE平均值均大于其它对比方法,尤其在UIQM值上提升更为明显。对于每幅图像的评价,每项指标都优于或接近于其它对比方法。结果表明:本文方法应用在人造光和自然光的混合光照场景时,能有效去除光源造成的不均匀散射干扰,有效均衡了图像色彩,提高了图像的细节清晰度。

    本文针对水下照明图像存在不均匀色偏、对比度低和细节模糊等问题,提出了一种基于颜色校正的水下照明图像融合方法。该方法首先对源图像进行颜色校正,用以纠正人造光照射所带来的不均匀色偏,然后分别采用非线性反锐化掩蔽和满足瑞利分布的直方图拉伸方法获得一对互补的增强图像,实现了图像的多尺度融合。最后在自建数据集(RULI)上的实验结果表明,与现有文献提出的方法相比,本文方法在不需要任何先验信息的条件下,能够从水下照明图像中有效纠正不均匀色偏和提高图像的对比度和清晰度,为水下计算机视觉任务提供了预处理手段。但本文方法仍有局限性。例如,红通道补偿算法是对源图进行像素级的补偿,增加了计算复杂度。如何准确快速地进行图像色偏纠正,是未来一项重要的工作。

  • 图  1   采集设备及目标物

    Figure  1.   Acquisition equipment and targets

    图  2   数据集示例

    Figure  2.   Example of the dataset

    图  3   UXO的ROI示意图

    Figure  3.   The ROI schematic of UXO

    图  4   ROI应用实例

    Figure  4.   ROI application example

    图  5   SIRA算法流程图

    Figure  5.   SIRA algorithm flow chart

    图  6   计算初始矩阵

    Figure  6.   Initial matrix computation

    图  7   参数评估结果

    Figure  7.   Parameter evaluation results

    图  8   CLAHE算法

    Figure  8.   CLAHE algorithm

    图  9   参数优化实验结果

    Figure  9.   Parameter optimization experiment results

    图  10   综合性实验结果

    Figure  10.   Results of the integrated experiment

    图  11   CLAHE评估实验结果

    Figure  11.   The evaluation experiment results of CLAHE

    表  1   实验设计

    Table  1   Experimental design

    Group Registration strategy
    Basic Only perform Imregtform registration
    Initial matrix Only add initial matrix
    CLAHE Only incorporate the CLAHE
    SIRA Use the SIRA algorithm
    下载: 导出CSV

    表  2   最优参数配置

    Table  2   Optimal parameter configuration

    Group Initial
    radius
    Epsilon Maximum
    iterations
    Basic 0.00005 1e-8 200
    CLAHE 0.00001 1e-7 150
    Initial matrix 0.00001 1e-8 50
    SIRA 0.00001 1e-7 50
    下载: 导出CSV
  • [1]

    Sigiel N, Chodnicki M, Socik P, et al. Automatic classification of unexploded ordnance (UXO) based on deep learning neural networks (DLNNS)[J]. Polish Maritime Research, 2024, 31(1): 77-84. DOI: 10.2478/pomr-2024-0008

    [2] 徐建国, 丁凯, 李阳明. 未爆弹药探测技术发展现状及思考[J]. 中国公共安全, 2020(4): 176-178.

    XU Jianguo, DING Kai, LI Yangming. Development status and thinking of unexploded ammunition detection technology[J]. Public Security in China, 2020(4): 176-178.

    [3]

    International Campaign to Ban Landmines. Landmine Monitor 2023[R]. Geneva: ICBL-CMC, 2023(11): 1-4.

    [4] 陈栋, 闫小伟, 石胜斌. 地表未爆子弹药检测与识别定位技术研究综述[J]. 航空兵器, 2023, 30(5): 1-10.

    CHEN Dong, YAN Xiaowei, SHI Shengbin. A review of research on detection and identification of unexploded ammunition on the ground[J]. Aviation Weaponry, 2023, 30(5): 1-10.

    [5] 刘子玉, 赵旭, 李连鹏, 等. 基于NGG-YOLOv5的空对地UXO目标检测方法[J]. 电光与控制, 2024, 31(3): 70-74.

    LIU Ziyu, ZHAO Xu, LI Lianpeng, et al. Air-to-ground UXO target detection method based on NGG-YOLOv5[J]. Electro-Optics & Control, 2024, 31(3): 70-74.

    [6] 陆子渊, 何勇, 卞雷祥, 等. 基于一发多收线圈阵列的频域电磁法未爆弹探测技术[J]. 电子测量与仪器学报, 2023, 37(5): 79-87.

    LU Ziyuan, HE Yong, BIAN Leixiang, et al. Frequency domain electromagnetic unexploded bomb detection technology based on multiple-receive coil array[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(5): 79-87.

    [7] 薄瑞, 张志杰, 陈昊泽. 一种新型未爆弹探测传感器的仿真研究[J]. 传感技术学报, 2022, 35(2): 171-178.

    BO Rui, ZHANG Zhijie, CHEN Haoze. Simulation study of a new type of unexploded bomb detection sensor[J]. Journal of Sensor Technology, 2022, 35(2): 171-178.

    [8] 郝彤, 赵杰. 面向双曲线形态的探地雷达图像识别技术综述[J]. 电子学报, 2019, 47(6): 1366-1372.

    HAO Tong, ZHAO Jie. A review of ground penetrating radar image recognition technology for hyperbolic morphology[J]. Journal of Electronics, 2019, 47(6): 1366-1372.

    [9] 代牮, 赵旭, 李连鹏, 等. 基于改进YOLOv5的复杂背景红外弱小目标检测算法[J]. 红外技术, 2022, 44(5): 504-512. http://hwjs.nvir.cn/article/id/f71aa5f4-92b0-4570-9056-c2abd5506021

    DAI Jian, ZHAO Xu, LI Lianpeng, et al. Infrared weak small target detection algorithm in complex background based on improved YOLOv5[J]. Infrared Technology, 2022, 44(5): 504-512. http://hwjs.nvir.cn/article/id/f71aa5f4-92b0-4570-9056-c2abd5506021

    [10]

    WU Yanfeng, WANG Yanjie, SUN Haijiang, et al. LSS-target detection in complex sky backgrounds[J]. Chinese Optics, 2019, 12(4): 853-865.

    [11] 韩自强, 岳明凯, 张骢, 等. 基于孪生网络的无人机目标多模态融合检测[J]. 红外技术, 2023, 45(7): 739-745. http://hwjs.nvir.cn/article/id/2375ef51-29bd-4800-b016-889b652e1674

    HAN Ziqiang, YUE Mingkai, ZHANG Cong, et al. Multimodal fusion detection of UAV targets based on twin networks[J]. Infrared Technology, 2023, 45(7): 739-745. http://hwjs.nvir.cn/article/id/2375ef51-29bd-4800-b016-889b652e1674

    [12]

    Erin L, Rongjun Q, Jared E, et al. Crater detection from commercial satellite imagery to estimate unexploded ordnance in Cambodian agricultural land[J]. PloS, 2020, 15(3): 1-22. http://www.socolar.com/Article/Index?aid=100080575198&jid=100000000003

    [13]

    Ahmed B, Ishan B, Krishan K, et al. A comprehensive review on landmine detection using deep learning techniques in 5G environment: open issues and challenges[J]. Neural Computing and Applications, 2022, 34(24): 21657-21676. DOI: 10.1007/s00521-022-07819-9

    [14] 职玉, 朱娟娟, 刘锐, 等. 应用特征轮廓四边形的热红外图与可见光图配准[J]. 红外与激光工程, 2021, 50(S2): 171-180.

    ZHI Yu, ZHU Juanjuan, LIU Rui, et al. Registration of thermal infrared image and visible light image using feature contour quadrilateral[J]. Infrared and Laser Engineering, 2021, 50(S2): 171-180.

    [15]

    Chiliaeva V, Almansa A, Ferrec Y, et al. Impact of image registration errors on the quality of hyperspectral images in imaging static Fourier transform spectrometry[J]. Optics Express, 2024, 32(5): 7012-7029.

    [16]

    WEI G, CHEN H, LIN E, et al. Identification of water layer presence in paddy fields using UAV-based visible and thermal infrared imagery[J]. Agronomy, 2023, 13(7): 1932.

    [17]

    TAO S. Multi-sensor remote sensing image alignment based on fast algorithms[J]. Journal of Intelligent Systems, 2023, 13(7): 1932.

    [18]

    JIA W G, GANG L, MENG Z L. Damage detection for rotating blades using digital image correlation with an AC-SURF matching algorithm[J]. Sensors, 2022, 22(21): 8110-8110. http://www.keyanzhidian.com/doc/detail?id=2073189445

    [19]

    CHENG M, ZHANG L, LIU L. An augmented reality image registration method based on improved ORB[J]. Journal of Physics Conference Series, 2020, 1544(1): 012113.

    [20]

    LIANG Z, YANLEI D, HUIPING L, et al. A novel region-based image registration method for multisource remote sensing images Via CNN[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021(14): 1821-1831.

    [21]

    SHENG L, XIU L, ZHEN H G. An adaptive region-based transformer for nonrigid medical image registration with a self-constructing latent graph[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023(7): 1-15.

    [22] 王程, 王巍, 杨馨, 等. 基于区域特征优化及边缘增强的多聚焦图像融合[J]. 计算机技术与发展, 2024, 34(4): 62-69.

    WANG Cheng, WANG Wei, YANG Xin, et al. Multi-focus image fusion based on regional feature optimization and edge enhancement[J]. Computer Technology and Development, 2024, 34(4): 62-69.

    [23] 石雪, 陈进琥, 李洪升, 等. 基于感兴趣窄带区域的同步分割与配准方法及在IGRT中的应用[J]. 自动化学报, 2015, 41(9): 1589-1600.

    SHI Xue, CHEN Jinhu, LI Hongsheng, et al. Synchronous segmentation and registration method based on narrowband region of interest and its application in IGRT[J]. Acta Automatica Sinica, 2015, 41(9): 1589-1600.

    [24] 回丙伟, 宋志勇, 范红旗, 等. 地/空背景下红外图像弱小飞机目标检测跟踪数据集[J]. 中国科学数据(中英文网络版), 2020, 5(3): 291-302.

    HUI Bingwei, SONG Zhiyong, FAN Hongqi, et al. A dataset for detecting and tracking small aircraft targets in infrared images under/air backgrounds[J]. Chinese Science Data (Chinese and English online version), 2020, 5(3): 291-302.

    [25]

    Hossain M S, Shahriar G M, Syeed M M M, et al. Region of interest (ROI) selection using vision transformer for automatic analysis using whole slide images[J]. Scientifc Reports, 2023(13): 11314.

    [26] 郑晓俊, 郇中丹, 刘君. 图像配准中方向场正则化模型的适定性和收敛性[J]. 数学学报, 2021, 64(3): 385-404.

    ZHENG Xiaojun, XUN Zhongdan, LIU Jun. Well-posedness and convergence of the orientation field regularization model in image registration[J]. Acta Mathematica Sinica, 2021, 64(3): 385-404.

    [27] 刘玉婷, 陈峥, 付占方, 等. 基于CLAHE的红外图像增强算法[J]. 激光与红外, 2016, 46(10): 1290-1294.

    LIU Yuting, CHEN Zheng, FU Zhanfang, et al. Infrared image enhancement algorithm based on CLAHE[J]. Laser & Infrared, 2016, 46(10): 1290-1294.

图(11)  /  表(2)
计量
  • 文章访问数:  9
  • HTML全文浏览量:  1
  • PDF下载量:  4
  • 被引次数: 0
出版历程
  • 收稿日期:  2024-06-09
  • 修回日期:  2024-08-13
  • 刊出日期:  2025-03-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日