Image Fusion Algorithm Based on Thermal Radiation Information Retention
-
摘要: 针对现有的红外与可见光图像融合算法无法很好地保留红外图像热辐射信息这一问题，提出了一种基于热辐射信息保留的图像融合算法。通过NSCT（non-subsampled contourlet transform）变换对红外与可见光图像进行多尺度分解，得到各自的高频子带和低频子带，可见光低频子带部分经拉普拉斯算子提取特征后与红外低频子带部分叠加得到融合图像的低频系数，高频部分使用基于点锐度和细节增强的融合规则进行融合以得到高频系数，最后通过逆NSCT变换重构得到融合图像。实验表明，相较于其它图像融合算法，所提算法能在保留红外图像热辐射信息的同时，保有较好的清晰细节表现能力，并在多项客观评价指标上优于其它算法，具有更好的视觉效果，且在伪彩色变换后有良好的视觉体验，验证了所提算法的有效性和可行性。Abstract: Focusing on the issue that existing algorithms of infrared and visible image fusion cannot retain thermal radiation information from infrared images, an image fusion algorithm based on thermal radiation information retention was proposed. Multi-scale decomposition of infrared and visible light images was performed through NSCT transformation to obtain the respective high-frequency sub-bands and low-frequency sub-bands. The low-frequency sub-bands of visible light were extracted by the Laplacian and superimposed with the infrared low-frequency sub-bands to obtain low-frequency sub-bands of the fused image. The fusion rule, which is based on point sharpness, and detail enhancement were used to obtain the high-frequency coefficients of the high-frequency part; the fused image was then reconstructed through inverse NSCT transformation. The experimental results indicate that compared with other image fusion algorithms, the proposed algorithm can retain the thermal radiation information of infrared images, while maintaining good performance with clear details, and is superior to other algorithms in several objective evaluation indices. The proposed algorithm has better visual effects and a good visual experience after pseudo-color transformation, which verifies the effectiveness and feasibility of the proposed algorithm.
-
0. 引言
红外热成像技术因不受昼夜影响、识别性高等优点已被广泛应用于安防监控、智能家居、异常监测等领域[1]。越来越多的系统基于过热目标与异常侵入目标的检测从而实现异常检测与报警的功能，达到预防灾难、规避风险的目的[2-3]。
根据不同的分类方式，热红外异常目标检测可得到不同的分类效果，其中最常见的一种分类方式是根据检测与跟踪的先后顺序进行划分，可分为先检测后跟踪DBT（Detect Before Track）和先跟踪后检测TBD（Track Before Detect）两大类[4-5]。常见的DBT算法包括背景减除法、帧间差分法、光流法、小波变换、形态学滤波、基于神经网络和遗传算法等方法[6-8]。TBD方法主要用于弱小目标检测[9]，然而其需要基于多帧图像对潜在目标进行跟踪，算法复杂，实时性无法达到要求。因此，在实时性要求高的系统中最常用的方法为背景减除法与帧间差分法[10]。背景减除法常利用多帧数据构造背景模型，利用当前帧与背景帧的差值图像进行判决处理，确定是否存在目标。帧间差分法原理与背景减除法类似，该方法利用当前帧的前一帧作为背景，克服了背景变化的局限性，但该方法对静止目标检测时会造成空洞等现象。基于单高斯模型的检测算法利用高斯函数建立背景模型，既能自适应的更新背景模型，也能克服帧差法的局限性，使检测效果更好[11-12]。以上方法在进行判决时，阈值通常根据均值与方差或以往经验确定，因此阈值的不确定性会使检测性能受到影响。
本文在单高斯模型基础上，提出一种改进的检测算法。该算法通过单高斯模型初始化背景，再通过奈曼-皮尔逊准则确定初始最佳判决阈值，使判决出错的概率达到最小，从而使检测性能达到最优。最后通过德国HEIMANN公司型号为HTPA80x64dR1L5.0/1.0的热电堆阵列传感器获取数据，从而对本文算法进行性能验证。
1. 算法描述
1.1 单高斯模型
单高斯模型是一种在运动目标检测过程中提取背景和前景的方法[13-14]。单高斯背景模型认为，对于背景图像，各个像素的灰度值分布满足高斯分布，在这一先验知识的基础上，即每个像素点服从正态分布，如下公式：
$$P({x_{ij}}) = \frac{1}{{\sqrt {2{\rm{ \mathsf{ π} }}\sigma _{ij}^2} }}\exp ( - \frac{{{{({x_{ij}} - {\mu _{ij}})}^2}}}{{2\sigma _{ij}^2}})$$ (1) 式中：xij表示坐标为(i, j)的像素点的灰度值；μij表示该像素灰度值的均值；σij2表示该像素灰度值的方差；P(xij)表示像素(i, j)灰度值的概率分布。
基于单高斯建模的异常目标检测主要有3个步骤：背景建模、目标检测和模型更新[12]。
背景建模最常见的方法就是利用前N帧的均值和方差作为单高斯模型的参数，每个像素点的参数均不一样。建立好高斯模型后，设定一个概率阈值，将待检测的图像的灰度值代入到对应像素的高斯模型，若概率值大于设定阈值，将其判定为前景像素点，反之即为背景像素点，其中设定的概率阈值一般根据经验获得。随着时间的推移，背景可能会发生一些变化，因此需要自适应更新背景。背景更新的原则为：若像素点为前景像素点，则背景保持不变，若该像素为背景时，则按以下公式进行更新：
$$\mu _{ij}^{n + 1} = (1 - \alpha )\mu _{ij}^n + \alpha x_{ij}^{n + 1}$$ (2) $${(\sigma _{ij}^{n + 1})^2} = (1 - \alpha ){(\sigma _{ij}^n)^2} + \alpha {(\mu _{ij}^{n + 1} - x_{ij}^{n + 1})^2}$$ (3) 式中：μijn+1和(σijn+1)2表示更新后的均值和方差；α表示背景更新参数，取值为0~1之间，当α取值越大，则表示背景变化速度越快，该值也是一个经验值。
在检测判决的时候，概率阈值的选取往往通过经验值获得[15]，若选择阈值偏大，则很容易将异常像素点判决为正常，导致漏警率增加。若选择阈值偏小，则容易将正常像素点判决为异常像素点，导致虚警率增加。这两种错误判决概率都会影响系统的性能。
1.2 假设检验理论
在异常检测时，各个像素点只有两种可能状态，一种是前景，一种是背景，该问题即为二元信号检测问题[16-17]。假设正常状态为H0，则异常状态为H1，输出信号经概率转移机构以一定的概率映射到观测空间R中，观测空间R又可划分为两个判决区域R0和R1。在检测判决时，正常状态下的像素点可被系统判决为正常和异常两种状态，因此，对像素点正常和异常的判决结果共有4种可能性，表 1即为二元信号检测判决结果：
表 1 二元信号检测判决结果Table 1. Judgment results of binary signal detectionJudgment Assumption H0 H1 H0 (H0/H0) (H0/H1) H1 (H1/H0) (H1/H1) 表中展示了4种可能判决结果，(Hi/Hj)表示将结果Hj判决为Hi，其中i, j∈[0, 1]。每个判决结果对应相应的判决概率，其中P(Hi/Hj)表示假设Hj为真时，判决假设Hi成立的概率。其中观测值(x/Hj)落在区域Ri时，Hi假设成立，概率表示如下：
$$P({H_i}/{H_j}) = \int\limits_{{R_i}} {P(x/{H_j})} {\rm{d}}x\;\;\;\;\;\;i,j \in [0,1]$$ (4) 在以上4种判决结果中，只有两种是正确的判决概率，另外两种是错误判决概率。其中P(H1/H0)表示将正常的观测值判决为异常，此概率为虚警率，P(H0/H1)表示将异常的观测值判决为正常，此概率为漏警率。
假设H0与H1均服从高斯分布，x为判决门限。图 1为检测判决结果示意图。
图中左边的曲线为H0的分布，从图中可以看出，若判决门限增大，虚警率会降低，但漏警率会增加，虚警率与漏警率无法同时达到最小。因此，如何确定最佳门限使错误概率达到最小，正确概率达到最大是一个研究难点。
1.3 奈曼-皮尔逊准则
为了提高系统检测性能，使漏警率与虚警率达到最小。本文在单高斯模型的基础上，利用奈曼-皮尔逊准则确定检测判决初始阈值。该准则在P(H1/H0)＝α的约束条件下，使正确判决概率P(H1/H1)最大，即等价于使漏警率P(H0/H1)最小。利用拉格朗日乘子μ（μ≥0）构建目标函数：
$$ \mathit{J} = \mathit{P}({\mathit{H}_0}/{\mathit{H}_1}) + \mathit{\mu }[\mathit{P}({\mathit{H}_1}/{\mathit{H}_0}) - \mathit{\alpha }] $$ (5) 在P(H1/H0)＝α的约束条件下，使错误判决概率P(H0/H1)最小，即求目标函数J的最小值，将公式(5)转化为积分运算得：
$$J = \int\limits_{{R_0}} {P(x/{H_1})} {\rm{d}}x{\rm{ + }}\mu [\int\limits_{{R_1}} {P(x/{H_0})} {\rm{d}}x - \alpha ]$$ (6) 将：
$$\int\limits_{{R_1}} {P(x/{H_0})} {\rm{d}}x = 1 - \int\limits_{{R_0}} {P(x/{H_0})} {\rm{d}}x$$ (7) 代入公式(6)可得：
$$ J=\mu （1-\alpha ）+{\displaystyle \underset{{R}_{0}}{\int }[P(x/{H}_{1})-\mu P(x/{H}_{0})}]{\rm{d}}x$$ (8) 要使J达到最小，被积函数应该取负值。此时可得到判决表达式如下：
$$\frac{{P(x/{H_1})}}{{P(x/{H_0})}}\mathop \gtrless \limits_{{H_0}}^{{H_1}} \mu $$ (9) 式中，判决门限μ可由约束条件得到：
$$P({H_1}/{H_0}) = \int\limits_{{R_1}} {P(x/{H_0})} {\rm{d}}x = \int_\mu ^{ + \infty } {P(x/{H_0})} {\rm{d}}x = \alpha $$ (10) 该准则通过理论推导确定最佳阈值，很好地解决了依靠经验获取阈值的问题，提高了系统的可移植性与适用性，使正确判决概率P(H1/H1)在虚警率一定的情况下达到最大。
2. 实验与性能分析
本研究采用德国HEIMANN型号为HTPA 80x64dR1L5.0/1.0的热电堆阵列传感器，它是一款64行80列的红外阵列传感器，该传感器的输出经过双线性插值后为目标温度值（℃）。实验时首先需要获取静止场景下的多帧数据，利用公式(1)，选择100帧数据获取各个像素点的均值和方差，构建高斯背景模型；然后选择不同的阈值进行判决，验证不同阈值对检测性能的影响；最后通过判决后的二值图像直观地观察检测效果，并通过计算漏警率、虚警率与准确率来客观地评价算法性能。
2.1 二值图像
本文通过模拟视频监控的场景，将传感器置于墙壁上，用传感器获得多组监测数据，再用不同的阈值对其进行判决处理。首先选择常见的判决阈值均值与方差和、均值与两倍方差和进行判决处理，然后在虚警率为0.01的约束下，根据本文算法获得判决阈值，再进行判决，比较判决结果。图 2中(a)和(e)分别为两组数据的原始灰度图像，其他则为二值图像。
从图 2中可以看出，本文所用传感器噪声较大，系统很容易将背景点误判为前景点。(b)、(e)、(f)、(g)中众多背景像素均被判为前景像素，检测效果略差。而本文所选阈值大大降低了这种错误概率，虽然仍存在部分背景点被误判为前景点，但这种错误概率明显降低，从二值图像中能较好地发现目标。
2.2 检测性能
为了进一步客观地描述检测性能，本文先获取图像中前景所占像素个数P与背景像素的个数N。经过判决后，将前景判决为前景的像素个数记为TP，将前景判断为背景的像素个数记为FN，将背景判决为背景的个数记为TN，将背景判断为前景的像素个数记为FP。因此可以通过准确率、漏警概率与虚警概率客观的评判检测性能。
其中准确率表示判决正确的比例，可用A表示，定义如下：
$$A = \frac{{{T_P} + {T_N}}}{{P + N}}$$ (11) 漏警概率表示将前景像素点判决错误的概率，可用MA表示，定义如下：
$${M_A} = \frac{{{F_N}}}{{{T_P} + {F_N}}}$$ (12) 虚警概率表示将背景像素点判决错误的概率，可用FA表示，定义如下：
$${F_A} = \frac{{{F_P}}}{{{T_P} + {F_P}}}$$ (13) 选择图 2中的第一个场景为例，通过分析原始数据的多帧数据均值可得到场景中背景像素点有5025个，前景像素点有95个。利用不同的阈值进行判决并分析检测结果，为了避免结果的随机性，此次实验选择100检测结果的均值作为最终检测结果。表 2为不同阈值的检测判决结果。
表 2 不同阈值的检测判决结果Table 2. Detection and judgment results of different thresholdsThreshold TP TN FP FN A MA FA Threshold1 93 3259 1766 2 0.6547 0.0211 0.9499 Threshold2 88 4511 514 7 0.8982 0.0737 0.8538 Threshold3 75 4959 80 20 0.9805 0.2105 0.5161 表中阈值1表示均值与方差和，阈值2表示均值与两倍方差和，与二值图像的判决阈值一致，由单高斯模型所得，阈值3表示根据奈曼-皮尔逊准则获得的阈值。从表中可以看出，根据阈值3判决后的二值图像，FP从1766降低为80，准确率也从0.6547提升到0.9805，虽然MA增大了一点点，但FA显著降低了，即错误概率整体下降了。因此，在这3个阈值中，阈值3的判决效果最好，即通过本文算法确定的阈值能提高检测概率，使错误判决概率达到最小。
3. 结论
本文在基于单高斯模型的异常目标检测算法的基础上，提出了一种基于奈曼-皮尔逊准则的最佳阈值选取算法。本文首先通过实验对背景进行高斯建模，再利用该准则求出最佳判决阈值，最后通过对比不同的阈值判决结果，根据主观和客观评价得出本文算法所确定的阈值能较好地区分前景与背景的结论。该算法为阈值选取奠定了理论基础，得到的二值图像也利于红外图像的识别与跟踪，为后续的应用做出了贡献。虽然本文所用传感器在实际应用中噪声太大，导致判决错误的概率大大增加，但在本文阈值的判决下，系统仍能够清晰地区分前景和背景。
-
Method AG EN SF SSIM MI VIF DWT 4.9666 6.6713 9.0816 0.7567 19.8462 0.5406 LP 5.2522 6.8009 9.8522 0.7454 16.4003 0.5501 NSCT 4.9564 7.3060 9.2742 0.6267 22.9055 0.5282 NSCT-PCNN 4.6766 7.2198 8.8717 0.6945 2.2669 0.7031 Proposed method 6.4685 7.0244 11.6793 0.8661 77.5039 0.7098 
下载: 导出CSV
Method AG EN SF SSIM MI VIF DWT 5.8641 6.4416 11.1577 0.5967 7.4241 0.2729 LP 6.2391 6.6517 12.0277 0.5715 7.7505 0.3038 NSCT 6.0105 7.2517 11.6053 0.4455 10.4365 0.2970 NSCT-PCNN 5.3421 7.3359 10.6143 0.5201 7.1469 0.4708 Proposed method 7.3643 6.6584 13.7557 0.6811 22.8122 0.3906
下载: 导出CSV
表 3 平均评价指标
Table 3 Average evaluation indexes
Method AG EN SF SSIM MI VIF DWT 6.1136 7.0445 11.9406 0.6936 9.1349 0.2918 LP 6.4499 7.3049 12.6930 0.6892 8.9399 0.3481 NSCT 6.1955 7.7048 12.1721 0.5986 10.3829 0.3176 NSCT-PCNN 5.5698 7.8429 11.3441 0.7352 8.5166 0.5246 Proposed method 7.6364 7.3516 14.6092 0.7520 24.9254 0.4028
下载: 导出CSV
-
[1] 谢春宇, 徐建, 李新德, 等. 基于深度学习的红外与可见光图像融合方法[J]. 指挥信息系统与技术, 2020, 11(2): 15-20, 38. https://www.cnki.com.cn/Article/CJFDTOTAL-ZHXT202002003.htm XIE Chunyu, XU Jian, LI Xinde, et al. Infrared and visible image fusion method based on deep learning[J]. Command Information System and Technology, 2020, 11(2): 15-20, 38. https://www.cnki.com.cn/Article/CJFDTOTAL-ZHXT202002003.htm
[2] Rajiv S, Ashish K. Multiscale Medical image fusion in wavelet domain[J]. The Scientific World Journal, 2013, 2013: 521034. http://www.scienceopen.com/document_file/6e3eb747-a10e-42b1-8a95-0a0060e9b4b5/PubMedCentral/6e3eb747-a10e-42b1-8a95-0a0060e9b4b5.pdf
[3] Padma Ganasala, Achanta Durga Prasad. Medical image fusion based on laws of texture energy measures in stationary wavelet transform domain[J]. International Journal of Imaging Systems and Technology, 2020, 30(3): 544-557. DOI: 10.1002/ima.22393
[4] Do Minh N, Vetterli Martin. The contourlet transform: an efficient directional multiresolution image representation[J]. IEEE Transactions on Image Processing, 2005, 14(12): 1-16. DOI: 10.1109/TIP.2005.861050
[5] Mertens T, Kaut Z J, Van Reeth F. Exposure fusion: a simple and practical alternative to high dynamic range photography[J]. Computer Graphics Forum, 2009, 28(1): 161-171. DOI: 10.1111/j.1467-8659.2008.01171.x
[6] Da Cunha A L, Zhou J, Do M N. The nonsubsampled contourlet transform: theory, design, and applications[J]. IEEE Transactions on Image Processing, 2006, 15: 3089-3101. DOI: 10.1109/TIP.2006.877507
[7] XING Xiaoxue, LIU Cheng, LUO Cong, et al. Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition[J]. EURASIP Journal on Wireless Communications and Networking, 2020, 2020(1): 694-700. DOI: 10.1186/s13638-020-01774-6
[8] WANG Z, LI X, DUAN H, et al. Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain[J]. Multimedia Tools and Applications, 2019, 78(24): 34483-34512. DOI: 10.1007/s11042-019-08070-6
[9] 杨艳春, 王艳, 党建武, 等. 基于RGF和改进自适应Unit-Linking PCNN的红外与可见光图像融合[J]. 光电子·激光, 2020, 31(4): 401-410. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202004010.htm YANG Yanchun, WANG Yan, DANG Jianwu, et al. Infrared and visible image fusion based on RGF and improved adaptive Unit-Linking PCNN[J]. Journal of Optoelectronics·Laser, 2020, 31(4): 401-410. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202004010.htm
[10] 林玉池, 周欣, 宋乐, 等. 基于NSCT变换的红外与可见光图像融合技术研究[J]. 传感器与微系统, 2008, 27(12): 45-47. DOI: 10.3969/j.issn.1000-9787.2008.12.015 LIN Yuchi, ZHOU Xin, SONG Le, et al. Infrared and visible image fusion technology based on non subsampled contourlet transform[J]. Transducer and Microsystem Technologies, 2008, 27(12): 45-47. DOI: 10.3969/j.issn.1000-9787.2008.12.015
[11] 程永翔, 刘坤, 贺钰博. 基于卷积神经网络与视觉显著性的图像融合[J]. 计算机应用与软件, 2020, 37(3): 225-230. DOI: 10.3969/j.issn.1000-386x.2020.03.038 CHENG Yongxiang, LIU Kun, HE Yubo. Image fusion with convolutional neural network and visual saliency[J]. Computer Applications and Software, 2020, 37(3): 225-230. DOI: 10.3969/j.issn.1000-386x.2020.03.038
[12] 巩稼民, 刘爱萍, 马豆豆, 等. 结合邻域特征与IDCSCM的红外与可见光图像融合[J]. 激光与红外, 2020, 50(7): 889-896. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202007020.htm GONG Jiamin, LIU Aiping, MA Doudou, et al. Infrared and visible image fusion combining neighborhood features with IDCSCM[J]. Laser & Infrared, 2020, 50(7): 889-896. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202007020.htm
[13] 孙英慧, 蒲东兵. 基于拉普拉斯算子的边缘检测研究[J]. 长春师范学院学报: 人文社会科学版, 2009, 28(12): 4-6. https://www.cnki.com.cn/Article/CJFDTOTAL-CCSS200912002.htm SUN Yinghui, PU Dongbing. Edge Detection Research on Laplace Operator[J]. Journal of Changchun Normal University: Humanities and Social Sciences Edition, 2009, 28(12): 4-6. https://www.cnki.com.cn/Article/CJFDTOTAL-CCSS200912002.htm
[14] 彭土有, 吴洁, 彭俊. 拉普拉斯边缘检测算法的改进及其在探地雷达中的应用[J]. 现代雷达, 2020, 42(8): 41-45. https://www.cnki.com.cn/Article/CJFDTOTAL-XDLD202008008.htm PENG Tuyou, WU Jie, PENG Jun. Improvement of Laplacian edge detection algorithm and its application on GPR[J]. Modern Radar, 2020, 42(8): 41-45. https://www.cnki.com.cn/Article/CJFDTOTAL-XDLD202008008.htm
[15] Xydeas C S, Petrovi V. Objective image fusion performance measure[J]. Electronics Letters, 2000, 36(4): 308-309. DOI: 10.1049/el:20000267
-
期刊类型引用(4)
1. 崔丽群，李万欣. 改进Cascade R-CNN的X射线图像违禁品检测方法. 计算机仿真. 2025(03): 299-303 . 
百度学术
2. 徐叶军. 基于多孔卷积神经网络的图像空间结构信息细节表征. 盐城工学院学报(自然科学版). 2024(01): 20-25 . 百度学术
3. 李立，易诗，刘茜，程兴豪，王铖. 基于密集残差生成对抗网络的红外图像去模糊. 红外技术. 2024(06): 663-671 . 本站查看
4. 张坤. 基于深度神经网络的图像技术在灰度图像彩色化进程中的应用研究. 自动化与仪器仪表. 2023(10): 27-30+35 . 百度学术
其他类型引用(5)
计量
- 文章访问数: 195
- HTML全文浏览量: 47
- PDF下载量: 42
- 被引次数: 9
