Infrared and Visible Image Fusion Method Based on Improved Saliency Detection and Non-subsampled Shearlet Transform
-
摘要: 针对当前基于显著性检测的红外与可见光图像融合方法存在目标不够突出、对比度低等问题，本文提出了一种结合改进显著性检测与非下采样剪切波变换（non-subsampled shearlet transform, NSST）的融合方法。首先，使用改进最大对称环绕（maximum symmetric surround, MSS）算法提取出红外图像的显著性图，并进一步通过改进伽马校正进行增强，同时应用同态滤波增强可见光图像。然后，对红外图像与增强的可见光图像进行NSST分解，利用显著性图指导低频部分进行融合；同时设定区域能量取大规则指导高频部分融合。最后，通过NSST逆变换重构融合图像。实验结果表明，本文方法在平均梯度、信息熵、空间频率和标准差上远优于其他7种融合方法，可以有效突出红外目标，提高融合图像的对比度和清晰度，并保留可见光图像的丰富背景信息。Abstract: To address the problems in the current infrared and visible image fusion method wherein targets are not prominent and contrast is low based on saliency detection, this paper proposes a fusion method by combining improved saliency detection and non-subsampled shearlet transform (NSST). First, the improved maximum symmetric surround algorithm is used to extract the saliency map of an infrared image, the improved gamma correction method is utilized to enhance the map, and the visible image is enhanced through homomorphic filtering. Second, the infrared and enhanced visible images are decomposed into low-and high-frequency parts through NSST, and the saliency map is used to guide the fusion of the low-frequency parts. Simultaneously, the rule of maximum region energy selection is used to guide the fusion of the high-frequency parts. Finally, the fusion image is reconstructed using the inverse NSST. The experimental results show that the proposed method is far superior to other seven fusion methods in terms of average gradient, information entropy, spatial frequency, and standard deviation. Thus, proposed method can effectively highlight the infrared target, improve the contrast and definition of fused images, and preserve rich background information of visible images.
-
0. 引言
微光像增强器是现代微光夜视技术[1-5]的核心器件之一，能够实现对微弱或者不可见信号的可视化转换，从而改善低照度环境中的视觉效果。随着微光像增强器技术的发展，像增强器的等效背景照度已从过去的10－7 lx数量级降低到了10－8 lx，甚至10－9 lx量级，由此意味着像增强器能够在更低的环境照度中实现可视化作业[6]。然而，国产像增强器往往存在一定程度的闪烁噪声，该噪声表现为局部图像亮度的短时波动，或者是图像中局部区域的光强度不稳定。该现象在低照度条件、低对比度场景以及高增益环境中尤为常见。闪烁噪声的存在降低器件的探测能力以及分辨能力的同时严重影响了器件的探测距离[7]。并且在需要长时间关注画面的场景中，闪烁噪声的存在极易引起视觉疲劳和不适感。因此解决闪烁噪声问题对于进一步提升像增强器微光夜视探测性能和效果至关重要。
像增强器闪烁噪声的来源有多种，主要有来自于光电阴极的光子涨落噪声、热场发射噪声、MCP处的涨落噪声、反馈噪声以及由荧光屏非均匀性导致的颗粒噪声等[8-11]。信噪比是计算像增强器输出亮度与偏离均值的均方根噪声值的比值，能够较好地体现器件的噪声水平，因此在评价像增强器噪声特性时被广泛使用。但是信噪比依旧存在一定的劣势与不足，其往往应用于对整体图像中的噪声情况进行客观评价，而无法对噪声在二维空间上的具体分布以及信号强弱进行准确分析。并且信噪比测试无法实现对噪声类型的识别与分类。结合像增强器闪烁噪声特性，信噪比测试无法直观、全面地实现对像增强器闪烁噪声的分析。因此需要研究一种新型的可视化方法对像增强器闪烁噪声进行检测与分析。
为了解决上述问题，本文提出了一种基于离散系数以及Harris角点检测的像增强器闪烁噪声测试方法。首先，该方法通过CMOS高帧频图像采集系统匹配荧光屏余晖时间实现对荧光屏上的噪声图像进行实时采集并对连续多帧图像进行分析处理。随后结合闪烁噪声亮度不一的特点，对采集到的噪声图像进行离散系数计算，通过绘制热力图能够直观地展示噪声的严重程度以及具体位置。最后针对高亮噪声斑点大、亮度高等特点，利用Harris角点检测，实现对高亮噪声的识别定位与标记，为像增强器闪烁噪声的定量分析提供了可靠技术手段。
1. 闪烁噪声检测算法
1.1 像增强器的主要噪声分类
像增强器的噪声主要来源于光电阴极、微通道板（MCP）以及荧光屏的附加噪声。当像增强器工作时荧光屏上存在亮度不一的大量噪声，闪烁速度快且随机，呈雪花状，这类噪声通常被统称为闪烁噪声，如图 1所示。
闪烁噪声的存在严重影响了像增强器的分辨能力以及探测性能，且极易使人产生视觉疲劳。由图 1可知，闪烁噪声主要分为两大类。第一类为热场致发射量子涨落噪声，即大面积存在且强度较弱的噪声。其主要由光电阴极、MCP、荧光屏处的量子涨落噪声以及颗粒噪声叠加而成。第二类噪声则具有斑点大，数量较少，分布不规则以及亮度高的特点，主要由MCP除气不彻底引发的离子反馈噪声导致。
两类噪声的表现以及产生机制相互独立，因此需要根据两类噪声的特性采用不同的方法进行分析，从而为提升像增强器性能提供有效途径与技术手段。
1.2 像增强器闪烁噪声图像获取
像增强器荧光屏的余晖时间约为毫秒级[12]，因此为了对荧光屏中的闪烁噪声进行准确采集，本文采用基于Gsense400BSI型CMOS图像传感器研制的高帧频图像采集系统对荧光屏闪烁噪声图像进行采集。为了匹配荧光屏余晖时间，本文将高帧频图像采集系统帧频调整为300 fps，分辨率为256×256，能够实现对荧光屏上2 mm×2 mm范围内的图像进行采集。高帧频图像采集系统及闪烁噪声测试系统分别如图 2、3所示。
图 4所示为高帧频图像采集系统分别在7×10－4 lx、1×10－4 lx、5×10－5 lx以及2×10－5 lx照度下采集到的图像。由图可知，随着照度的降低，由热场致发射引起的闪烁噪声逐渐明显。对比可知，当照度为1×10－4 lx时，闪烁噪声的起落变化最为明显，且随着照度的进一步降低，噪声幅度开始呈下降趋势。因此本文选择在1×10－4 lx照度下开展闪烁噪声探测实验。
1.3 基于离散系数的闪烁噪声时间域检测算法
闪烁噪声通常表现为信号的不稳定性，即在极短时间内信号的强度出现剧烈的变化。因此，在图像采集系统采集到的图像中便会出现亮度不一的噪点，且不同帧图像之间噪点的位置与强度不尽相同。对连续多帧图像之间的像素灰度差异进行计算，若差值超过一定的阈值，便可判定该亮点为闪烁噪声。离散系数能够衡量数据间的差异程度，能够较好地实现对像增强器闪烁噪声的检测。离散系数的计算公式如下：
$$\mu=\frac{1}{n} \sum\limits_{x=1}^N \sum\limits_{y=1}^M \sum\limits_{i=1}^n p(x, y, i)$$ (1) $$ C_v=\frac{\sigma}{\mu}$$ (2) $$ \sigma=\sqrt{\frac{\sum\nolimits_{i=1}^n\left(x_i-\mu\right)^2}{n-1}}$$ (3) 式中：Cv为离散系数；n为连续采集的图像数量；σ为n幅图像之间的标准差；μ为n幅图像中各个像素点的平均灰度值；且图像分辨率为N×M。离散系数越小，说明数据相对稳定，变异幅度较小，反之则说明该处的数据变化幅度较大。对比各个像素处的离散系数大小，便可获得像增强器各个区域内闪烁噪声的分布情况。因此，通过对连续n张图像进行离散系数计算，便可弥补信噪比在闪烁噪声位置标定上的不足。
1.4 基于Harris角点的闪烁噪声空间域检测算法
离散系数能够较好地体现荧光屏各个位置的闪烁噪声严重程度，但是无法区分出离子反馈噪声与量子涨落噪声。高亮噪声在荧光屏上呈现为亮度较高且面积较大的圆点，其在二维图像的角点通常是图像在各个方向上灰度变化较为剧烈的点，如图 5所示。角点检测能够准确识别图像中的角点（兴趣点），因此被广泛应用于机器视觉和图像处理领域。然而对平滑区域的边缘进行检测时，可能会将边缘上的点误判为角点，从而引入一定的误差。基于图像像素灰度的角点检测算法能够较好地避免对图像边缘的处理，因此能够有效提升检测的准确率。
Moravec角点检测算法于1997年被提出，并通过移动窗口实现对每个像素在水平、竖直以及对角线方向上的灰度方差进行评估从而实现对中心像素在区域范围内像素灰度的变化进行量化[13]。其边缘检测原理图如图 6所示。Moravec角点检测在水平、竖直、45°对角线以及135°四个方向上的灰度方差V1、V2、V3、V4的表达式分别如下式所示：
$$ V_1=\sum\limits_{i=-k}^{k-1}(I(x+i, y)-I(x+i+1, y))^2$$ (4) $$ V_2=\sum\limits_{i=-k}^{k-1}(I(x, y+i)-I(x, y+i+1))^2$$ (5) $$V_3=\sum\limits_{i=-k}^{k-1}(I(x+i, y+i)-I(x+i+1, y+i+1))^2$$ (6) $$ V_4=\sum\limits_{i=-k}^{k-1}(I(x+i, y-i)-I(x+i+1, y-i-1))^2$$ (7) 式中：k为局部窗口长度的一半。虽然Moravec角点检测的检测速度快，但其稳定性不高，容易受到背景因素的影响，从而在角点的定位上存在一定的误差。同时Moravec角点检测只考虑了4个方向上的角点，若在其他方向上也存在较大的角点兴趣值，则存在一定的误检率。
Harris角点检测在Moravec算法的基础上进行了改进与拓展，通过微分计算与构建局部自相关矩阵来计算每一个像素的响应函数[15]。同时，Harris角点检测还引入了平滑因子与自相关函数相联系的自相关矩阵M，进一步提升了算法的鲁棒性。对边缘进行检测时，当窗口沿着边缘线移动时灰度变化不明显，但窗口沿着垂直于边缘线移动时灰度值变化较大。当对非边缘且非角点区域进行检测时，窗口沿各个方向移动时灰度变化均不明显，且窗口周围像素值差异皆较小。假定窗口以像素(x, y)为中心，并沿着x、y方向分别移动u，v单位后，其灰度变化可表示为：
$$\begin{aligned} E_{u, v}(x, y) & =\sum\limits_{u, v} w_{u, v}[I(x+u, y+v)-I(x, y)]^2 \\ & =\sum\limits_{u, v} w_{u, v}\left[u \frac{\partial I}{\partial y}+v \frac{\partial I}{\partial y}+o\left(\sqrt{u^2+v^2}\right)\right]^2 \end{aligned}$$ (8) $$\begin{aligned} & =\left[\begin{array}{l} u \\ v \end{array}\right] M\left[\begin{array}{ll} u & v \end{array}\right] \\ & \boldsymbol{M}=\sum\limits_{u, v} w_{u, v} \otimes\left[\begin{array}{cc} I_x I_x & I_y I_y \\ I_x I_y & I_y I_y \end{array}\right] \end{aligned}$$ (9) 式中：Eu, v(x, y)与局部自相关函数有较高的相似性；wu, v为高斯函数；M为像素点(x, y)的自相关矩阵；Ix、Iy表示在两个方向上的偏导数。特征值λ1、λ2则表示M所代表的椭圆长轴与短轴的大小，且Harris角点检测将根据这两个特征值进行像素类型的确认。当λ1≫λ2时，则认为该像素处于边缘区域；当λ1、λ2都很大，且Eu, v(x, y)在各个方向上都呈增强趋势时，则认为该像素点为角点；当λ1、λ2数值都较小时，则认为该像素处于平坦区域。考虑算法的便捷性，在计算时往往计算自相关函矩阵M的迹以及行列式用来替代特征值的计算，具体表达式如下：
$$ \begin{aligned} & R=\operatorname{det}(\boldsymbol{M})-k \operatorname{Tr}^2(\boldsymbol{M}) \\ & =\left(I_x{ }^2 I_y{ }^2-I_{x y}{ }^2\right)-k\left(I_x{ }^2+I_y{ }^2\right)^2 \end{aligned}$$ (10) 式中：det(M)为矩阵M的行列式；Tr(M)为迹，k为经验函数，取值范围为[0.04, 0.06]。为提高检测精度，可以采用自适应阈值角点边沿响应函数（corner-edge response function，CRF），表达式如下：
$$ \mathrm{CRF}=\frac{\operatorname{det}(\boldsymbol{M})}{\operatorname{Tr}(\boldsymbol{M})+\varepsilon}$$ (11) 式(10)中：ε为正小数，以保证分母的非零性。CRF的提出有效提升了检测算法的科学性与稳定性，同时也增强了算法的实用性。
2. 实验结果及分析
2.1 实验测试方法
测试过程中，由于闪烁噪声在荧光屏上表现为亮暗不一且随时间随机分布的亮斑点，可通过离散系数计算帧间图像相同像素点上灰度的差异实现对各区域中的噪声情况进行标定。同时，高亮噪点的亮度明显高于其周围其他噪点，采用Harris角点检测实现对其准确定位。由此便可基于离散系数与Harris角点检测实现微光像增强器闪烁噪声的测试与位置标定。
为了准确采集像增强器荧光屏的闪烁噪声，在本文实验中将CMOS图像传感器设置为HG_Gain（高增益）工作模式，器件增益设为4.95X，曝光时间为3.3 ms。选用6支像增强器进行闪烁噪声测试实验，并统一设置像增强器电压为2.8 V。光源系统实物图如图 7所示，通过改变光源系统中光阑的孔径实现对测试实验照度进行调整，分别对不同照度下的像增强器闪烁噪声图像进行采集。
2.2 基于离散系数的闪烁噪声分析
如1.3中所述，当采用不同数量的图片进行离散系数计算时，得到的结果有所差异。如图 8所示，本实验为分别选用50、100、150、200、250、300张图片作为实验样本进行离散系数计算，并绘制热点图以直观显示图像中各像素处的灰度离散情况。图中实验结果均为在同一标度下获得。由图可知，当实验样本较小时，计算结果存在较大的误差，当样本大于150时，离散系数计算结果区域稳定，不同样本下的结果趋于一致。因此结合计算便捷性，本实验选用200张实验样本进行离散系数计算，从而进行闪烁噪声分析与评估。
![]()
图 8 不同样片数量离散系数计算结果Figure 8. Calculation results of dispersion coefficients for different sample quantities图 9所示为6支实验像增强器在1×10－4 lx照度下所采集到的闪烁噪声图片与离散系数热点图。根据热点图右侧的颜色关系对应图中可以看出，3号像增强器整体离散程度较高，且闪烁噪声分布不均匀，整体上呈现左弱右强的态势。由此可见，闪烁噪声对3号像增强器影响较大，使得其微光夜视探测能力有限，难以实现高质量夜视探测。闪烁噪声对6号像增强器也有着较大的影响，相较于3号像增强器，6号像增强器有着更好的均匀性，各个像素间的离散系数差异不大。其余4支像增强器受闪烁噪声影响较小，且噪声分布更为均匀。其中5号像增强器的离散系数值最小，由此可见5号像增强器为6支实验管中质量最佳。为了验证基于离散系数的测试方法的科学性与准确性，本实验分别对6支像增强器进行连续200张样本图片采集，并进行信噪比与离散系数数值计算，计算结果如表 1所示。对比可知，基于离散系数的闪烁噪声测试结果与信噪比计算结果趋势相同。因此基于离散系数的像增强器闪烁噪声测试方法能够较好的实现在二维空间上对闪烁噪声进行分析，并直观显示闪烁噪声的分布情况，很好地弥补了信噪比在该方面的缺陷，可用于像增强器闪烁噪声测试及质量评价。
![]()
图 9 不同像增强器闪烁噪声与离散系数热力图Figure 9. Thermogram of flicker noise and discrete coefficient of different image intensifiers表 1 像增强器离散系数与信噪比Table 1. Discretization coefficient and signal-to-noise ratio of image intensifiersNumber 1 2 3 4 5 6 Coefficient of variation 0.4410 0.4242 0.5069 0.4294 0.4177 0.4850 SNR 24.28 24.66 22.28 24.55 26.08 22.51 2.3 基于Harris角点检测的闪烁噪声分析
基于离散系数的闪烁噪声检测能较好地量化分析像增强器的闪烁噪声特性，但无法实现对高亮噪点的直观定位。图 10展示了在4种不同实验照度下的采集到的闪烁噪声图片与Harris角点检测结果。如图所示，图片中的高亮噪点均采用红色标志标记，对比标记前后图片可知，基于Harris角点检测的高亮噪声检测算法能够准确地实现对荧光屏上高亮噪点的定位与标记，同时能够很好地避免对量子涨落噪声的误识别。
![]()
图 10 不同照度下高亮噪声标记结果Figure 10. High brightness noise labeling results under different illuminances为了进一步验证本算法的准确性，本实验对6支像增强器分别在1×10－4 lx照度下进行连续300张荧光屏图像采集，随机抽取10张进行Harris角点检测与人工检测，检测结果平均值如表 2所示。对比可知，基于Harris角点检测的高亮噪声检测方法能够较好地实现对高亮噪声的标记，测试结果与人工检测吻合，且误差较小，准确率较高。图 11为6支像增强器分别在1×10－4 lx照度下的Harris角点检测情况，由图可知，每支像增强器的高亮噪点都能被准确识别与标记。
表 2 Harris角点检测与人工检测结果对比Table 2. Comparison of Harris corner detection and manual detection resultsNumber Noise type Harris corner detection results Manual detection results 1 Highlight noise 5.3 5.5 2 Highlight noise 4.7 4.4 3 Highlight noise 5.1 5.3 4 Highlight noise 4.2 4.5 5 Highlight noise 5.6 5.4 6 Highlight noise 4.1 4.2 ![]()
图 11 不同像增强器高亮噪声标记结果Figure 11. Different image intensifiers highlight noise labeling results3. 结语
针对信噪比无法直观、具体地表征像增强器闪烁噪声在二维空间上的分布情况且无法辨别噪声类型的问题，本文结合像增强器闪烁噪声特性设计了一种基于离散系数与Harris角点检测的像增强器闪烁噪声测试方法。基于闪烁噪声在荧光屏上表现为亮暗不一且帧间分布随机的斑点，通过离散系数计算帧间图像相同像素点上灰度的差异，从而实现对各区域中的噪声情况进行标定。由于高亮噪点的亮度明显高于其周围其他噪点，Harris角点检测能够实现对其的准确定位，准确率高。实验表明，本文提出的基于离散系数与Harris角点检测的微光像增强器闪烁噪声测试方法能够很好地弥补信噪比在二维分析上的缺陷，为像增强器闪烁噪声测试提供一种有力手段。
-
表 1 前三组融合图像的客观评价结果
Table 1 The objective evaluation results of the first three groups of fused images
Images Methods MI AG IE SF SD Camp LP 1.4778 6.4761 6.6515 12.3629 28.9089 CVT 1.3857 6.3399 6.5356 11.9980 26.7685 NSCT 1.4565 6.3190 6.5447 12.0755 26.9155 NSST-PCNN 1.9196 6.0255 6.6738 11.0564 28.8536 NSST-PAPCNN 2.0762 5.8494 6.7943 10.5186 29.5982 NSST-FT 2.4885 6.7244 7.0753 12.6604 38.0868 Refs [6] 2.5042 6.6892 7.0785 12.6110 38.2066 Proposed 2.7722 6.8739 7.2089 12.7387 39.1209 Kaptein LP 1.5623 5.8712 6.6301 11.4779 35.3726 CVT 1.4951 5.6699 6.5105 11.0531 30.6265 NSCT 1.5836 5.7224 6.4981 11.2409 31.2731 NSST-PCNN 2.1031 5.4520 6.7022 10.5732 38.4590 NSST-PAPCNN 2.5149 4.8540 6.9353 9.5255 41.3301 NSST-FT 3.3999 6.0008 7.2952 11.6395 56.2293 Refs [6] 3.4299 6.0415 7.2943 11.7266 56.3160 Proposed 3.9293 7.0654 7.6067 13.0026 65.3635 Tree LP 1.5992 5.0152 6.0166 8.7768 16.4923 CVT 1.5299 4.8874 5.9432 8.5367 15.3844 NSCT 1.5883 4.8566 5.9525 8.5571 15.5355 NSST-PCNN 1.9811 4.7939 6.2575 8.3593 19.8322 NSST-PAPCNN 1.4902 4.8654 6.4536 8.5262 21.7829 NSST-FT 2.0784 5.1505 6.3483 8.9234 20.8631 Refs [6] 2.1290 5.1189 6.3475 8.8783 20.8498 Proposed 3.1750 6.9352 7.1273 11.9791 36.2389 
下载: 导出CSV
表 2 后三组融合图像的客观评价结果
Table 2 The objective evaluation results of the last three groups of fused images
Images Methods MI AG EN SF SD APC LP 0.6861 5.6418 5.8989 9.6969 15.0333 CVT 0.5984 5.5327 5.7615 9.5127 13.5490 NSCT 0.6326 5.5686 5.8252 9.5973 14.1751 NSST-PCNN 1.3097 5.2874 5.9710 9.1733 15.6671 NSST-PAPCNN 1.0539 3.5190 6.0989 6.4778 16.9964 NSST-FT 2.0421 5.7441 6.4358 9.8360 21.0700 Refs [6] 2.0316 5.7494 6.4383 9.8406 21.1113 Proposed 2.4917 6.9622 6.7164 11.7056 25.5275 Marne LP 2.1164 3.9831 6.7132 7.2543 27.6995 CVT 1.8075 4.0716 6.6968 7.2306 27.4600 NSCT 2.1117 3.8934 6.5826 7.0751 25.3114 NSST-PCNN 2.9627 3.6828 6.9520 6.6598 36.0598 NSST-PAPCNN 4.8694 3.2487 6.9969 6.2804 37.1140 NSST-FT 2.7102 4.0981 7.1696 7.4645 45.7950 Refs [6] 2.7344 4.1054 7.1787 7.5188 45.9412 Proposed 3.3513 4.8461 7.4630 8.4996 73.7589 Steamboat LP 1.6304 2.7601 5.3071 7.0341 14.0743 CVT 1.4169 2.7281 5.2087 6.9052 12.4699 NSCT 1.5171 2.7462 5.1657 6.9943 12.6583 NSST-PCNN 3.3886 2.3807 5.7938 6.5980 18.9923 NSST-PAPCNN 2.5101 2.7789 6.1287 6.9999 21.0319 NSST-FT 2.7227 2.8126 5.9811 7.0718 18.4518 Refs [6] 2.7219 2.8231 5.9639 7.1179 18.5114 Proposed 3.0865 2.9878 6.2459 7.3507 25.2450
下载: 导出CSV
-
[1] CHEN J, LI X, LUO L, et al. Infrared and visible image fusion based on target-enhanced multiscale transform decomposition[J]. Information Sciences, 2020, 508(1): 64-78. http://www.sciencedirect.com/science/article/pii/S0020025519308163
[2] 崔晓荣, 沈涛, 黄建鲁, 等. 基于BEMD改进的视觉显著性红外和可见光图像融合[J]. 红外技术, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588 CUI Xiaorong, SHEN Tao, HUANG Jianlu, et al. Infrared and visble image fusion based on BEMD and improved visual saliency[J]. Infrared Technology, 2020, 42(11): 1061-1071. http://hwjs.nvir.cn/article/id/c89c0447-6d07-4a75-99f6-1bf8681cf588
[3] CHENG B, JIN L, LI G. Infrared and visual image fusion using LNSST and an adaptive dual-channel PCNN with triple-linking strength[J]. Neurocomputing, 2018, 310(10): 135-147. http://www.onacademic.com/detail/journal_1000040423651710_9d04.html
[4] 郑伟, 赵成晨, 郝冬梅. NSST和改进PCNN相结合的甲状腺图像融合[J]. 光电工程, 2016, 43(10): 42-48, 55. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201610008.htm ZHENG Wei, ZHAO Chengchen, HAO Dongmei. Thyroid image fusion based on NSST and improved PCNN[J]. Opto-Electronic Engineering, 2016, 43(10): 42-48, 55. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC201610008.htm
[5] Borji A, Itti L. State-of-the-art in visual attention modeling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(1): 185-207. DOI: 10.1109/TPAMI.2012.89
[6] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007 FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-363. DOI: 10.3969/j.issn.1001-0548.2017.02.007
[7] 林子慧, 魏宇星, 张建林, 等. 基于显著性图的红外与可见光图像融合[J]. 红外技术, 2019, 41(7): 640-645. http://hwjs.nvir.cn/article/id/hwjs201907008 LIN Zihui, WEI Yuxing, ZHANG Jianlin, et al. Image fusion of infrared and visible images based on saliency map[J]. Infrared Technology, 2019, 41(7): 640-645. http://hwjs.nvir.cn/article/id/hwjs201907008
[8] 安影, 范训礼, 陈莉, 等. 结合FABEMD和改进的显著性检测的图像融合[J]. 系统工程与电子技术, 2020, 42(2): 292-300. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD202002006.htm AN Ying, FAN Xunli, CHEN Li, et al. Image fusion combining with FABEMD and improved saliency detection[J]. Systems Engineering and Electronics, 2020, 42(2): 292-300. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYD202002006.htm
[9] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection[C]//IEEE Conference on Computer Vision & Pattern Recognition, 2009: 1597-1604.
[10] Achanta R, Susstrunk S. Saliency detection using maximum symmetric surround[C]//Proc. of IEEE International Conference on Image Processing, 2010: 2653-2656.
[11] 冯维, 吴贵铭, 赵大兴, 等. 多图像融合Retinex用于弱光图像增强[J]. 光学精密工程, 2020, 28(3): 736-744. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202003024.htm FENG Wei, WU Guiming, ZHAO Daxing, et al. Multi images fusion Retinex for low light image enhancement[J]. Optics and Precision Engineering, 2020, 28(3): 736-744. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202003024.htm
[12] 吴京辉, 唐林波, 赵保军. 局部特征与全局信息联合的自适应图像增强算法[J]. 北京理工大学学报, 2014, 34(9): 955-960. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201409015.htm WU Jinghui, TANG Linbo, ZHAO Baojun. Local-to-global adaptive image enhancement algorithm[J]. Transactions of Beijing Institute of Technology, 2014, 34(9): 955-960. https://www.cnki.com.cn/Article/CJFDTOTAL-BJLG201409015.htm
[13] ZHAI Y, SHAH M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th ACM International Conference on Multimedia, 2006: 815-824.
[14] DONG S, MA J, SU Z, et al. Robust circular marker localization under non-uniform illuminations based on homomorphic filtering[J]. Measurement, 2021, 170(1): 108700. http://www.sciencedirect.com/science/article/pii/S0263224120312070
[15] 焦姣, 吴玲达, 于少波, 等. 混合多尺度分析和改进PCNN相结合的图像融合方法[J]. 计算机辅助设计与图形学学报, 2019, 31(6): 988-996. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906015.htm JIAO Jiao, WU Lingda, YU Shaobo, et al. Image fusion method using multi-scale analysis and improved PCNN[J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 988-996. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906015.htm
[16] Burt P J, Adelson E H. The laplacian pyramid as a compact image code[J]. IEEE Transactions on Communications, 1983, 31(4): 532-540. DOI: 10.1109/TCOM.1983.1095851
[17] Nencini F, Garzelli A, Baronti S, et al. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143-156. DOI: 10.1016/j.inffus.2006.02.001
[18] ZHANG Q, GUO B. Multifocus image fusion using the nonsubsampled contourlet transform[J]. Signal Process, 2009, 89(7): 1334-1346. DOI: 10.1016/j.sigpro.2009.01.012
[19] YIN M, LIU X, LIU Y, et al. Medical image fusion with parameter-adaptive pulse coupled neural network in nonsubsampled shearlet transform domain[J]. IEEE Transactions on Instrumentation and Measurement, 2019, 68(1): 49-64. DOI: 10.1109/TIM.2018.2838778
[20] Figshare. TNO Image Fusion Dataset[EB/OL]. [2014-04-26]. https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029.
计量
- 文章访问数: 267
- HTML全文浏览量: 223
- PDF下载量: 66
