Image Fusion of Infrared and Visible Images Based on Residual Significance
-
摘要: 为了将可见光图像与红外图像中的细节信息更多的呈现在融合图像中，突出目标特征并获得更好的图像视觉效果，本文提出一种基于改进谱残差显著性图的红外与可见光图像融合方法。首先用改进的谱残差显著性检测算法提取红外图像的显著性图并获得融合图像的显著性系数，然后对源图像进行双树复小波分解，并根据特定的融合规则分别对图像的低频部分以及高频部分进行融合，最后采用双树复小波逆变换重构获得最终的融合图像。实验表明，本文融合方法相较于传统融合方法融合质量更高并且在视觉效果上有显著提升。Abstract: To make the fusion image show more image details and to obtain a better image visual effect, a fusion method based on residual significance is proposed. First, the infrared image is analyzed using residual significance to obtain its significance coefficients. Then, the source images are decomposed using a dual-tree complex wavelet transform, and the low- and high-frequency components are fused according to different fusion rules. Finally, the fusion image is reconstructed using the inverse transformation of a dual-tree complex wavelet. Experimental results showed that the fusion method proposed in this paper produced higher quality images and better visual effects than those of the traditional fusion method.
-
0. 引言
近年来，科技的迅猛发展加速了红外材料的制造加工水平提升，使得红外镜头得以迅速广泛应用，在军事和民用方面的市场需求十分广泛。红外镜头大多匹配制冷型探测器，在成本方面存在一定的劣势。当红外镜头在焦距f′＜200 mm的应用场景中，可以适配非制冷探测器，相对制冷型具有极大的价格优势。
非制冷红外探测器的发展牵引着非制冷红外热成像领域的发展。美国的Texas Instruments公司和Honeywell公司分别在1978年和1983年研发出了非制冷红外热像仪，目前美国的FLIR公司、DRS公司、BAE北美公司、Raytheon公司和法国的ULIS公司以及日本的NEC AVIO公司等是国外红外非制冷热成像市场的行业领先者。昆明物理研究所2004年自主研发出首款国产的非制冷红外探测器，随着红外探测器的发展，现在武汉高德红外股份有限公司、浙江大立科技股份有限公司、北方夜视研究院集团等研究机构和企业在非制冷红外热成像领域也取得了很大的进步[1]。
非制冷红外镜头必须有较小的F/#（通常＜1.4），才能获得基本清晰的图像，较大的F/#会降低非制冷红外镜头的敏感度，同时镜头的光通量也会减少。非制冷红外镜头的F/#越低，则相对孔径越大，意味着其成像质量更好。目前市场上已有更大面阵、更小像元尺寸的红外探测器件，以匹配更大视场、更紧凑的光学系统。目前市场上的红外镜头对其环境适应性要求较高，尤其要求在宽环境温度范围内正常工作，因此需要在光学设计阶段进行消热差。
土耳其的Doruk Kucukcelebi[2]等人利用由不同长波红外光学材料组成的各种光学系统进行了无热化设计，并从轴外光学优化了光学系统的像差和性能。南京邮电大学通达学院陈潇[3]设计的用于大面阵（1024×768@17 μm）的长波红外无热化镜头，F/#为1.0，全视场角为13.8°。厦门理工学院的张继艳[4]等人设计的大相对孔径长波红外无热化镜头，F/#为1.0，适用于384×288@17 μm的探测器，全视场角为38°。孙爱平等人[5]设计的红外无热化镜头，F/#为0.8，适用于640×512@17 μm的探测器，视场为36.5°×27.8°。
上述无热化镜头设计均无法同时满足大相对孔径和大面阵的要求，本文在此基础上继续优化改进，设计了一款用于可1024×768@12 μm大面阵，F/#=0.8大相对孔径的长波红外镜头。本文基于无热化设计原理及条件，使用了Ge、IG6、ZnSe三种红外材料组合设计和四面非球面矫正系统像差设计，对高低温下的离焦量进行了补偿，同时进行了公差分析。此镜头满足了大相对孔径和大面阵的要求，具备光通量高、结构形式简单、工艺性较佳的优点，可广泛应用于车载辅助驾驶仪、机载吊舱等领域。
1. 无热化设计原理及条件
1.1 原理
温度的变化会使得透镜的各项参数（如曲率半径、折射率、厚度、非球面的高次项系数）发生变化，使镜筒材料发生热胀冷缩从而影响透镜间的空气间隔[6]，同时使空气折射率发生变化[7]。而这些变化的累积会对红外成像系统的像面离焦产生影响，使得成像质量下降。
当离焦量小于光学系统焦深时，根据瑞利判据，实际波面与参考波面的波像差不超过1/4波长时，此波面可看作是无缺陷的[8]。无热化设计的目的是使焦面位移量在一个焦深以内。焦深ΔL0′的公式为[9]：
$$\Delta L_0{ }^{\prime}=2 \lambda(\mathrm{F} / \#)^2$$ (1) 光学系统无热化方式分为主动无热化和被动无热化，其中被动无热化又分为机械被动无热化和光学被动无热化[10]。光学被动无热化，是指光学系统选取合理的结构形式，各透镜采用不同的光学材料，利用不同光学材料之间温度特性的差异进行匹配，从而控制温度变化时像面离焦在一个焦深范围内，也称为光学被动消热差方式。常见长波红外光学材料的各参数见表 1。光学被动无热化不需要电机驱动，同时可靠性较高，所以本文采用光学被动式消热差方式设计。
表 1 常见长波红外材料参数Table 1. Common long-wavelength infrared material parametersMaterial Refractive index at 10 μm Abbe number 8~12 μm dn/dT at 10 μm and 20℃/(10-6/℃) CTE αg/(10-6/℃) Germanium 4.0028 834 408 6.1 Gasir-1 2.4944 120 49.7 17 Gasir-3 2.6105 115 53 17 Amtir-1 2.5109 113 70.5 12 Amtir-2 2.6027 110 47.2 13.5 IG2 2.4944 119 61 12.1 IG5 2.6033 108 70 14 IG6 2.7781 159 41 20.7 ZnS_IR 2.1920 23 41 6.6 ZnSe 2.4028 52 61 7.1 1.2 无热化条件
光学被动式无热化要求光学系统满足以下3个条件：
1）光焦度要求为：
$$ \sum\limits_{i = 1}^n {{h_i}} {\varphi _i} = \varphi $$ (2) 2）消轴向色差要求为：
$$ \Delta f_{\rm{b}}^{\rm{T}} = {(\frac{1}{{{h_1}\varphi }})^2}\sum\limits_{i = 1}^n {(h_i^2{\omega _i}{\varphi _i})} = 0 $$ (3) 3）消热差要求为：
$$ \frac{{{\rm{d}}f_{\rm{b}}^{\rm{T}}}}{{{\rm{d}}t}} = {(\frac{1}{{{h_1}\varphi }})^2}\sum\limits_{i = 1}^n {(h_i^2{\chi _i}{\varphi _i})} = {\alpha _h}L $$ (4) 式中：hi为第一近轴光线在各个透镜上的高度；φi为各个透镜的光焦度；φ为系统的总光焦度；ωi为各光学元件的色散因子，等于材料阿贝数的倒数；χi为光热膨胀系数；αh为机械结构件的线热膨胀系数；L为机械结构件的长度。这3个方程构成了光学系统无热化方程组。折射光学元件光热膨胀系数χi
$$ {\chi _i} = {\alpha _{\rm{g}}} - \frac{1}{{n - {n_0}}}(\frac{{{\rm{d}}n}}{{{\rm{d}}T}} - n\frac{{{\rm{d}}{n_0}}}{{{\rm{d}}T}}) $$ (5) 式中：αg为光学元件的线热膨胀系数；n为光学元件的折射率；n0为环境介质的折射率；dn/dT为材料的折射率温度系数。折射光学元件的温度特性是由材料的线热膨胀系数和折射率温度系数决定的[11]
2. 无热化设计实例
2.1 设计思想
光学被动无热化设计，首先根据红外系统的应用场景和使用需求，确定光学系统的设计指标和结构形式；然后根据红外材料的色差系数和热差系数，选择并确定每个透镜的材料；再根据上述无热方程组来求解各透镜的光焦度，进行光焦度分配，得到一个在常温（20℃）下像质较好的光学系统；最后，在保持总光焦度基本不变的前提下，对高低温下的离焦量进行补偿，优化光学系统、平衡像差，直到高低温下的像质满足要求。
2.2 设计指标
本文的大相对孔径大面阵长波红外光学无热化镜头适配1024×768非制冷型红外探测器，探测器像元尺寸为12 μm×12 μm，该红外镜头设计指标如表 2所示。
表 2 光学设计参数Table 2. Parameters of optical system parametersWavelength range/μm 8 to 12 (Central wave 10 μm) Efficient focal length/mm 16.8 F/# 0.8 Field of view 40°×30° Image size(diagonal)/mm 7.68 mm Temperature range/℃ −40 to 60 Classification of athermalization Optical passive 2.3 确定初始结构
红外物镜的主要类型有透射式、反射式和折反射式3种[12]。反射式和折反射式系统的结构尺寸较大且存在中心遮拦，为满足尺寸限制和能量要求，采用透射式结构形式[13]。本文采用类高斯对称的4片式结构，孔径光阑设置在第三片透镜的第一面上。焦距分配为负-正-负-正，便于自身像差的相互补偿。
透射式结构要实现同时消色差和热差，必须采用3种以上的光学材料[14]。根据表 1中红外晶体材料和硫系玻璃材料的性能参数，选取常用的单晶材料Ge，搭配折射率温度系数较高而折射率较低的ZnSe和折射率温度系数较低而折射率较高的IG6，利用3种材料的温度特性的差异来消除系统热差。镜筒机械材料选择常用的铸铝（线热膨胀系数αh＝23.6×10－6/℃）。第1片负光焦度透镜和第4片正光焦度透镜选用阿贝数很大、热差系数很小的材料Ge；第2片正光焦度透镜选用阿贝数较大、热差系数较大的材料IG6；第3片负光焦度透镜选用阿贝数较小、热差系数较小的材料ZnSe。利用这3种材料进行组合与匹配，能够对系统的色差和热差进行校正[12]
由方程(2)~(4)可求解出透镜的光焦度，利用光学设计软件计算出光学系统的初始结构，孔径光阑重新设置在第二片透镜的第一面上，用来限制轴外像差。如图 1所示。
2.4 优化设计和消热差
对计算得到的初始结构进行分析，可知光线从第1面入射时偏折较大，因此将第1面设置为偶次非球面；第4面和第5面球差、彗差较大，将第4面和第5面都设置为偶次非球面。利用Zemax对系统进行优化后，可得到一个满足表 2参数要求（除无热化要求外）且常温下（20℃）像质较好的光学系统，如图 2所示。
对优化后的系统进行热分析，建立－40℃、20℃、60℃下的多重结构，分析温度变化对光学系统的影响。此时若引入衍射光学元件，可提升高温（60℃）和低温（－40℃）的像质并简化系统设计，但衍射面有衍射能量损失，影响成像的质量和对比度，降低系统的性能。因此，在保证系统充足光通量的基础上，为了进一步平衡像差，提升高低温的成像质量，将第8面设置为偶次非球面，在此基础上持续优化。
2.5 像质评价和公差分析
优化得到的光学系统结构如图 3所示，根据公式(1)可得，该系统的焦深为12.8 μm，系统在不同温度下的离焦情况如表 3所示。
表 3 不同温度下的像面离焦量Table 3. Image defocus at different temperaturesTemperature/℃ 20 −40 60 Focus shift/μm 6 11 9 由此可知，该光学系统满足像面离焦在一个焦深范围内的无热化要求。
采用的探测器像元尺寸为12 μm×12 μm，由式(6)可得系统的截止频率fd为41.6 lp/mm。
$$ {f_{\rm{d}}} = \frac{1}{{2 \times M}} $$ (6) 式中：M为探测器像元尺寸大小，为12 μm。
由图 4和表 4可知，系统在空间频率42 lp/mm处，衍射极限的MTF值为0.56，常温下中心视场（0ω）的MTF值大于0.50，全视场（1ω）的MTF值大于0.28；除低温全视场（1ω）的MTF值小于0.16外，其他低温和高温状态各视场（0ω、0.5ω、0.7ω、1ω）的MTF值都大于0.21。－40℃~60℃范围内系统在截止频率处各视场的平均调制传递函数值大于0.4，约达到衍射极限的71%。
表 4 系统在不同温度下的MTF@42 lp/mmTable 4. MTF of system at 42 lp/mm at different temperaturesTemperature 20℃ -40℃ 60℃ 0 Field MTF 0.500 0.513 0.474 0.7 Field MTF Tangential 0.456 0.429 0.349 Sagittal 0.374 0.248 0.440 1.0 Field MTF Tangential 0.284 0.158 0.219 Sagittal 0.373 0.104 0.458 由图 5和表 5可知，常温下中心视场的RMS半径值小于4.3 μm，全视场的RMS半径值小于11 μm；低温和高温状态中心视场的RMS半径值小于6.2 μm，高温全视场的RMS半径值小于12.2 μm。所匹配的红外探测器像元大小为12 μm，全工作温度范围内的中心视场弥散斑约在一个像元内，除低温全视场的RMS半径值为15.206 μm外，其他温度的各视场弥散斑约在两个像元内，该红外镜头在高低温下的成像质量满足要求。－40℃~60℃范围内系统各视场的点列图均方根半径小于16 μm。
表 5 系统在不同温度下的弥散斑RMS半径Table 5. RMS radius of system spot diagrams at different temperaturesTemperature/℃ Field RMS spot radius/μm 20 0 4.242 0.5 5.203 0.7 6.600 1.0 10.947 -40 0 4.187 0.5 5.086 0.7 9.246 1.0 15.206 60 0 6.151 0.5 11.314 0.7 10.560 1.0 12.101 综合分析光学系统的离焦情况、MTF曲线和点列图，该系统满足无热化设计的要求，达到预期效果。
完成像质评价后，考虑到实际系统加工的可行性，需要对系统进行公差分析。由于无热化系统在工作温度范围（－40℃~60℃）内各参数变化不大，因此仅需对20℃的情况进行公差分析即可。
利用光学设计软件对该系统进行公差分析，采用软件默认公差，像面移动为补偿，在截止频率42 lp/mm处，中心视场（0 ω）的子午MTF从设计值0.5降到0.41的概率在90%以上，0.7ω视场的子午MTF从设计值0.42降到0.35的概率在90%以上，全视场（1ω）的子午MTF从设计值0.29降到0.23的概率在90%以上。公差分析结果如图 6所示，弧矢方向结果类似，不再重复给出。因此，常规加工装调精度即可满足系统要求，该光学系统可进行实际生产加工。
3. 结论
本文设计了焦距为16.8 mm，视场角为40°×30°，F/#为0.8的大相对孔径长波红外光学无热化镜头，可匹配1024×768@12 μm的大面阵非制冷探测器，工作温度范围为－40℃~60℃。本镜头同时满足了大相对孔径、大面阵的技术要求，并具有光通量高、工艺性较佳、分辨率高、宽工作温度范围等优势。该镜头可应用于车载辅助驾驶仪、机载吊舱等领域，可广泛应用在各种需要态势感知的场景中。
-
表 1 融合图像客观评价结果
Table 1 The objective evaluation results of fused images
Scene Fusion method IE SD SF Qc MI Scene 1 LP 5.2477 25.0859 6.4781 0.6714 2.6909 DWT 5.9016 20.5764 8.4659 0.7026 3.0138 GFNSCT 5.9431 25.5093 12.0113 0.7223 3.1173 Ours 5.9672 36.6538 12.6746 0.8148 3.1984 Scene 2 LP 7.2489 44.5980 10.5057 0.7089 2.1191 DWT 7.0574 40.5774 12.7919 0.6914 2.2907 GFNSCT 7.1928 42.3394 15.7901 0.7218 2.3410 Ours 7.2985 46.4514 15.9041 0.7901 2.3667 Scene 3 LP 6.5528 26.4718 12.2714 0.7551 3.0173 DWT 6.4503 25.7847 14.1124 0.8081 3.4493 GFNSCT 6.6167 32.1633 16.5527 0.8271 3.5117 Ours 7.0221 37.5441 16.9096 0.8650 3.6869 
下载: 导出CSV
-
[1] 敬忠良, 肖刚, 李振华.图像融合——理论与应用[M].北京:高等教育出版社, 2007. JING Zhongliang, XIAO Gang, LI Zhenhua. Image Fusion—Theory and Application[M]. Beijing: Higher Education Press, 2007.
[2] 刘信乐.热红外图像与可见光图像融合方法研究[D].成都: 电子科技大学, 2013. LIU Xinle. Research on Fusion Method of infrared image and visible image[D]. Chengdu: University of Electronic Science and Technology of China, 2013.
[3] 余美晨, 孙玉秋, 王超.基于拉普拉斯金字塔的图像融合算法研究[J].长江大学学报:自然科学版, 2016, 13(34): 770-776. http://www.cnki.com.cn/Article/CJFDTOTAL-CJDL201634005.htm YU Meichen, SUN Yuqiu, WANG Chao. Image fusion algorithm based on Laplacian pyramid[J]. Journal of Yangtze University: Natural Science, 2016, 13(34): 770-776. http://www.cnki.com.cn/Article/CJFDTOTAL-CJDL201634005.htm
[4] Ashish V Vanmali, Vikram M Gadre. Visible and NIR image fusion using weight-map-guided Laplacian–Gaussian pyramid for improving scene visibility[J]. Springer Nature, 2017(6): 1063-1082.
[5] Gonzalo P, Jesus M A wavelet-based image fusion tutorial[J]. Pattern Recognition, 2004, 37(9): 1855-1872.
[6] Seal Ayan, Bhattacharjee Debotosh, NasipuriMita. A trous wavelet transform based hybrid image fusion for face recognition using region classifiers[J]. Expert Systems, 2018(12): 2185-2188.
[7] 王少杰, 潘晋孝, 陈平.基于双树复小波变换的图像融合[J].核电子学与探测技术, 2015, 35(7): 726-728. WANG Shaojie, PAN Jinxiao, CHEN Ping. Image fusion based on DT-CWT[J]. Nuclear Electronics & Detection Technology, 2015, 35(7): 726-728.
[8] 林子慧, 魏宇星, 张建林, 等.基于显著性图的红外与可见光图像融合[J].红外技术, 2019, 41(7): 640-645. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201810021 LIN Zihui, WEI Yuxing, ZHANG Jianglin, et al. Image fusion of infrared image and visible image based on saliency map[J]. Infrared Technology, 2019, 41(7): 640-645. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201810021
[9] TIAN Huawei, FANG Yuming. Salient region detection by fusing bottom-up and top-down features extracted from single image[J]. IEEE Transaction on Image Processing, 2014, 23(10): 4389-4397. DOI: 10.1109/TIP.2014.2350914
[10] HOU X, ZHANG L. Salient detection: A spectral residual approach[C]//IEEE Conference on Computer Vison and Pattern Recognition, 2007: 18-23.
[11] 郭玲, 杨斌.基于视觉显著性的红外与可见光图像融合[J].计算机科学, 2015, 42(6): 211-214. http://www.cnki.com.cn/Article/CJFDTotal-GXYQ201604005.htm GUO Ling, YANG Bin. Image fusion of infrared image and visible image based on visual saliency[J]. Computer Science, 2015, 42(6): 211-214. http://www.cnki.com.cn/Article/CJFDTotal-GXYQ201604005.htm
[12] 张承鸿, 李范鸣, 吴滢跃.基于视觉显著性与对比度增强的红外图像融合[J].红外技术, 2017, 39(5): 421-426. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201612035 ZHANG Chenghong, LI Fanming, WU Yingyue. Image fusion of infrared image and visible image based onvisual saliency and contrast enhancement[J]. Infrared Technology, 2017, 39(5): 421-426. http://hwjs.nvir.cn/oa/DArticle.aspx?type=view&id=201612035
[13] ZHENG Y F, Essock E. A new metric based on extended spatial frequency and its application to DWT based fusion algorithms[J]. Information Fusion, 2007, 8(2): 177-192. DOI: 10.1016/j.inffus.2005.04.003
[14] QU G, ZHANG D, YAN P. Information measure for performance of image fusion[J]. Electron Lett, 2002, 38(7): 313-315. DOI: 10.1049/el:20020212
计量
- 文章访问数: 280
- HTML全文浏览量: 97
- PDF下载量: 41
