Infrared Image Fusion Enhancement Algorithm Based on Improved Wavelet Threshold Function and Full-Scale Retinex
-
摘要: 针对现有红外图像增强算法存在信噪比低、细节模糊、清晰度差等问题，本文提出基于改进小波阈值函数和全尺度Retinex的红外图像融合增强算法。首先，为克服尺度参数固定和光线散射导致红外图像退化的问题，利用大气透射率得到Retinex尺度参数的全尺度映射图，从而有效提高图像的清晰度，并将输入图像和使用全尺度Retinex处理后的输入图像作为算法的第一个输入和第二个输入。其次，为解决传统小波阈值函数在图像降噪过程中存在伪影、细节丢失等问题，设计改进小波阈值函数，通过引入尺度因子，在计算每层高频子图小波系数后，能根据该层数自适应调整尺度因子，并引入调节因子，结合指数函数，使该函数不仅能抑制高频子图噪声，还能极大程度保留细节信息。然后，使用小波图像融合的方式融合输入的高频子图和低频子图，进一步提高输出图像的纹理细节。主客观仿真结果表明，所提算法比其它对比算法具有更好的降噪和细节突出能力，并能提高红外图像的人眼视觉效果。最后，本文算法应用于红外成像模块采集的红外图像增强，效果良好，表明本文方法具有实用性。
-
关键词:
- 改进小波阈值函数 /
- 全尺度Retinex /
- 红外图像增强 /
- 图像融合
Abstract: This paper proposes an infrared image fusion enhancement algorithm based on an improved wavelet threshold function and full-scale Retinex to address the problems of low signal-to-noise ratio, fuzzy detail, and poor clarity in existing infrared image enhancement algorithms. First, to overcome the degradation of infrared images caused by fixed-scale parameters and light scattering, a full-scale map of Retinex-scale parameters was obtained using atmospheric transmittance to improve image clarity. The input image and processed image with full-scale Retinex were used as the first and second inputs of the algorithm, respectively. Second, an improved wavelet threshold function was designed to solve the problems of artifacts and detail loss in the image-denoising process of the traditional wavelet threshold function. The threshold function introduces a scaling factor that can be adjusted adaptively according to the number of layers after calculating the wavelet coefficient of the high-frequency subgraph of each layer. An adjustment factor was introduced and combined with an exponential function to suppress the high-frequency subgraph noise and preserve detailed information. The high- and low-frequency subgraphs of the above two inputs were then fused using wavelet image fusion to improve the texture details of the output images. The simulation results demonstrate that the proposed algorithm outperforms other comparison algorithms regarding noise reduction and detail highlighting capabilities, enhancing the visual quality of infrared images for the human eye. Finally, this algorithm was applied to enhance infrared images collected by an infrared imaging module, and the experimental results showed that the proposed method is practical. -
0. 引言
随着科学技术的发展，人脸识别在刷脸支付、刷脸打卡等信息领域中具有广泛的应用。人脸识别系统主要由CCD、摄像镜头组和滤光片构成，滤光片是过滤非成像光波段，提高人脸识别的精确度的一个核心光学元件，需要工作在特定的入射角范围下。当入射角超出特定角度范围时，滤光片滤波特性会发生质的改变，导致拍摄人脸图像模糊，人脸识别精确度下降。
滤光片的角度效应指入射角变化对滤波特性的影响[1-4]，为了降低入射角变化对滤波特性的影响，科研人员对低角度效应滤光片进行了相关研究。2013年，K. D. Hendrix等[1]研制出一种近红外波段的低角度效应滤光片，通带透射率大于90%，入射角为0°~30°，通带偏移量为12.2 nm，薄膜厚度超过5 μm；2016年，毛克宁[2]使用氧化硅作为间隔层材料制备出一种具有低角度效应的滤光片，当入射角为0°~60°时，透过率峰的位置基本保持不变；2019年，刘冬梅[3]等使用Si-H、Si3N4及SiO2三种材料研制出61层具有低角度效应的虹膜识别滤光片，入射角为0°~38°，通带偏移量为19.2 nm；2020年，魏博洋等[4]使用Si-H和SiO2材料设计出71层用于3D成像的945 nm窄带滤光片，入射角为0°~38°，通带偏移量为13 nm。虽然这些滤光片都有较低的角度效应，但是设计膜层数多，制备困难。在光学薄膜中通常使用TiO2和SiO2（高匹配度的材料组合）进行膜系设计，然而目前对于低膜层数及对低角度效应的TiO2/SiO2窄带滤光片研究较少。
通过对人脸识别系统的了解，本文对人脸识别中入射角小于22°的940 nm窄带滤光片进行设计及制备。选择高匹配度的TiO2和SiO2材料，以法布里珀罗干涉原理设计窄带滤光片。通过改变间隔层材料，增加间隔层厚度，解决传统滤光片膜层数多及角度效应高的问题。最后使用电子束热蒸发沉积技术制备滤光片，对制备的滤光片进行了角度效应和耐性测试。
1. 设计
1.1 膜系材料选择
综合考虑膜层材料对薄膜的光学性能、机械及化学稳定性等的影响，选用具有高匹配度的TiO2（n＝2.2~2.3）和SiO2（n＝1.46）作为膜层材料。TiO2具有很高的折射率，它与低折射率材料一起使用时，能够提高截止带的截止率并适当降低膜系层数，减小膜系厚度；SiO2膜层牢固高、化学性质稳定，蒸镀技术成熟，容易控制[5-6]。
1.2 膜系设计
本文以法布里-玻罗干涉滤光片原理为基础进行膜系设计，因为单腔法布里-玻罗窄带滤光片透射率曲线的通带宽度、透射率峰的矩形度、陡度、截止透射率等性能均不理想，达不到使用要求，所以将多个单腔窄带滤光片组合起来构成多腔窄带滤光片，最终设计的窄带滤光片具有更好的光学性能[7]。
采用Essential Macleod软件进行膜系设计，探索多腔法布里-玻罗干涉滤光片膜系的干涉的级次，反射层层数以及多腔串置腔的个数在对膜系的截止区、半宽度、矩形度和陡度等因素产生的影响[8-10]。综合考虑膜系在后期的镀制条件，以及设计指标要求，本文采用两腔设计，干涉级次为一，反射层数为二，间隔层使用高折射率材料。
首先，以石英玻璃为基底进行基础膜系设计，设计结构为：A(2、1、1)LA(2、1、1)，基础膜系不同入射的角透射率曲线如图 1所示。由图 1可以看出，入射角为0°时，通带峰值透射率大于95%，截止透射率小于5%，通带半峰宽度为35 nm；入射角为15°时，940 nm处透射率大于90%，通带偏移量为11 nm。入射角为22°时，940 nm处透射率小于90%，通带偏移量为20 nm。入射角变大，通带向短波方向偏移。
![]()
图 1 基础膜系中不同入射角的透射率曲线Figure 1. Transmittance curves of different incident angles in the basic film system为使膜层数更少，膜系具有更低的角度效应，所以采用高折射率膜料替换膜系间隔层中的低折射率膜料，构成高折射率间隔腔层，提升腔层的等效折射率n∗[11]。在不影响中心波长透射率、通带半宽度、透射率峰的矩形度、陡度、峰值透射率和截止区的截止率等性能的条件下，大大减少膜层数，降低入射角灵敏度。优化后的膜系为：HL(6H)LHLHL(6H)LH，膜层数为11层。相对基础膜系，膜层数减少8层。
优化后的膜系在入射角为0°、15°和22°时透射率曲线如图 2所示。由图 2可以看出，在入射光垂直入射时中心波长的峰值透射率大于95%，截止区的截止透射率小于5%，半波宽为44 nm。当入射角为22°时通带的偏移量为14 nm，940 nm处透射率大于90%，满足设计要求。结合优化后的透射率曲线，使用HGLP-850颜色玻璃抑制可见光波段杂散光干扰[12]，将所设计的膜系基底换为HGLP-850颜色玻璃，完成最终的膜系设计。
![]()
图 2 优化后的膜系中不同入射角的透射率曲线Figure 2. Transmittance curves of the optimized film system at different incident angles2. 薄膜制备
本实验采用电子束热蒸发技术制备TiO2和SiO2薄膜[13-14]，所使用的设备是成都南光机器有限公司生产的型号为ZZS-800电子束蒸发镀膜机。在镀膜之前，将HGLP-850颜色玻璃基片放在无水乙醇中超声波清洗20 min。蒸发的膜料为高纯度TiO2和SiO2颗粒，电子枪预熔膜料前，腔体的本底真空度抽至7×10－4 Pa。电子束蒸发镀膜过程中，真空度为5.7×10－3 Pa，电子枪电压为8 kV，TiO2和SiO2的电子束流分别是95 mA与65 mA。TiO2和SiO2的电子束流大小与预熔时相同，沉积速率为0.1 nm/s。第3和第9层TiO2薄膜的物理厚度为626.67 nm，其余TiO2膜层物理厚度均为104.44 nm，SiO2膜层厚度均为104.44 nm。整个镀制过程由上海英福康公司生产的SQC310膜厚控制仪自动完成。镀制完成的滤光片如图 3所示。
3. 测试及分析
根据GJB 2485-95对光学薄膜附着力的测试标准，对TiO2/SiO2膜层，采用3M胶带进行测试，用胶带反复粘连膜面，对膜面撕扯20次，膜层未出现脱落、损伤现象。将样本放入沸水中煮30 min，煮后的样本无颜色变化、无脱膜现象，该滤光片在水汽和湿热环境下有很好的防水汽性能。
光谱测试设备使用日本岛津公司生产的IRPrestige-21型傅里叶变换红外光谱仪，制备的940 nm窄带滤光片的透射率光谱曲线如图 4所示。入射角为0°，窄带滤光片工作中心波长为940 nm，在截止区间（200~1100 nm）内，通带峰值透射率为83.4%，通带半宽度为45 nm，平均截止透射率小于1%。入射角为22°，通带向短波方向偏移量为14 nm，透射率大于80%。综上分析可得，940 nm窄带滤光片在入射角为0°~22°时，通带偏移量为14 nm，940 nm透射率大于80%，平均截止透射率小于1%。图 5为在800~1100 nm局部放大的透射率光谱曲线。
![]()
图 4 入射角为0°和22°时透射率光谱曲线Figure 4. The transmittance spectrum curves when the incident angle is 0° and 22°![]()
图 5 局部放大的通带区间透射率光谱曲线Figure 5. Partially amplified passband transmittance spectrum curves4. 结论
本文以法布里-珀罗干涉滤光片原理为基础，利用Essential Macleod软件设计低角度效应的人脸识别窄带滤光片，并使用电子束热蒸发沉积技术制备了低角度效应的人脸识别窄带滤光片。通过实验分析，使用TiO2作为膜系间隔层材料，提升膜系等效折射率n*，使滤光片的膜层数降低，改善角度效应。光在0°~22°入射时，滤光片通带透过率大于80%，偏移量为14 nm，截止率小于1%，数据能满足人脸识别窄带滤光片的技术指标。采用TiO2和SiO2进行设计和制备，使膜层附着力良好，不仅极大减少了膜层数量，降低了膜层厚度，而且还降低了薄膜制备的工艺要求。人脸识别系统中，低角度效应窄带滤光片不仅能缓解人脸识别系统角度受限的问题，而且还能增强系统对杂散光的抗干扰能力，提升人脸识别系统的识别准确性。
-
![]()
图 2 不同阈值下的小波阈值函数
Figure 2. Wavelet threshold function under different threshold values
![]()
图 7 场景1红外图像增强算法对比图
Figure 7. Comparison of infrared image enhancement algorithms in scene 1
![]()
图 8 场景2红外图像增强算法对比图
Figure 8. Comparison of infrared image enhancement algorithms in scene 2
![]()
图 9 场景3红外图像增强算法对比图
Figure 9. Comparison of infrared image enhancement algorithms in scene 3
![]()
图 10 场景4红外图像增强算法对比图
Figure 10. Comparison of infrared image enhancement algorithms in scene 4
![]()
图 13 红外成像模块及主观评价指标结果
Figure 13. Infrared imaging module and subjective evaluation index results
表 1 场景1、2、3、4的客观评价指标结果
Table 1 Results of objective evaluation indicators in scenarios 1, 2, 3 and 4
Image Evaluation indicators f BF & DRP GIF MSR DCP Document[18] Document[19] Proposed in this paper Scenarios 1 RMSC 28.68 27.76 31.21 29.58 29.44 32.63 14.70 33.95 PSNR - 16.05 23.23 22.66 18.50 23.96 31.84 30.92 DE 6.75 6.67 7.03 6.76 6.72 6.93 6.78 7.05 SSIM - 0.91 0.84 0.82 0.88 0.85 0.82 0.97 Scenarios 2 RMSC 15.90 16.72 29.06 18.36 30.92 32.99 17.58 32.91 PSNR - 15.49 18.70 13.88 16.60 22.21 17.29 24.42 DE 6.02 6.07 7.15 7.09 6.87 6.69 6.13 7.16 SSIM - 0.89 0.83 0.81 0.77 0.82 0.78 0.96 Scenarios 3 RMSC 24.48 25.33 27.02 22.18 23.15 33.73 31.92 32.68 PSNR - 16.66 25.72 20.25 23.55 24.36 24.66 25.44 DE 6.61 6.63 6.90 6.71 6.43 6.93 6.85 7.02 SSIM - 0.81 0.90 0.81 0.90 0.86 0.87 0.96 Scenarios 4 RMSC 44.75 45.46 47.29 45.13 42.69 42.77 46.29 49.81 PSNR - 22.23 21.59 15.10 23.38 16.51 16.80 24.71 DE 7.05 7.10 7.23 7.12 7.07 7.21 7.16 7.25 SSIM - 0.83 0.91 0.87 0.93 0.76 0.88 0.94 
下载: 导出CSV
表 2 不同阈值降噪方法的客观评价值
Table 2 Objective evaluation value of noise reduction methods with different threshold values
Noise variance Evaluation indicators Hard threshold function Soft threshold function Improved wavelet threshold function 0.01 PSNR 27.76 27.66 28.62 SSIM 0.92 0.92 0.93 0.02 PSNR 25.37 25.33 25.83 SSIM 0.87 0.86 0.88 0.03 PSNR 23.96 23.89 24.24 SSIM 0.82 0.82 0.83
下载: 导出CSV
表 3 本文算法在场景5和场景6的客观评价结果
Table 3 Objective evaluation results of the algorithm in scenarios 5 and scenarios 6
Evaluation indicators Scenario 5 Scenario 6 RMSC 27.51 30.51 PSNR 19.86 21.39 DE 7.66 7.23 SSIM 0.51 0.63
下载: 导出CSV
-
[1] Gowen A A, Tiwari B K, Cullen P J, et al. Applications of thermal imaging in food quality and safety assessment[J]. Trends in Food Science & Technology, 2010, 21(4): 190-200.
[2] 赵明珠, 张艳, 朱应燕. 基于红外热成像的早期疾病检测技术的研究进展[J]. 激光与光电子学进展, 2021, 58(8): 28-38. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202108003.htm ZHAO Mingzhu, ZHANG Yan, ZHU Yingyan. Research progress of early disease detection technology based on infrared thermography[J]. Advances in Lasers and Optoelectronics, 2021, 58(8): 28-38. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202108003.htm
[3] YUAN C, LIU Z, ZHANG Y. Fire detection using infrared images for UAV-based forest fire surveillance[C]//International Conference on Unmanned Aircraft Systems (ICUAS), 2017: 567-572.
[4] WANG L, Leedham G, Cho S Y. Infrared imaging of hand vein patterns for biometric purposes[J]. IET Computer Vision, 2007, 1(3): 113-122. DOI: 10.1049/iet-cvi:20070009
[5] Taheri Garavand A, Ahmadi H, Omid M, et al. An intelligent approach for cooling radiator fault diagnosis based on infrared thermal image processing technique[J]. Applied Thermal Engineering, 2015, 87: 434-443. DOI: 10.1016/j.applthermaleng.2015.05.038
[6] 郝建新. 基于小波变换与Retinex的电路板红外图像增强技术[J]. 红外技术, 2015, 37(12): 1036-1040. http://hwjs.nvir.cn/article/id/hwjs201512009 HAO Jianxin. Circuit board infrared image enhancement based on wavelet transform and Retinex[J]. Infrared Technology, 2015, 37(12): 1036-1040. http://hwjs.nvir.cn/article/id/hwjs201512009
[7] 尹士畅, 喻松林. 基于小波变换和直方图均衡的红外图像增强[J]. 激光与红外, 2013, 43(2): 225-228. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201302025.htm YIN Shichang, YU Songlin. Infrared image enhancement based on wavelet transform and histogram equalization[J]. Laser and Infrared, 2013, 43(2): 225-228. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201302025.htm
[8] CAI B, XU X, GUO K, et al. A joint intrinsic-extrinsic prior model for Retinex[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 4000-4009.
[9] ZHANG X, WANG J. Contourlet-based non-local mean via Retinex theory for robot infrared image enhancement[J]. EAI Endorsed Transactions on Scalable Information Systems, 2022, 9(4): e10-e10.
[10] 王晨, 汤心溢, 高思莉. 基于人眼视觉的红外图像增强算法研究[J]. 激光与红外, 2017, 47(1): 114-118. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201701023.htm WANG Chen, TANG Xinyi, GAO Sili. Research on infrared image enhancement algorithm based on human eye vision[J]. Laser and Infrared, 2017, 47(1): 114-118. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201701023.htm
[11] 龚昌来, 罗聪, 杨冬涛, 等. 一种基于平稳小波域的红外图像增强方法[J]. 激光与红外, 2013, 43(6): 703-707. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201306024.htm GONG Changlai, LUO Cong, YANG Dongtao, et al. An infrared image enhancement method based on smooth wavelet domain[J]. Laser and Infrared, 2013, 43(6): 703-707. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201306024.htm
[12] Donoho D L, Johnstone I M. Ideal spatial adaptation by wavelet shrinkage[J]. Biometrika, 1994, 81(3): 425-455. DOI: 10.1093/biomet/81.3.425
[13] 黄玉昌, 侯德文. 基于改进小波阈值函数的指纹图像去噪[J]. 计算机工程与应用, 2014, 50(6): 179-181, 209. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201406039.htm HUANG Yuchang, HOU Dewen. Fingerprint image denoising based on improved wavelet threshold function[J]. Computer Engineering and Applications, 2014, 50(6): 179-181, 209. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201406039.htm
[14] DU J, LI W, XIAO B, et al. Union Laplacian pyramid with multiple features for medical image fusion[J]. Neurocomputing, 2016, 194: 326-339. DOI: 10.1016/j.neucom.2016.02.047
[15] 刘志强, 朱大奇. 一种新型小波图像融合的水下目标增强算法[J]. 控制工程, 2022, 29(12): 2235-2243. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202212008.htm LIU Zhiqiang, ZHU Daqi. A novel underwater target enhancement algorithm for wavelet image fusion[J]. Control Engineering, 2022, 29(12): 2235-2243. https://www.cnki.com.cn/Article/CJFDTOTAL-JZDF202212008.htm
[16] 易清明, 陈明敏, 石敏. 一种改进的小波去噪方法在红外图像中应用[J]. 计算机工程与应用, 2016, 52(1): 173-177. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201601033.htm YI Qingming, CHEN Mingmin, SHI Min. An improved wavelet denoising method in infrared images[J]. Computer Engineering and Applications, 2016, 52(1): 173-177. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201601033.htm
[17] 徐兴贵, 杨平, 刘永利. 基于全尺度Retinex算法的夜间图像去雾[J]. 微电子学与计算机, 2017, 34(7): 132-136. https://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ201707028.htm XU Xinggui, YANG Ping, LIU Yongli. Nighttime image defogging based on full-scale Retinex algorithm[J]. Microelectronics and Computers, 2017, 34(7): 132-136. https://www.cnki.com.cn/Article/CJFDTOTAL-WXYJ201707028.htm
[18] 占必超, 吴一全, 纪守新. 基于平稳小波变换和Retinex的红外图像增强方法[J]. 光学学报, 2010, 30(10): 2788-2793. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201010007.htm ZHAN Bichao, WU Yiquan, JI Shouxin. Infrared image enhancement method based on smooth wavelet transform and Retinex[J]. Journal of Optics, 2010, 30(10): 2788-2793. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201010007.htm
[19] 陈文艺, 杨承勋, 杨辉. 引导滤波和对数变换算法融合的多尺度Retinex红外图像增强[J]. 红外技术, 2022, 44(4): 397-403. http://hwjs.nvir.cn/article/id/f1fcd3be-4a81-4b25-ad02-5f8c035f0be2 CHEN Wenyi, YANG Chengxun, YANG Hui. Multiscale Retinex infrared image enhancement by fusion of bootstrap filtering and logarithmic transformation algorithms[J]. Infrared Technology, 2022, 44(4): 397-403. http://hwjs.nvir.cn/article/id/f1fcd3be-4a81-4b25-ad02-5f8c035f0be2
计量
- 文章访问数: 115
- HTML全文浏览量: 22
- PDF下载量: 39
