Infrared and Visible Image Fusion Based on a Rolling Guidance Filter
-
摘要: 为提高融合图像更加适应人类视觉感知，并解决可见光图像受光线、天气等影响而导致融合效果不佳的问题，本文提出了一种基于滚动引导滤波的可见光与红外图像融合方法。首先，利用引导滤波对可见光图像的内容进行增强，然后，利用滚动引导滤波将可见光和红外图像进行多尺度分解为小尺度层、大尺度层和基础层。在大尺度层的信息合成的过程中利用加权最小二乘法融合规则解决融合时可见光与红外图像不同特征带来的困扰，提高融合图像的视觉效果；在基础层的融合过程中采用优化的视觉显著图融合规则，减少对比度损失。最后，将大尺度层、小尺度层与基础层合并为融合后的图像。实验结果表明所给方法在提高视觉感知、细节处理、边缘保护等方面都有良好的效果。Abstract: The fusion image must be made more suitable for human visual perception and the problem of a poor fusion effect caused by light and weather must be solved. Therefore, this study proposes a fusion method of visible and infrared images based on a rolling guidance filter. First, guided filtering is used to enhance the content of the visible image. Then, a rolling guidance filter is used to decompose the visible and infrared images into small-scale, large-scale, and base layers. In the process of information synthesis of large-scale layers, the weighted least square fusion rule is used to solve the problem caused by different features of visible and infrared images, and to improve the visual effect of fusion images. In the process of fusion of the base layer, the optimized fusion rule of the visual saliency map is used to reduce the loss of contrast. Finally, the large-scale, small-scale, and base layers are merged into a fused image. The experimental results show that the proposed method improves the visual effect, detail processing, and edge protection.
-
Keywords:
- image fusion /
- rolling guidance filter /
- enhancement /
- weighted least square /
- visual saliency map
-
0. 引言
区别于传统的波纹管自调形式，记忆合金型自调式制冷器采用了另外一条自调技术路线，即利用记忆材料随温度变化产生的形状记忆效应来实现制冷器流量的调节，具有结构简单、装调方便、寿命长等优点[1]。记忆合金制冷器自调后，流量会趋于稳定，但在一些因素如振动、温度变化、制冷器记忆合金的不稳定等的影响下，稳定流量可能会发生较大变化，造成制冷器不到温或工作时间缩短。关于记忆合金自调式制冷器流量稳定性的研究，学者多从提升记忆合金弹簧的疲劳稳定性和设计预紧力来维持制冷器流量的稳定[2-5]，很少有学者研究节流孔大小对制冷器流量稳定性的影响。
由于焦耳汤姆逊效应存在，高压气体流经节流孔，压力明显降低，相应地温度大幅下降直至相变为液体，液态制冷工质蒸发后吸热来实现被冷却对象的制冷。
节流孔直径的设计对制冷器性能有着重要的影响：直径偏小，制冷流量也偏小，制冷量不足；直径偏大，制冷工质液化率低，制冷效率不高，且探测器工作时长会受到影响。为满足制冷量和探测器工作时长的要求，节流孔直径将被限制在一个范围内。对于对流量稳定性要求较高的自调式制冷器，考虑节流孔直径对流量稳定性的影响，可以进一步寻找到一个更佳的节流孔直径。本文对一款典型的记忆合金自调式制冷器，自调机构见图 1，对其节流孔孔径在0.10~0.25 mm之间变化时的流量稳定性进行了理论和实验研究，探讨了节流孔孔径对制冷器流量稳定性的影响[6]。
1. 理论计算
图 1是一款典型的记忆合金自调式制冷器结构，主要包括主动弹簧、形状记忆合金调节器、补偿块、平衡弹簧和阀针。制冷器通气后，高压气体先大流量流经节流孔，经节流后温度骤降，形状记忆合金弹簧被冷却收缩，主动弹簧和平衡弹簧相应地伸长，带动阀针运动关小节流孔实现流量的自动调节。
现从理论层面分析，改变节流孔孔径大小是否有助于提高自调制冷器流量稳定性。图 2为节流孔和阀针结构示意图，气流由1断面流向2断面。
为简化计算，现作两点假设：
1）气流由1断面流到2断面的沿程阻力损失忽略不计；
2）气流相变发生在2断面之后，1-2断面制冷工质保持气体状态。
现通过能量守恒来计算制冷工质流量。由于阀针阻碍导致的局部阻力损失系数为[7]：
$$\zeta {\rm{ = }}0.5\left( {1 - \frac{{{A_2}}}{{{A_1}}}} \right)$$ (1) 式中：A1、A2分别为1、2断面的过流面积。
由能量守恒知：
$${P_1} = 0.5(1 - \frac{{{A_2}}}{{{A_1}}})\frac{{\rho v_2^2}}{2} + {P_{{\rm{s2}}}} + {P_{{\rm{d2}}}}$$ (2) 式中：P1为断面1的全压；等式右侧第一项为断面1~2之间的局部压力损失，ρ为气流的密度；v2为断面2处的流速；Ps2为断面2的静压，与外界大气相通，接近于大气压，取值为0；Pd2为断面2处的动压，其表达式为：
$${P_{{\rm{d}}2}} = \frac{{\rho v_2^2}}{2}$$ (3) 流过断面2的流量为：
$$ Q = {A_2}{v_2} $$ (4) 式(2)、(3)、(4)联立：
$${P_1} = 0.5(1 - \frac{{{A_2}}}{{{A_1}}})\frac{{\rho {Q^2}}}{{2A_2^2}} + \frac{{\rho {Q^2}}}{{2A_2^2}}$$ (5) $$Q = \sqrt {\frac{{A_2^2{P_1}}}{{\frac{\rho }{2} + \frac{\rho }{4}(1 - \frac{{{A_2}}}{{{A_1}}})}}} $$ (6) 断面2面积A2可用节流孔孔径R1、阀针进入节流孔的深度l、阀针的角度α表示：
$$Q = \sqrt {\frac{{{{\left[ {{\rm{ \mathsf{ π} }}R_1^2 - {\rm{ \mathsf{ π} }}{{(l*\tan \frac{\alpha }{2})}^2}} \right]}^2}{P_1}}}{{\frac{\rho }{2} + \frac{{\rho {{(l*\tan \frac{\alpha }{2})}^2}}}{{4R_1^2}})}}} $$ (7) 由流量公式可知，影响流量的主要因素是节流孔孔径、阀针进入节流孔的距离、阀针的角度、进气压力、气流密度。
本研究通过计算制冷器流量变化量来评估不同节流孔孔径制冷器的流量稳定性。对于一种特定的自调式制冷器，其调试流量一般都会设定在某一区间，计算中控制不同直径的制冷器调试流量均相同，为14.61 g/min；设扰动因素会导致阀针进入节流孔中的距离减少0.01 mm；制冷工质为氮气，节流前密度为506.25 kg/m3；1断面处的压力为27 MPa，阀针角度为30°，计算结果如表 1和图 3所示。
表 1 节流孔孔径对流量稳定性影响算例Table 1. Example of the influence of orifice diameter on flow stabilityOrifice diameter/mm Setup flow rate/(g/min) Distance of needle into orifice at setup flow rate/mm Distance of needle into orifice after disturbance/mm Flow rate after disturbance/(g/min) Flow rate variation/(g/min) 0.10 14.61 0.1634 0.1534 21.07 6.46 0.11 14.61 0.1840 0.1740 21.80 7.19 0.12 14.61 0.2042 0.1942 22.52 7.91 0.13 14.61 0.2242 0.2142 23.23 8.62 0.14 14.61 0.2439 0.2339 23.94 9.33 0.15 14.61 0.2635 0.2535 24.65 10.04 0.16 14.61 0.2829 0.2729 25.35 10.74 0.17 14.61 0.3022 0.2922 26.05 11.44 0.18 14.61 0.3214 0.3114 26.74 12.13 0.19 14.61 0.3406 0.3306 27.44 12.83 0.20 14.61 0.3597 0.3497 28.14 13.53 0.21 14.61 0.3787 0.3687 28.83 14.22 0.22 14.61 0.3977 0.3877 29.52 14.91 0.23 14.61 0.4166 0.4066 30.22 15.61 0.24 14.61 0.4356 0.4256 30.91 16.30 0.25 14.61 0.4544 0.4444 31.60 16.99 ![]()
图 3 流量变化量和节流孔孔径的关系Figure 3. The correlation between flow rate variation and orifice diameter表 1数据显示，在14.61 g/min的调试流量下，扰动因素导致阀针进入节流孔的距离减少0.01 mm时，节流孔孔径为0.25 mm的制冷器流量增加了16.99 g/min，而节流孔孔径为0.10 mm的制冷器流量增加了6.46 g/min，小于0.25 mm孔径制冷器10.53 g/min；图 3显示制冷器流量变化量随节流孔孔径增大呈线性增大趋势；说明节流孔孔径越小，制冷器流量越不容易发生变化，流量稳定性越好。
制冷器调试流量既要满足制冷量要求，又不能超差，要处于一个合理的范围内。现分析调试流量大小对流量稳定性的影响。节流孔孔径设定为0.15 mm；调试流量在14.61~23.65 g/min之间变化；干扰因素相同，均使得阀针在节流孔中的距离减少0.01 mm；计算结果见表 2和图 4。
表 2 调试流量对流量稳定性影响算例Table 2. Example of the influence of adjusting flow rate on flow stabilityOrifice diameter/mm Setup flow rate/(g/min) Distance of needle into orifice at setup flow rate/mm Distance of needle into orifice after disturbance/mm Flow rate after disturbance/(g/min) Flow rate variation/(g/min) 0.15 14.61 0.2635 0.2535 24.65 10.04 0.15 15.62 0.2625 0.2525 25.64 10.02 0.15 16.63 0.2615 0.2515 26.63 10.00 0.15 17.64 0.2605 0.2505 27.63 9.99 0.15 18.64 0.2595 0.2495 28.62 9.97 0.15 19.65 0.2585 0.2485 29.60 9.96 0.15 20.65 0.2575 0.2475 30.59 9.94 0.15 21.65 0.2565 0.2465 31.58 9.93 0.15 22.65 0.2555 0.2455 32.56 9.91 0.15 23.65 0.2545 0.2445 33.54 9.89 ![]()
图 4 流量变化量和调试流量的关系Figure 4. The correlation between flow rate variation and adjusting flow rate表 2数据显示，在14.61 g/min的调试流量下，受扰动因素影响，制冷器流量变化量为10.04 g/min，当调试流量增大至23.65 g/min时，制冷器流量变化量为9.89 g/min，流量变化量减少了0.15 g/min；图 4中显示流量变化量随调试流量的增大呈线性减少趋势。整体来看，调试流量增加，制冷器的流量变化量会减小，但减小幅度不大，而调试流量调的过大，很容易造成制冷器流量超差，增大调试流量对提高制冷器的流量稳定性的作用较为有限。
理论分析表明：减小节流孔直径有助于提高制冷器的流量稳定性，改变调试流量对制冷器流量稳定性的影响较小。
2. 实验研究
制冷器在受到自身或外界因素变化的影响下，流量会发生变化。为引入扰动因素，实验中对制冷器进行了疲劳测试和振动测试。记忆合金弹簧由于其自身材料的特点存在疲劳稳定性的问题，其低温下收缩量不稳定会影响阀针进入节流孔的距离，导致制冷器流量的变化，疲劳测试可以反映记忆合金弹簧不稳定对制冷器流量稳定性的影响；振动测试是为了模拟制冷器机动过程中受到的加速度冲击，制冷器受加速度冲击后，自调机构之间的相对位置会发生一定的变化，从而导致制冷器流量发生变化。
疲劳测试台如图 5所示，疲劳测试设备一端与气源连接，另一端连有10个接口，可同时供10只制冷器测试。用户在控制台的可视化界面中输入工作时间、停机时间及运行次数，程序根据输入参数控制气源的输送和切断。测试在恒温、恒湿的洁净间中进行，温度为22℃、湿度为46%、净化等级为10万级。测试中，通过调节减压阀，将供气压力调节至29 MPa，工作时间设为5 min，停机时间设为15 min，运行次数设为100次。在工作时间内，程序打开气源开关，向制冷器输送高压气体，气体节流制冷，记忆合金弹簧被冷却后收缩；在停机时间内，程序关闭气源开关，停止向制冷器输送高压气体，制冷器无冷量输出，记忆合金弹簧逐渐恢复至原长，在100次的运行次数下，记忆合金弹簧经历100次的疲劳变形。
振动测试台如图 6所示，功能振动功率谱密度如图 7所示。试验中，制冷器固定于制冷器装卡夹具中，振动过程中制冷器全程通气，气源压力29 MPa。振动频率为20~2000 Hz，最大功率谱密度为0.04 g2/Hz，总加速度均方根值为7.68 g，振动方向为振动台轴向，振动时间为10 min。
记忆合金自调式制冷器节流孔直径通常在0.10~0.25 mm之间。为使对比明显，应选择直径跨度较大的节流孔。考虑到0.10 mm附近的节流孔加工难度大，精度较难保证，因此选择直径为0.15 mm和0.25 mm两种节流孔用实验研究。实验中，0.15 mm和0.25 mm两种节流孔规格的制冷器各制作9只，由于将制冷器的流量调至完全相同是非常困难的，实验中将制冷器在29 MPa进行调试，调试流量保持在15~18 g/min的小区间变化。对制冷器调试后、疲劳测试后、振动后的流量进行测试，测试压力为29 MPa和22 MPa，共有6种不同的工况。所用流量计为质量流量计，如图 8所示。测得的流量数据如表 3和表 4所示。
表 3 0.15 mm节流孔制冷器流量数据Table 3. Flow rate data of cryocoolers with 0.15 mm orificeCryocooler number Setup flow rate/(g/min) Flow rate after fatigue test/(g/min) Flow rate after vibration test /(g/min) 29 MPa 22 MPa 29 MPa 22 MPa 29 MPa 22 MPa A1 17.35 14.16 15.61 11.4 16.75 15.07 A2 16.47 12.32 16.9 14.3 15.73 14.57 A3 16.5 13.25 16.18 14.6 15.89 13.87 A4 16.15 12.38 14.32 11.83 11.92 8.13 A5 16.45 13.66 17.17 15.7 18.04 15.1 A6 15.16 11.85 16.45 13.95 16.19 13.56 A7 15.84 13.35 15.04 13.11 16.07 12.9 A8 16.67 12.36 18.07 14.75 17.99 14.05 A9 15.44 13.68 15.19 13.01 16.06 15.34 表 4 0.25 mm节流孔制冷器流量数据Table 4. Flow rate data of cryocoolers with 0.25 mm orificeCryocooler number Setup flow rate/(g/min) Flow rate after fatigue test/(g/min) Flow rate after vibration test /(g/min) 29 MPa 22 MPa 29 MPa 22 MPa 29 MPa 22 MPa B1 16.63 12.33 15.1 12.1 17.13 13.56 B2 15.28 12.97 15.9 10.54 15.84 9.89 B3 17.8 14.43 17.91 11.07 18.33 12.32 B4 15.35 11.67 16.4 13.34 16.17 13.57 B5 16.92 15.3 14.31 11.61 21.42 18.87 B6 16.32 14.6 17.2 13.41 21.13 17.23 B7 17.87 15.33 16.66 14.12 16.42 13.89 B8 15.19 13.3 19.4 17.4 12.41 5.77 B9 16.77 14.62 16.77 14.62 18.04 15.46 为比较两种不同规格制冷器的流量稳定性，现将调试后流量作为基准流量，记为Q0，疲劳测试后流量和振动测试后流量记为Q1和Q2，计算制冷器的流量方差σ和方差均值$\bar \sigma $，如式(8)和式(9)所示。计算制冷器在29 MPa和22 MPa下的流量方差，结果如表 5所示。
$$\sigma = \frac{{{{({Q_1} - {Q_0})}^2} + {{({Q_2} - {Q_0})}^2}}}{2}$$ (8) $$\bar \sigma = \frac{{\sum\limits_{i = 1}^9 {{\sigma _i}} }}{9}$$ (9) 表 5 0.15 mm/0.25 mm孔径制冷器流量方差Table 5. Flow rate variance of cryocoolers with 0.15 mm and 0.25 mm orificeCryocooler number Flow rate variance under 29 MPa Flow rate variance under 22 MPa Cryocooler number Flow rate variance under 29 MPa Flow rate variance under 22 MPa A1 1.6938 4.2229 B1 1.29545 0.7829 A2 0.3662 4.4915 B2 0.349 7.69565 A3 0.2373 1.1035 B3 0.1465 7.87085 A4 10.6209 9.1825 B4 0.88745 3.19945 A5 1.5233 3.1176 B5 13.53105 13.1805 A6 1.3625 3.6671 B6 11.95525 4.1665 A7 0.3465 0.1301 B7 1.7833 1.76885 A8 1.8512 4.2841 B8 12.72625 36.75545 A9 0.2235 1.6023 B9 0.80645 0.3528 Avarage 2.6932 3.5335 Avarage 4.8311 8.4192 从方差均值来看：0.15 mm节流孔的制冷器在29 MPa和22 MPa下的流量方差分别为2.6932和3.5335，而0.25 mm节流孔的制冷器在两种压力下的方差均值分别为4.8311和8.4192，明显大于节流孔直径为0.15 mm的情况。实验结果表明：0.15 mm节流孔孔径的制冷器在29 MPa和22 MPa下的流量方差波动均较小，不容易发生较大的流量变化。
3. 结论
流量稳定性是评价自调型制冷器性能的一个重要指标。制冷器流量增大会导致工作时长缩短，流量减小会导致制冷量不足。本文从理论分析和实验研究两种方法出发，探究了节流孔孔径对记忆合金自调式制冷器的流量稳定性的影响。研究表明：在满足其他使用要求的情况下，节流孔孔径设计地越小，制冷器的流量稳定性越好。本文研究内容有助于记忆合金型自调式制冷器设计优化。
-
![]()
图 2 基于多尺度分解的滚动方向导波融合流程图
Figure 2. Flow chart of fusion based on MSD of the rolling guided filter
表 1 用DWT、CVT、GFF、MGF、RGF_GS和RGF_GSE方法融合得到的指标
Table 1 Comparison with DWT, CVT, GFF, MGF, RGF_GS and RGF_GSE of different processing results
Criteria DWT CVT GFF MGF RGF_GS RGF_GSE EN 7.0418 7.0821 6.7096 6.6521 6.6325 7.1212 SD 42.9531 41.8259 34.9514 33.4429 36.0834 43.0536 QTE 0.3753 0.3713 0.41158 0.3804 0.3964 0.41163 QNCIE 0.80951 0.8083 0.8101 0.8059 0.8067 0.80952 PS 21.4059 20.7318 19.7443 18.4000 19.5114 24.8152 Time/s 2.03902 2.7364 1.5646 1.6532 1.9215 1.6604 
下载: 导出CSV
-
[1] ZHANG H, MA X, TIAN Y S. An image fusion method based on Curvelet transform and guided filter enhancement[J]. Mathematical Problems in Engineering, 2020(4): 1-8(DOI: 10.1155/2020/9821715)
[2] 张慧, 常莉红, 马旭, 等. 一种基于曲波变换与引导滤波增强的图像融合方法[J]. 吉林大学学报: 理学版, 2020, 58(1): 113-119. https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX202001018.htm ZHANG H, CHANG L H, MA X. An image fusion method based on Curvelet transform and guide filtering enhancement[J]. Journal of Jilin University: Science Edition, 2020, 58(1): 113-119. https://www.cnki.com.cn/Article/CJFDTOTAL-JLDX202001018.htm
[3] 张慧, 常莉红. 基于方向导波增强的红外与可见光图像融合[J]. 激光与红外, 2020, 50(4): 508-512. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202004021.htm ZHANG H, CHANG L H. Infrared and visible image fusion based on guided filtering enhancement[J]. Laser & Infrared, 2020, 50(4): 508-512. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW202004021.htm
[4] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[5] LI Shutao, KANG Xudong, HU Jianwen. Image fusion with guided filtering[J]. IEEE Trans. Image Process, 2013, 22(7): 2864-2875. DOI: 10.1109/TIP.2013.2244222
[6] Bavirisetti D P, XIAO G, ZHAO H, et al. Multi-scale guided image and video fusion: a fast and efficient approach[J]. Circuits System Signal Process, 2019, 38: 5576-5605. DOI: 10.1007/s00034-019-01131-z
[7] GAN W, WU X, WU W, et al. Infrared and visible image fusion with the use of multi-scale edge-preserving decomposition and guided image filter[J]. Infrared Physics & Technology, 2015, 72: 37-51.
[8] ZHANG Q, SHEN X, XU L, et al. Rolling guidance filter[C]//European Conference on Computer Vision, Springer, 2014: 815-830.
[9] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[10] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th ACM International Conference on Multimedia, ACM, 2006: 815-824.
[11] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5): 889-896. DOI: 10.1109/83.841534
[12] Rizzi A, Gatta C, Marini D. A new algorithm for unsupervised global and local color correction[J]. Pattern Recognition Letters, 2003, 24: 1663-1677. DOI: 10.1016/S0167-8655(02)00323-9
[13] ZHOU Z, WANG B, LI S, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[14] DONG Z, LAI C, QI D, et al. A general memristor-based Pulse coupled neural network with variable linking coefficient for multi-focus image fusion[J]. Neurocomputing, 2018, 308: 172-183. DOI: 10.1016/j.neucom.2018.04.066
[15] ZHOU Z, DONG M, XIE X, et al. Fusion of infrared and visible images for night-vision context enhancement[J]. Applied Optics, 2016, 55(23): 6480-6489. DOI: 10.1364/AO.55.006480
[16] ZHAI Y, Shah M. Visual attention detection in video sequences using spatiotemporal cues[C]//Proceedings of the 14th ACM International Conference on Multimedia, ACM, 2006: 815-824.
[17] Nava R, Cristo´bal G, Escalante-Ramırez B. Mutual information improves image fusion quality assessments[EB/OL][2007-09-04]. https://spie.org/news/0824-mutual-information-improves-image-fusion-quality-assessments?SSO=1
[18] WANG Q, SHEN Y, JIN J. Performance evaluation of image fusion techniques[J]. Image Fusion: Algorithms and Applications, 2008, 9(10): 469-492.
-
期刊类型引用(1)
1. 张巍，苏鹏翼，高涛，贾宝军. 弹簧参数对记忆合金式J-T制冷器流量的影响. 低温与超导. 2022(08): 93-99 . 
百度学术
其他类型引用(0)
计量
- 文章访问数: 266
- HTML全文浏览量: 77
- PDF下载量: 54
- 被引次数: 1
