Multi-scale Image Fusion Based on Adaptive Weighting
-
摘要: 近年来图像融合技术广泛应用到电力行业，通过不同类型的图像传感器采集电力设备和输电线的图像，经过红外和可见光的图像融合处理，实现电力设备及输电线的智能巡视和故障分析。文中提出一种基于自适应加权的多尺度图像融合算法，采用配准后的可见光和红外图像，进行多尺度小波分解，根据高低频的不同图像特征，低频采用自适应加权融合规则，高频采用绝对值最大的融合规则，将融合后的小波系数进行逆变换后得到全新的融合图像。通过对融合图像的主观和客观评价分析，证明融合算法解决了单一图像传感器采集图像存在的完整性问题，提高了融合图像细节信息，提升了场景的置信度。Abstract: In recent years, image fusion technology has been widely used in the power industry. Different types of image sensors are used to collect images of power equipment and transmission lines. Through the fusion of infrared and visible light images, intelligent inspection and fault analysis of power equipment and transmission lines can be realized. This article first briefly introduces common image fusion algorithms and fusion image evaluation standards. A multi-scale image fusion algorithm based on adaptive weighting is proposed, which uses the registered visible light and infrared images to perform multi-scale wavelet decomposition. According to the different image characteristics of high and low frequencies, the low frequency adopts the adaptive weighted fusion rule and the high frequency adopts the fusion rule with the largest absolute value. The fused wavelet coefficients are inversely transformed to obtain a new fused image. Subjective and objective evaluation and analysis of the fusion image confirm that the fusion algorithm solves the integrity problem of the image collected by a single image sensor, enhances the detailed information of the fusion image, and improves the confidence of the scene.
-
Keywords:
- infrared and visible light /
- image fusion /
- electric equipment /
- multi-sensor
-
0. 引言
以制冷型红外焦平面探测器组件为核心的红外热像仪在军事、航天、工业和医学等领域都有着广泛的应用，而制冷型红外探测器组件因高灵敏度和高空间分辨率，在远距离红外目标探测、重要军事目标识别等应用中占有重要地位。随着研制技术的不断发展和运用的广泛深入，用户对红外探测器组件产品可靠性要求越来越严格，过去红外探测器组件可靠性随热像仪整机考核的做法已不适应现在的应用需求，探测器组件可靠性指标进行单独评价验证已成为产品定型、验收的必然。
目前，产品可靠性最终结果只能依靠可靠性试验确定[1]。从现行标准中选择推荐的可靠性试验方案是探测器组件产品进行单独可靠性评价时承制方和订购方均认可的通行做法。
在中波红外640×512（25 μm）HgCdTe探测器组件的研制中，选取了GJB 899A-2009《可靠性鉴定和验收试验》的方法对探测器组件进行单独的可靠性鉴定试验[2]，为满足GJB 899A的选用条件，在研制过程中进行了一系列可靠性试验，作为产品可靠性水平评价的数据支撑。
1. 红外焦平面探测器组件可靠性预计
1.1 可靠性预计
作为可靠性基础研究技术，可靠性预计既是产品研发的初始，也是评估产品最终满足设计要求的基础，同时可靠性预计也是最具争论的一项评估方法。
对于制冷型红外焦平面探测器组件目前尚无成熟的评估模型，通过总结类型产品的各种试验数据和运用场景进行预计的准确性不断受到质疑，随着产品数据量增加、批量生产的稳定以及试验技术的发展，现在能够通过对探测器组件以及关键部件进行加速寿命试验，得到更高准确度、与可观测数据印证的试验数据对探测器组件可靠性水平进行预计和评价。
1.2 关键部件的可靠性试验数据
根据产品功能实现，制冷型红外焦平面探测器组件可以分解为芯片组（探测器芯片与读出电路芯片集成组合）、温度传感器、杜瓦和制冷机4个功能部件，均为可靠性关键部件。
在探测器研制过程中，根据关键部件的设计、工艺制造特点以及可靠性预计和分配情况，采用了不同的可靠性评价试验方法，目前对探测器组件的部件在工作阶段的主要失效模式和加速应力试验方法见表 1。
表 1 探测器组件4种功能部件的主要失效模式和加速应力试验方法Table 1. Main failure modes and accelerated stress test for four functional components of detector assemblyComponents name Failure mode Accelerated stress test method Chipset Pixel Degradation, interconnect failure High temperature accelerated test, cycle test of working temperature Refrigerator Wear failure of moving parts Continuous start-up test Dewar Material outgassing High temperature accelerated test Temperature sensor Breakdown, interconnect failure Cycle test of working temperature 对芯片组、制冷机、杜瓦、温度传感器试验样品分组分别开展高温加速寿命试验和持续工作试验。取各部件主要性能参数为试验测试参数定期监测。
制冷机持续开机工作试验，并采用实际的无故障开机工作时间评估其平均故障间隔时间（mean time to failure, MTTF）值。
高温加速试验样本，获得各组试验样本在试验应力下的时间-累计失效分布，计算该应力水平下的寿命值，然后基于Arrhenius模型获得其激活能参数，外推常温下的贮存寿命，并利用单边估计计算在一定置信水平下样品在常温下的失效率单边上限，计算公式为：
$$\lambda=\frac{\chi_{1-\alpha, 2 r+2}^2}{2 \cdot t \cdot \mathrm{SS} \cdot \mathrm{AF}}$$ (1) 式中：λ为样本的失效率；χ1－α, 2r+22为χ2分布的α分位数；α为单边置信水平，试验中取90%；r为失效样本数量；t为试验时间，h；ss为总样本数量；AF为试验样本在常温贮存条件下的加速系数。
对中波红外640×512（25 μm）探测器组件各关键部件进行的专项可靠性试验包括：
芯片组：分别通过实施高温贮存加速寿命试验（90℃条件贮存216 h）和连续工作试验（常温条件连续工作600 h）得到芯片组贮存寿命失效率为1.03×10－6/h，工作失效率4.52×10－6/h。
金属微杜瓦：进行了高温贮存加速寿命试验[3]（贮存71℃条件贮存，以试验样品的热负载超过初始值25%为失效判定），试验于发生1只样本失效时结束，最终高温贮存时间13896 h，推算其常温贮存失效率为3.76×10－6/h。
斯特林制冷机：连续开机工作试验，任务剖面基于实验室条件（环境温度20℃，标准负载，制冷温度80 K），总的无故障连续开机工作时间6108 h，失效率为163.7×10－6/h。
温度传感器：试验样品以25℃（常规库存温度）存储，定期进行低温冲击（77 K），累计试验时间大于26280 h，无故障发生，失效率为4.87×10－6/h。
1.3 红外焦平面探测器可靠性预计值
探测器组件与关键组成部件之间的可靠性逻辑关系为串联可靠性模型。探测器组件的总体失效率为：
$$\lambda_{\mathrm{S}}=\sum\limits_{i=1}^4 \lambda_i$$ (2) 式中：λS为探测器组件的失效率；λi为探测器组件第i个单元的失效率。
目前，在探测器组件的研制过程中，由于资源和时间限制，对一个型号产品进行充分可靠性试验的条件是有限的，通常是根据关键部件的专项可靠性试验结果，及同类探测器组件的可靠性经验数据，并考虑到产品装配在热像仪整机中的内部环境比产品各关键部件环境更为苛刻，包括温度升高、振动量级放大等因素，对失效率给出综合判断。中波红外640×512（25 μm）探测器组件各关键部件的综合预计[4]结果见表 2。
表 2 探测器组件关键部件失效率预计结果Table 2. Predicted results of failure rate of key components of detector assemblyKey components name Test value of failure rate Comprehensive estimated value of failure rate Chip set 5.55×10－6/h 31.7×10－6/h Dewar 3.76×10－6/h 14.3×10－6/h Refrigerator 163.7×10－6/h 166.7×10－6/h Temperature sensor 4.87×10－6/h 8.7×10－6/h 探测器组件失效率取各关键部件的综合预计值进行计算：
$$\lambda_{\mathrm{S}}=221.4 \times 10^{-6} / \mathrm{h}$$ 平均故障间隔时间：
$$\mathrm{MTBF}_{\mathrm{S}}=\frac{1}{\lambda_{\mathrm{S}}}=4516.7 \mathrm{~h}$$ 2. 可靠性验证试验
2.1 统计方案的选用
对探测器组件进行的可靠性验证试验采用GJB 899A-2009规定的可靠性鉴定方法。
以项目指标要求的平均无故障工作时间（mean time between failure，MTBF）最低可接受值1500 h作为检验下限θ1，探测器组件的MTBF预计值4516 h为其检验上限值θ0，则鉴别比：
$$ d＝θ_{0}/θ_{1}＝4516/1500＝3.01 $$ 试验方案选取GJB 899A-2009[2]中的标准定时截尾方案17，详见表 3。
表 3 标准定时截尾试验统计方案Table 3. Statistical scheme of standard timed censoring testScheme number User risk α Developer risk β Identification radio d Test time (Multiple) Number of rejected failures Number of received failure Total trial time T 17 20% 20% 3.0 4.3 ≥3 ≤2 6450 h 2.2 试验剖面
试验施加的综合应力采用产品实际使用时的应力条件。试验设备和装置可在施加温度应力及振动应力时分别同时施加电应力，试验剖面如图 1所示。
![]()
图 1 可靠性试验综合环境试验剖面注：振动应力：按GJB150.16A-2009图C.4和表D8[5]，进行扫描。3个轴向各振动1次，每个轴向60 min，每个试验段12 min。振动过程中被试品开机工作。Figure 1. Reliability trial comprehensive environmental test profileNote: Vibration stress: scanning according to GJB 150.16A-2009 Figure C.4 and Table D8[5], Three axial vibration once, each axial 60 min, each test section 12 min. Vibration over in the process of the subject boot work.2.3 试验实施及结果
可靠性鉴定试验具体试验情况及结果如下：
① 受试产品数量8套；每周期试验时间为96 h；
② 第1周期前先进行16 h低温贮存，第5个周期前先进行16 h高温贮存，贮存时不施加电应力；
③ 在每个试验周期常温工作期间，在额定电压下施加1次振动应力；
④ 每产品完成试验周期：8周期后再进行6.25 h；
⑤ 总试验时间完成：6450 h；
⑥ 试验发生故障次数：0次。
3. 可靠性评估
3.1 点估计
对于零故障时MTBF的点估计计算，考虑探测器组件在实际使用中需要较高的可靠性，选择将试验时间作为探测器组件MTBF点估计值，假设如果试验继续，立即发生一个故障，即MTBF点估计值：
$$ \hat \theta = T = 6450\mathrm{~h} $$ 3.2 置信度
根据可靠性试验选取的标准定时截尾方案17，使用方风险β＝20%，采用GJB 899A-2009推荐，置信度取为：
$$ C＝(1－2β)×100\%＝60\% $$ 单边置信限的置信度：
$$ C′＝(1+C)/2＝80\% $$ 3.3 置信区间
由于试验无失效情况，只确定MTBF置信下限。单边置信下限为：
$$\theta_{\mathrm{L}} \geq \frac{2 T}{\chi_{1-C^{\prime}, 2 r+2}^2}$$ (3) 式中：θL为MTBF置信下限；T为试验时间；C′为单边置信限的置信度；r为故障次数。
将试验时间6450 h、故障次数0次、单边置信限置信度80%代入公式(3)，可得：
$$ {\theta _{\mathrm{L}}} \geqslant \frac{{2 \times 6450}}{{\chi _{0.2, 2}^2}} = 4007.6\, {\rm h} $$ 即探测器组件MTBF单边置信下限θL＝4007.6 h，说明MTBF真值大于或等于4007.6 h的概率为80%。
4. 结论
根据以上对中波红外640×512（25 μm）探测器组件依据关键部件专项可靠性试验数据、可靠性试验、长期使用统计数据进行较精确的可靠性水平评价，并据此信息进行的以用户要求功能和使用条件为任务剖面的可靠性鉴定试验结果的分析，试验对制冷型红外探测器组件做出了较为客观、准确的评估，为探测器组件可靠性试验研究提供了一个有效可行的模式。
-
![]()
图 4 基于自适应多尺度小波变换的图像融合流程
Figure 4. Image fusion process based on adaptive multi-scale wavelet transform
表 1 高空输电线图像的融合客观评价标准对比
Table 1 Comparison of objective evaluation criteria for fusion of high-altitude transmission line images
STD MEAN AG EN RMSE SSIM CEN Weighted average 39.3650 98.5524 3.1722 7.1353 71.4027 0.3234 1.0664 wavelet transform 39.3650 98.5523 3.1722 7.1353 71.4027 0.3234 1.0664 WT & weighted average 38.2143 109.7571 2.9482 7.1895 85.4409 0.2735 1.1609 Improved wavelet transform 41.2748 98.2816 5.2196 7.2012 70.9102 0.3392 4.0186 
下载: 导出CSV
表 2 电力设备图像融合客观评价指标对比
Table 2 Comparison of objective evaluation indicators for image fusion of power equipment
STD MEAN AG EN RMSE SSIM CEN Wavelet transform 51.1815 147.3664 6.1471 7.5610 40.2199 0.5510 0.3889 Improved wavelet transform 55.0531↑ 147.1156 10.4049↑ 7.6992↑ 40.4952 0.4329↓ 0.3403↓
下载: 导出CSV
-
[1] 王景致, 刘刚, 袁嘉彬, 等. 电力巡检中的图像融合技术与应用[J]. 自动化技术与应用, 2019, 38(8): 4. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ201908026.htm WANG Jingzhi, LIU Gang, YUAN Jiabin, et al. Image fusion technology and application in power inspection[J]. Techniques of Automation and Applications, 2019, 38(8): 4. https://www.cnki.com.cn/Article/CJFDTOTAL-ZDHJ201908026.htm
[2] Pohl C, Van Genderen J L. Review article multisensor image fusion in remote sensing: concepts, methods and applications[J]. International Journal of Remote Sensing, 1998, 19(5): 823-854. DOI: 10.1080/014311698215748
[3] 李婵飞, 刘文晶. 一种新颖的红外与可见光图像融合方法[J]. 红外技术, 2020, 42(4): 74-81. http://hwjs.nvir.cn/article/id/hwjs202004010 LI Chanfei, LIU Wenjing. Novel fusion method for infrared and visible light images[J]. Infrared Technology, 2020, 42(4): 74-81. http://hwjs.nvir.cn/article/id/hwjs202004010
[4] 陈凤翔, 刘博迪, 方广东. 基于机器视觉的无人机电力巡线技术[J]. 电子技术与软件工程, 2019, 150(4): 76-77. https://www.cnki.com.cn/Article/CJFDTOTAL-DZRU201904047.htm CHEN Fengxiang, LIU Bodi, FANG Guangdong. Research on the technology of UAU power line inspection based on machine vision[J]. Electronic Technology & Software Engineering, 2019, 150(4): 76-77. https://www.cnki.com.cn/Article/CJFDTOTAL-DZRU201904047.htm
[5] 王立军, 张拓, 刘光伟, 等. 基于机器视觉技术的高压断路器机械特性诊断[J]. 高电压技术, 2020, 46(6): 303-309. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202006036.htm WANG Lijun, ZHANG Tuo, LIU Guangwei, et al. Diagnostics on mechanical characteristics of high voltage circuit breaker based on machine vision technology [J]. High Voltage Engineering, 2020, 46(6): 303-309. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYJ202006036.htm
[6] Ardeshir A Goshtasby, Stavri Nikolov. Guest editorial: image fusion: advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114-118. DOI: 10.1016/j.inffus.2006.04.001
[7] 苗启广, 王宝树. 基于改进的拉普拉斯金字塔变换的图像融合方法[J]. 光学学报, 2007, 27(9): 1605-1610. DOI: 10.3321/j.issn:0253-2239.2007.09.013 MIAO Qiguang, WANG Baoshu. Multi-sensor image fusion based on improved Laplacian pyramid transform[J]. Acta Optics Sinica, 2007, 27(9): 1605-1610. DOI: 10.3321/j.issn:0253-2239.2007.09.013
[8] 晁锐, 张科, 李言俊. 一种基于小波变换的图像融合算法[J]. 电子学报, 2004, 32(5): 750-753. DOI: 10.3321/j.issn:0372-2112.2004.05.011 CHAO Rui, ZHANG Ke, LI Yanjun. An image fusion algorithm using wavelet transform [J]. Acta Electronica Sinica, 2004, 32(5): 750-753. DOI: 10.3321/j.issn:0372-2112.2004.05.011
[9] ZHANG Bin, ZHENG Yongguo, FANG Wei, et al. A new image fusion algorithm based on second generation wavelet transform [C]// Computational Intelligence & Natural Computing Proceedings Second International Conference, 2010, 1: 390-393.
[10] 陶冰洁, 王敬儒, 许俊平. 基于小波分析的不同融合规则的图像融合研究[J]. 红外技术, 2006(7): 62-65. DOI: 10.3969/j.issn.1001-8891.2006.07.014 TAO Bingjie, WANG Jingru, XU Junping. Study on image fusion based on different fusion rules of wavelet transform[J]. Infrared Technology, 2006(7): 62-65. DOI: 10.3969/j.issn.1001-8891.2006.07.014
[11] 张生伟, 李伟, 赵雪景. 一种基于稀疏表示的可见光与红外图像融合方法[J]. 电光与控制, 2017, 24(6): 47-52. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201706012.htm ZHANG Shengwei, LI Wei, ZHAO Xuejing. A method for fusion of visible and infrared images based on sparse representation[J]. Electronics Optics & Control, 2017, 24(6): 47-52. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ201706012.htm
[12] 杨艳春, 李娇, 王阳萍. 图像融合质量评价方法研究综述[J]. 计算机科学与探索, 2018, 12(7): 6-20. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm YANG Yanchun, LI Jiao, WANG Yangping. Review of image fusion quality evaluation methods[J]. Journal of Frontiers of Computer Science and Technology, 2018, 12(7): 6-20. https://www.cnki.com.cn/Article/CJFDTOTAL-KXTS201807002.htm
计量
- 文章访问数: 241
- HTML全文浏览量: 84
- PDF下载量: 59
