Infrared and Visible Image Fusion Based on CNN with NSCT
-
摘要: 传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。Abstract: Traditional infrared and visible fused images suffer from missing details and blurred targets owing to single features in complex environments. This study presents a method for fusing infrared and visible images based on a convolution neural network(CNN) combined with a non-subsampled contourlet transform (NSCT). Firstly, the infrared and visible target feature information is extracted by CNN, and the source image is decomposed by the NSCT at multiple scales to obtain its high-frequency coefficients and low-frequency coefficients. Secondly, the high-frequency sub-bands and low-frequency sub-bands of the source image are fused separately using adaptive fuzzy logic and local variance contrast in combination with the target feature image. Finally, the fused image is obtained by inverse NSCT transformation. We conducted a comparative analysis with five other traditional algorithms. The experimental results show that the proposed method performs better in several objective evaluation indicators.
-
Keywords:
- image fusion /
- convolutional neural network /
- NSCT /
- fuzzy logic
-
0. 引言
航空发动机是航空飞行器中的核心部分,它的机械结构异常复杂,其可以产生足够动力支持航空飞行器的正常运行。航空发动机的正常运转将直接决定航空飞行器的可靠性和安全性,影响了航空飞行器的飞行安全[1-2]。航空发动机叶片正常工作对整个航空飞行器的飞行安全非常关键,在生产和服役过程中一直都需要对其进行检测和监测。作为航空发动机的重要组成部分,航空发动机长期在高温、高压、缺氧的恶劣环境下,在高频率振动、高温、高压的共同作用下,发动机叶片的结构强度和振动问题比较明显,容易导致叶片出现裂纹甚至是断裂情况。叶片裂纹根据断裂力学理论,处于扩展区域的裂纹将呈现指数形式的扩展,微小裂纹的危害将很快显现出来[3]。因此针对航空发动机的叶片检测显得尤为重要,不仅可以对叶片裂纹的状态进行判断,也可以对航空发动机的安全进行评估[4]。
目前对航空发动机叶片裂纹的检测主要为两大类:破坏性检测方法和非破坏性检测方法。破坏性检测方法是指通过破坏叶片样品进行微晶分析; 非破坏性方法是指采用无损检测方式对叶片样品进行检测,不破坏叶片表面结构,采用常见的物理或者化学方法对叶片进行无损检测,敲击法、磁粉检测、孔探仪、渗透检测、超声检测等[5-9]。敲击法对发动机叶片进行敲击,根据声音判断叶片是否存在裂纹,但该方式需要丰富的经验,并且容易误判或者漏检; 磁粉检测根据试件表面磁力线局部异常产生磁场吸附磁粉,在特殊光照下形成磁痕从而检测出缺陷,但该检测方式需要消磁和清理检测区域,响应速度慢、检测效率低; 渗透检测主要采用荧光等渗透剂喷洒在试件表面,通过紫外灯检测出样品表面裂纹,渗透检测过程中不仅需要喷洒荧光剂,还需要同时施加显影剂; 磁粉检测过程中需要消磁和清理被测区域,响应速度慢、耗时长、不适合现场批量检测[5-7]。超声检测利用超声波在试件内部传播,遇到声阻抗不同的界面发生反射、折射,对接收到的反射波进行分析来检测缺陷,但对于叶片类异形曲面结构,由于超声波在试件内部传播异常复杂,难以有效把握超声波传播规律,因而难于应用到实际检测中[10]。
超声红外热成像技术作为一种新型的红外检测技术,结合了超声激励和红外热成像技术,采用主动热激励方式对试件内部进行热激励[11-12],; 超声激励为体加热方式,相对于脉冲红外热成像技术的面加热方式,体加热方式可以多维度区域加热,同时超声激励属于选择性激励,仅在缺陷区域产生温升,非缺陷区域不产生温升,能更有效避免周围热波信号的干扰,从而超声激励方式能更有效地检测试件内微小裂纹[13-14]。目前在西方先进工业国家已经成功地应用在航天航空领域的关键金属部件的裂纹缺陷检测[15-16],如发动机的叶片等。
1. 基本原理
该技术主要是利用高功率超声波作为热激励源,超声波在试件内部传播引起内部裂纹摩擦生热、塑性变形、热弹效应等产生热量而引起试件缺陷区域局部温升,局部温升由于三维热扩散效应,温升区域热量从缺陷区域传递到试件表面,通过红外热像仪采集试件表面连续变化的温度信息,超声红外热成像技术原理示意图如图 1所示,主要包括红外热像仪、超声激励装置、图像处理和控制系统。最终根据采集到试件表面温度信号可以分析出试件内部缺陷的信息,从而可以实现试件内部缺陷信息的检测。
与其他激励方式红外热成像技术相比,超声激励红外热成像技术具有如下特点:一是超声激励不需要考虑热激励均匀性,属于选择性激励方式,仅对裂纹缺陷区域产生温升,对非缺陷区域基本不产生温升; 二是对复杂形状的试件依然可以取得较好的检测效果,不需要试件表面基本处于同一平面; 三是超声激励属于试件内部激励,相对于表面激励方式,热波传递到试件表面时间更短,更适合于检测出内部微小裂纹。
超声红外热成像技术对于航空发动机叶片内部裂纹比较有效,特别是对于叶片微小裂纹,裂纹更容易在超声激励作用下摩擦发热,由于三维热扩散,发热区域比实际裂纹区域要大,这将有助于微小裂纹的检测,而这种内部微小裂纹用其他方法难于有效检测。
2. 实验验证
2.1 实验平台系统
超声红外热成像实验平台系统实物如图 2所示,系统主要由超声激励源、超声发射器、超声枪、信号发生器、红外热像仪、结构支架、激光测振仪、计算机等组成。其中超声激励源包括超声驱动器、超声换能器及变幅杆等。激光测振仪主要用于测量试件表面振动信号,用于表征超声信号是否正常耦合进试件,信号发生器主要用于确保超声激励和红外热像仪采集之间的同步,以利于红外图像信号的处理和分析。红外热像仪正对航空发动机叶片试件,确保试件在红外热像仪视场中央,采集图像过程中不能移动叶片试件。计算机系统主要用于控制预紧力大小、热像仪采集时间、超声激励与采集同步、红外图像处理。
为了保证超声波能有效耦合进试件,需要超声枪头压在试件上,同时施加一定的预紧力,预紧力的大小需要通过压力传感器实时测量,从而能负反馈控制预紧力的大小。
超声枪的激励频率为20 kHz,激励功率为800 W,超声激励时间可设为200 ms~10 s,预紧力可设为0~2000 N,红外热像仪为FLIR公司生产的FLIR SC3000制冷热像仪,等效噪声温差(noise equivalent temperature difference, NETD)低于20 mK,探测波长范围8~9 μm,分辨率为320×240,采集帧频50 Hz。
2.2 航空发动机叶片
航空发动机叶片分为工作叶片和导向叶片,工作叶片称为转子叶片,导向叶片称为静子叶片,工作叶片位于导向叶片后方位置,如图 3所示。工作叶片需要承受较大的气流速度,因而工作叶片叶身厚,沿着叶高的截面变化相对明显,叶尖部分常常带有特殊构造,采用耐高温的镍基合金,在高温下有高的抗氧化和抗热腐蚀的能力,工作叶片的异形构造特性和表面涂层给实际检测带来了很大困难。
3. 实验结果对比
为了验证超声红外热成像检测效果,开展对比研究,分别采用渗透检测和金相技术对试件进行检测。
3.1 超声红外热成像结果
采用超声红外热成像技术对航空发动机工作叶片进行检测,实验中参数设置如下:超声激励时间设置为600 ms,超声激励预紧力设置为200 N,幅值输出设置100%,采集频率为50 Hz,采集时间3 s,采集帧数为150帧。选取采集序列中的6帧图像,如图 4所示,0 s时刻为超声激励前图像,是采集前背景图像,图 4中可以看出,缺陷从无到有、从逐渐变亮到逐渐变暗的过程,在超声激励过程中由于缺陷区域摩擦生热导致温度升高,超声激励结束后通过热传导效应传热至试件表面,热传导过程中会向三维方向扩散,热波在传播中会逐渐衰减,物理表现出热波强度逐渐减小、热波面积逐渐增大; 在红外图像中表现出亮斑区域逐渐扩大并逐渐消失的过程。
超声激励前背景图像为温度平衡基本处于稳态的过程,叶片表面温度基本一致,看不出缺陷信息,超声激励后有缺陷区域开始温升,0.5 s时刻亮斑区域较小,0.86 s时刻亮斑区域增大,1.2 s时刻亮斑区域增至最大,之后时刻亮斑区域强度逐渐变暗至消失。
从不同时刻检测到的序列图像中可以看出,该航空发动机工作叶片存在3个缺陷区域,提取3个缺陷区域的信息,得到缺陷标注图像,3个缺陷区域分别为①、②、③号缺陷,如图 5所示。
3.2 渗透检测结果
渗透检测是将一种荧光的渗透涂覆剂涂在试件表面,在毛细管现象的作用下,荧光渗透剂渗入表面开口的缺陷区域; 然后去除试件表面多余的荧光渗透液; 最后在试件表面喷上一层显像剂,同样在毛细管作用下,显像剂将缺陷区域的荧光渗透液回渗到显像剂中,在一定的光源下荧光渗透痕迹被显示,从而检测出缺陷,但渗透检测只能用于检测致密性试件且只能检测表面开口裂纹。
渗透检测结果如图 6所示,在叶片进气靠近叶尖位置看到1处裂纹,裂纹长度约1.5 mm,对应于超声红外热成像检测结果的缺陷①。
3.3 金相检测结果
为了验证超声红外热成像技术检测到的3个缺陷具体信息,采用金相显微镜对缺陷区域进行放大显示。
缺陷①金相显微镜放大图像结果如图 7所示,图 7(a)显示的是98×放大图像,图 7(b)显示的是1000×放大图像,从两个放大倍数的显微图像中都可以明显看到有裂纹,从图 7(b)中可以测量得到裂纹的宽度大致为15 μm。
缺陷②金相显微镜放大图像结果如图 8所示,图 8(a)显示的是98×放大图像,图 8(b)显示的是5000×放大图像,图 8(a)显微图像中无法看到缺陷裂纹图像,从图 8(b)显微图像像中可以明显看到有一裂纹缺陷,从图 8(b)中可以测量得到裂纹的宽度大致为0.5 μm。
3.4 结果对比分析
对于图 3所示的航空发动机工作叶片,超声红外热成像技术检测出了3个缺陷,缺陷编号分别是①、②、③,采用渗透检测,以荧光剂作为渗透液,仅检测出缺陷编号①的一处缺陷,采用金相显微镜对缺陷编号为①、②的缺陷放大,可以很清晰看到缺陷①处裂纹宽度约为15 μm,缺陷②处裂纹宽度约为0.5 μm,缺陷③从可见光图像观察可以明显看到有一开口缺陷。对于渗透检测的最小宽度裂纹,在理想情况下,侧壁绝对光滑、长宽比大于1、深宽比大于1的开口裂纹,理论上可以检测出0.1 μm宽度的缺陷裂纹。由于实际裂纹与理论上的裂纹存在差异,实际上的裂纹不会是理想中笔直的形状,且实际检测过程中存在外界条件、渗透液物理性能、渗透液化学性能、着色强度等干扰因素,因而采用渗透检测无法检测出约为0.5 μm宽度的缺陷②裂纹缺陷,但可检测出约为15 μm宽度缺陷①裂纹缺陷。对于超声红外热成像技术,由于缺陷②相比于缺陷①,裂纹缺陷宽度更窄,在20 kHz超声频率激励下,缺陷②摩擦振动的幅度比缺陷①摩擦振动的幅度更大,因而缺陷②局部温升比缺陷①局部温升高; 缺陷③为开口缺陷,开口处的不平整区域导致在超声激励下的摩擦生热等效应产生局部温升。
4. 结语
本文基于超声红外热成像技术对航空发动机叶片进行检测,该技术结合了超声激励技术与红外热像技术的优势,对试件表面的形状、粉尘及污染等不敏感。通过搭建的超声红外热成像实验平台检测了服役过程中产生裂纹的航空发动机叶片,实验结果表明,采用超声红外热成像技术可有效发现宽度约为0.5 μm的微小裂纹,渗透检测无法有效发现该微小裂纹。说明该技术在裂纹缺陷检测中有特殊的应用优势。
-
图 3 红外图像“Nato_camp”及多种方法提取显著性图像:(a) 红外图像“Nato_camp”;(b) 图像“Nato_camp”标准分割图;(c) FT方法;(d) AC方法;(e) LC方法;(f) CNN方法
Figure 3. Infrared image ''Nato_camp'' and images after saliency extraction by various methods: (a) Infrared image "Nato_camp"; (b) Standard segmentation of image "Nato_camp"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
图 4 红外图像“Kaptein”及多种方法提取显著性图像:(a) 红外图像“Kaptein”;(b) 图像“Kaptein”标准分割图;(c) FT方法;(d) AC方法;(e) LC方法;(f) CNN方法
Figure 4. Infrared image ''Kaptein'' and images after saliency extraction by various methods: (a) Infrared image "Kaptein"; (b) Standard segmentation of image "Kaptein"; (c) FT method; (d) AC method; (e) LC method; (f) CNN method
图 6 “Nato_camp”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h) 本文方法
Figure 6. ''Nato_camp'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method; (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
图 7 “Kaptein”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h) 本文方法
Figure 7. ''Kaptein'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
图 8 “iron”红外和可见光图像以及融合结果:(a) 红外图像;(b) 可见光图像;(c) LP方法;(d) DWT方法;(e) BEMD方法;(f) NSST方法;(g) NSCT方法;(h)本文方法
Figure 8. ''iron'' infrared and visible images and fusion results: (a) Infrared image; (b) Visible image; (c) LP method (d) DWT method; (e) BEMD method; (f) NSST method; (g) NSCT method; (h) Proposed method
表 1 目标显著性提取评价指标MAE
Table 1 Target significance extraction evaluation index MAE
Method AC FT LC CNN MSE1 1429.6117 1816.0338 1377.7657 9.8357 MSE2 672.0769 1379.5997 1965.2603 17.2382 表 2 红外与可见光图像融合效果评价
Table 2 Infrared and visible image fusion effect evaluation
Image Image fusion method IE AG SF MI CEN “Nato_camp” LP 6.6747 5.5365 15.9373 1.7365 1.4858 DWT 6.9908 6.6575 17.4658 1.6712 0.6218 BEMD 6.6029 6.2838 17.1804 1.3671 1.7880 NSST 6.8419 5.8138 16.7266 1.3348 1.5568 NSCT 6.6224 6.3133 17.3085 2.0859 0.3409 Ours 7.1934 4.7142 17.5647 2.0883 0.3206 “Kaptein” LP 6.7174 4.0659 12.8846 3.2774 1.3173 DWT 7.1419 6.2009 18.9346 3.8891 1.0452 BEMD 6.7497 5.9790 19.4699 3.0136 1.2275 NSST 6.8063 4.4414 15.8489 3.9370 1.1409 NSCT 6.9281 6.3012 19.2932 3.6070 1.6858 Ours 7.2729 4.5076 20.1209 3.9387 1.0457 “iron” LP 6.4638 7.1542 20.2285 3.1355 0.5064 DWT 6.6377 11.7327 33.4574 3.3785 0.6087 BEMD 6.5765 9.4525 23.3567 3.4273 0.5408 NSST 6.7624 14.7945 39.4278 3.4058 0.5075 NSCT 6.7352 15.6254 40.4253 3.1668 0.4772 Ours 6.7648 14.7857 40.8547 3.8173 0.4117 -
[1] MA J Y, MA Yong. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] 董安勇, 杜庆治. 基于卷积神经网络的红外与可见光图像融合[J]. 红外技术, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009 DONG Anyong, DU Qingzhi. Infrared and visible image fusion based on vonvolutional neural network[J]. Infrared Technology, 2020, 42(7): 660-669. http://hwjs.nvir.cn/article/id/hwjs202007009
[3] 杨孙运, 奚峥皓, 汪汉东, 等. 基于NSCT和最小化-局部平均梯度的图像融合[J]. 红外技术, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6 YANG Sunyun, XI Zhenghao, WANG Handong, et al. Image fusion based on NSCT and minimum-local mean gradient[J]. Infrared Technology, 2021, 43(1): 13-20. http://hwjs.nvir.cn/article/id/144252d1-978c-4c1e-85ad-e0b8d5e03bf6
[4] ZHANG Shuang, LIU Feng. Infrared and visible image fusion based on non-subsampled shearlet transform, regional energy, and co-occurrence filtering[J]. Electronics Letters, 2020, 56(15): 761-764. DOI: 10.1049/el.2020.0557
[5] LIU Yu, LIU Shuping, WANG Zengfu. A general framework for image fusion based on multi-scale transform and sparse representation[J]. Information Fusion, 2015, 24: 147-164. DOI: 10.1016/j.inffus.2014.09.004
[6] CUI Y, DU H, MEI W. Infrared and visible image fusion using detail enhanced channel attention network[J]. IEEE Access, 2019, 7: 182185-182197. DOI: 10.1109/ACCESS.2019.2959034
[7] XIA Jingming, YI Lu. Intelligent fusion of infrared and visible image data based on convolutional sparse representation and improved pulse-coupled neural network[J]. CMC-Computers Materials & Continua, 2021, 67(1): 613-624.
[8] 肖中杰. 基于NSCT红外与可见光图像融合算法优化研究[J]. 红外技术, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010 XIAO Zhongjie. Improved infrared and visible light image fusion algorithm based on NSCT[J]. Infrared Technology, 2017, 39(12): 1127-1130. http://hwjs.nvir.cn/article/id/hwjs201712010
[9] MA Jinlei, ZHOU Zhiqiang. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics and Technology, 2017, 82: 8-17. DOI: 10.1016/j.infrared.2017.02.005
[10] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007 FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. DOI: 10.3969/j.issn.1001-0548.2017.02.007
[11] 闫利, 向天烛. NSCT域内结合边缘特征和自适应PCNN的红外与可见光图像融合[J]. 电子学报, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002 YAN Li, XIANG Tianzhu. Fusion of infrared and visible images based on edge feature and adaptive PCNN in NSCT domain[J]. Acta Electronica Sinica, 2016, 44(4): 761-766. DOI: 10.3969/j.issn.0372-2112.2016.04.002
[12] 陈震, 杨小平. 基于补偿机制的NSCT域红外与可见光图像融合[J]. 仪器仪表学报, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019 CHEN Zhen, YANG Xiaoping. Infrared and visible image fusion based on the compensation mechanism in NSCT domain[J]. Chinese Journal of Scientific Instrument, 2016, 37(4): 860-870. DOI: 10.3969/j.issn.0254-3087.2016.04.019
[13] 周渝人, 耿爱辉, 张强. 基于压缩感知的红外与可见光图像融合[J]. 光学精密工程, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm ZHOU Yuren, GENG Aihui, ZHANG Qiang. Fusion of infrared and visible images based on compressive sensing[J]. Optics and Precision Engineering, 2015, 23(3): 855-863. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201503032.htm
[14] REN Long, PAN Zhibin. Infrared and visible image fusion based on edge-preserving guided filter and infrared feature decomposition[J]. Signal Processing, 2021, 186: 108108.
[15] FU Zhizhong, WANG Xue. Infrared and visible images fusion based on RPCA and NSCT[J]. Infrared Physics and Technology, 2016, 77: 114-123.
-
期刊类型引用(14)
1. 董荣伟. 基于ADRC的高精度红外热成像仪温度控制系统设计. 计算机测量与控制. 2024(07): 162-168+175 . 百度学术
2. 李瑞,陈飞. 组合砌体墙损伤红外热像检测方法研究. 粉煤灰综合利用. 2024(05): 92-96 . 百度学术
3. 沈久利,张玉存. 改进烟花算法计算热态轴类锻件内圆柱体空洞缺陷深度. 中国机械工程. 2023(04): 387-394 . 百度学术
4. 温飞娟,温奇飞,龙樟,蒲京辰,邓荣. 基于超声红外热波技术的再制造零件裂纹检测研究现状. 材料导报. 2023(06): 169-176 . 百度学术
5. 刘毅,储银贺,李波. 基于持续热激励红外检测的风机叶片腐蚀检测. 激光与红外. 2023(05): 716-722 . 百度学术
6. 梁嘉辉,贾宇,汤雷,张盛行. 耦合压力加载对超声热激励效果影响研究. 水利水运工程学报. 2023(03): 104-110 . 百度学术
7. 李胤,宋远佳,江海军,陈飞,张凯. 编织复合材料低速冲击损伤超声热成像检测. 红外技术. 2023(08): 876-883 . 本站查看
8. 江海军,盛涛,郑金华,向苹. 超声红外热成像技术国内研究现状与进展. 红外技术. 2023(10): 1020-1028 . 本站查看
9. 谢有浩,任杰,姜阔胜. 汽车散热器焊合率热成像检测系统. 河南科技大学学报(自然科学版). 2022(04): 41-45+6 . 百度学术
10. 王浩,吴易泽,王涛. 基于阵列热风激励的航发叶片近表面缺陷红外检测方法. 红外技术. 2022(10): 1112-1117 . 本站查看
11. 乔俊明. 大坝心墙河床段基座混凝土裂缝的远程红外监测. 无损检测. 2022(10): 35-39 . 百度学术
12. 冯辅周,朱俊臻,李志农. 超声红外热像技术发展现状及其在航空材料缺陷检测中的应用. 航空制造技术. 2022(20): 36-53 . 百度学术
13. 韩梦,尹嘉雯,黄军科,李伟,魏勤. 铝合金板疲劳微裂纹超声红外成像检测的数值及实验研究. 应用声学. 2022(05): 727-734 . 百度学术
14. 蔡亮. 基于超声红外热波成像的桥梁结构损伤识别方法. 现代交通技术. 2022(06): 55-59 . 百度学术
其他类型引用(7)