Terahertz Image Enhancement Based on Generative Adversarial Network
-
摘要: 太赫兹扫描成像中,由于激光器功率波动和仪器振动等原因,导致图像对比度较低,成像质量有待提高,且目前针对太赫兹图像的处理还停留在传统算法阶段。本文结合深度学习思想,提出了一种基于生成式对抗网络的图像增强方法。通过对训练集图像引入模糊和噪声,学习低质量图像和高质量图像之间的映射关系,并将其应用在真实太赫兹图像中。实验结果表明,与双边滤波、非局部均值滤波等传统算法相比,本文方法可在改善图像细节的基础上显著提高图像对比度,且视觉体验良好,这为太赫兹图像增强提供了新思路。Abstract: In terahertz scanning imaging, the image contrast is low due to laser power fluctuation and instrument vibration, and the imaging quality needs to be improved. At present, the processing of terahertz image is still in the traditional algorithm stage. In this paper, an image enhancement method based on Generative Adversarial Network is proposed, which includes the idea of deep learning. By introducing blur and noise into the training set image, the mapping relationship between low-quality images and high-quality images is learned and applied to real terahertz images. The experimental results show that, compared with traditional algorithms such as bilateral filtering and non-local mean filtering, this method can significantly improve the image contrast on the basis of improving image details, and has a good visual sense, which provides a new idea for terahertz image enhancement.
-
Keywords:
- terahertz image /
- neural network /
- image enhancement /
- image contrast
-
0. 引言
航空发动机是航空飞行器中的核心部分,它的机械结构异常复杂,其可以产生足够动力支持航空飞行器的正常运行。航空发动机的正常运转将直接决定航空飞行器的可靠性和安全性,影响了航空飞行器的飞行安全[1-2]。航空发动机叶片正常工作对整个航空飞行器的飞行安全非常关键,在生产和服役过程中一直都需要对其进行检测和监测。作为航空发动机的重要组成部分,航空发动机长期在高温、高压、缺氧的恶劣环境下,在高频率振动、高温、高压的共同作用下,发动机叶片的结构强度和振动问题比较明显,容易导致叶片出现裂纹甚至是断裂情况。叶片裂纹根据断裂力学理论,处于扩展区域的裂纹将呈现指数形式的扩展,微小裂纹的危害将很快显现出来[3]。因此针对航空发动机的叶片检测显得尤为重要,不仅可以对叶片裂纹的状态进行判断,也可以对航空发动机的安全进行评估[4]。
目前对航空发动机叶片裂纹的检测主要为两大类:破坏性检测方法和非破坏性检测方法。破坏性检测方法是指通过破坏叶片样品进行微晶分析; 非破坏性方法是指采用无损检测方式对叶片样品进行检测,不破坏叶片表面结构,采用常见的物理或者化学方法对叶片进行无损检测,敲击法、磁粉检测、孔探仪、渗透检测、超声检测等[5-9]。敲击法对发动机叶片进行敲击,根据声音判断叶片是否存在裂纹,但该方式需要丰富的经验,并且容易误判或者漏检; 磁粉检测根据试件表面磁力线局部异常产生磁场吸附磁粉,在特殊光照下形成磁痕从而检测出缺陷,但该检测方式需要消磁和清理检测区域,响应速度慢、检测效率低; 渗透检测主要采用荧光等渗透剂喷洒在试件表面,通过紫外灯检测出样品表面裂纹,渗透检测过程中不仅需要喷洒荧光剂,还需要同时施加显影剂; 磁粉检测过程中需要消磁和清理被测区域,响应速度慢、耗时长、不适合现场批量检测[5-7]。超声检测利用超声波在试件内部传播,遇到声阻抗不同的界面发生反射、折射,对接收到的反射波进行分析来检测缺陷,但对于叶片类异形曲面结构,由于超声波在试件内部传播异常复杂,难以有效把握超声波传播规律,因而难于应用到实际检测中[10]。
超声红外热成像技术作为一种新型的红外检测技术,结合了超声激励和红外热成像技术,采用主动热激励方式对试件内部进行热激励[11-12],; 超声激励为体加热方式,相对于脉冲红外热成像技术的面加热方式,体加热方式可以多维度区域加热,同时超声激励属于选择性激励,仅在缺陷区域产生温升,非缺陷区域不产生温升,能更有效避免周围热波信号的干扰,从而超声激励方式能更有效地检测试件内微小裂纹[13-14]。目前在西方先进工业国家已经成功地应用在航天航空领域的关键金属部件的裂纹缺陷检测[15-16],如发动机的叶片等。
1. 基本原理
该技术主要是利用高功率超声波作为热激励源,超声波在试件内部传播引起内部裂纹摩擦生热、塑性变形、热弹效应等产生热量而引起试件缺陷区域局部温升,局部温升由于三维热扩散效应,温升区域热量从缺陷区域传递到试件表面,通过红外热像仪采集试件表面连续变化的温度信息,超声红外热成像技术原理示意图如图 1所示,主要包括红外热像仪、超声激励装置、图像处理和控制系统。最终根据采集到试件表面温度信号可以分析出试件内部缺陷的信息,从而可以实现试件内部缺陷信息的检测。
与其他激励方式红外热成像技术相比,超声激励红外热成像技术具有如下特点:一是超声激励不需要考虑热激励均匀性,属于选择性激励方式,仅对裂纹缺陷区域产生温升,对非缺陷区域基本不产生温升; 二是对复杂形状的试件依然可以取得较好的检测效果,不需要试件表面基本处于同一平面; 三是超声激励属于试件内部激励,相对于表面激励方式,热波传递到试件表面时间更短,更适合于检测出内部微小裂纹。
超声红外热成像技术对于航空发动机叶片内部裂纹比较有效,特别是对于叶片微小裂纹,裂纹更容易在超声激励作用下摩擦发热,由于三维热扩散,发热区域比实际裂纹区域要大,这将有助于微小裂纹的检测,而这种内部微小裂纹用其他方法难于有效检测。
2. 实验验证
2.1 实验平台系统
超声红外热成像实验平台系统实物如图 2所示,系统主要由超声激励源、超声发射器、超声枪、信号发生器、红外热像仪、结构支架、激光测振仪、计算机等组成。其中超声激励源包括超声驱动器、超声换能器及变幅杆等。激光测振仪主要用于测量试件表面振动信号,用于表征超声信号是否正常耦合进试件,信号发生器主要用于确保超声激励和红外热像仪采集之间的同步,以利于红外图像信号的处理和分析。红外热像仪正对航空发动机叶片试件,确保试件在红外热像仪视场中央,采集图像过程中不能移动叶片试件。计算机系统主要用于控制预紧力大小、热像仪采集时间、超声激励与采集同步、红外图像处理。
为了保证超声波能有效耦合进试件,需要超声枪头压在试件上,同时施加一定的预紧力,预紧力的大小需要通过压力传感器实时测量,从而能负反馈控制预紧力的大小。
超声枪的激励频率为20 kHz,激励功率为800 W,超声激励时间可设为200 ms~10 s,预紧力可设为0~2000 N,红外热像仪为FLIR公司生产的FLIR SC3000制冷热像仪,等效噪声温差(noise equivalent temperature difference, NETD)低于20 mK,探测波长范围8~9 μm,分辨率为320×240,采集帧频50 Hz。
2.2 航空发动机叶片
航空发动机叶片分为工作叶片和导向叶片,工作叶片称为转子叶片,导向叶片称为静子叶片,工作叶片位于导向叶片后方位置,如图 3所示。工作叶片需要承受较大的气流速度,因而工作叶片叶身厚,沿着叶高的截面变化相对明显,叶尖部分常常带有特殊构造,采用耐高温的镍基合金,在高温下有高的抗氧化和抗热腐蚀的能力,工作叶片的异形构造特性和表面涂层给实际检测带来了很大困难。
3. 实验结果对比
为了验证超声红外热成像检测效果,开展对比研究,分别采用渗透检测和金相技术对试件进行检测。
3.1 超声红外热成像结果
采用超声红外热成像技术对航空发动机工作叶片进行检测,实验中参数设置如下:超声激励时间设置为600 ms,超声激励预紧力设置为200 N,幅值输出设置100%,采集频率为50 Hz,采集时间3 s,采集帧数为150帧。选取采集序列中的6帧图像,如图 4所示,0 s时刻为超声激励前图像,是采集前背景图像,图 4中可以看出,缺陷从无到有、从逐渐变亮到逐渐变暗的过程,在超声激励过程中由于缺陷区域摩擦生热导致温度升高,超声激励结束后通过热传导效应传热至试件表面,热传导过程中会向三维方向扩散,热波在传播中会逐渐衰减,物理表现出热波强度逐渐减小、热波面积逐渐增大; 在红外图像中表现出亮斑区域逐渐扩大并逐渐消失的过程。
超声激励前背景图像为温度平衡基本处于稳态的过程,叶片表面温度基本一致,看不出缺陷信息,超声激励后有缺陷区域开始温升,0.5 s时刻亮斑区域较小,0.86 s时刻亮斑区域增大,1.2 s时刻亮斑区域增至最大,之后时刻亮斑区域强度逐渐变暗至消失。
从不同时刻检测到的序列图像中可以看出,该航空发动机工作叶片存在3个缺陷区域,提取3个缺陷区域的信息,得到缺陷标注图像,3个缺陷区域分别为①、②、③号缺陷,如图 5所示。
3.2 渗透检测结果
渗透检测是将一种荧光的渗透涂覆剂涂在试件表面,在毛细管现象的作用下,荧光渗透剂渗入表面开口的缺陷区域; 然后去除试件表面多余的荧光渗透液; 最后在试件表面喷上一层显像剂,同样在毛细管作用下,显像剂将缺陷区域的荧光渗透液回渗到显像剂中,在一定的光源下荧光渗透痕迹被显示,从而检测出缺陷,但渗透检测只能用于检测致密性试件且只能检测表面开口裂纹。
渗透检测结果如图 6所示,在叶片进气靠近叶尖位置看到1处裂纹,裂纹长度约1.5 mm,对应于超声红外热成像检测结果的缺陷①。
3.3 金相检测结果
为了验证超声红外热成像技术检测到的3个缺陷具体信息,采用金相显微镜对缺陷区域进行放大显示。
缺陷①金相显微镜放大图像结果如图 7所示,图 7(a)显示的是98×放大图像,图 7(b)显示的是1000×放大图像,从两个放大倍数的显微图像中都可以明显看到有裂纹,从图 7(b)中可以测量得到裂纹的宽度大致为15 μm。
缺陷②金相显微镜放大图像结果如图 8所示,图 8(a)显示的是98×放大图像,图 8(b)显示的是5000×放大图像,图 8(a)显微图像中无法看到缺陷裂纹图像,从图 8(b)显微图像像中可以明显看到有一裂纹缺陷,从图 8(b)中可以测量得到裂纹的宽度大致为0.5 μm。
3.4 结果对比分析
对于图 3所示的航空发动机工作叶片,超声红外热成像技术检测出了3个缺陷,缺陷编号分别是①、②、③,采用渗透检测,以荧光剂作为渗透液,仅检测出缺陷编号①的一处缺陷,采用金相显微镜对缺陷编号为①、②的缺陷放大,可以很清晰看到缺陷①处裂纹宽度约为15 μm,缺陷②处裂纹宽度约为0.5 μm,缺陷③从可见光图像观察可以明显看到有一开口缺陷。对于渗透检测的最小宽度裂纹,在理想情况下,侧壁绝对光滑、长宽比大于1、深宽比大于1的开口裂纹,理论上可以检测出0.1 μm宽度的缺陷裂纹。由于实际裂纹与理论上的裂纹存在差异,实际上的裂纹不会是理想中笔直的形状,且实际检测过程中存在外界条件、渗透液物理性能、渗透液化学性能、着色强度等干扰因素,因而采用渗透检测无法检测出约为0.5 μm宽度的缺陷②裂纹缺陷,但可检测出约为15 μm宽度缺陷①裂纹缺陷。对于超声红外热成像技术,由于缺陷②相比于缺陷①,裂纹缺陷宽度更窄,在20 kHz超声频率激励下,缺陷②摩擦振动的幅度比缺陷①摩擦振动的幅度更大,因而缺陷②局部温升比缺陷①局部温升高; 缺陷③为开口缺陷,开口处的不平整区域导致在超声激励下的摩擦生热等效应产生局部温升。
4. 结语
本文基于超声红外热成像技术对航空发动机叶片进行检测,该技术结合了超声激励技术与红外热像技术的优势,对试件表面的形状、粉尘及污染等不敏感。通过搭建的超声红外热成像实验平台检测了服役过程中产生裂纹的航空发动机叶片,实验结果表明,采用超声红外热成像技术可有效发现宽度约为0.5 μm的微小裂纹,渗透检测无法有效发现该微小裂纹。说明该技术在裂纹缺陷检测中有特殊的应用优势。
-
表 1 不同方法PSNR、对比度计算结果
Table 1 PSNR and contrast calculation results by differentmethods
Bilateral filtering Nonlocal mean filtering Our algorithm PSNR 28.18 26.87 25.28 Contrast 178.69 134.48 375.98 -
[1] 郑显华, 王新柯, 孙文峰, 等. 太赫兹数字全息术的研发与应用[J]. 中国激光, 2014, 41(2): 0209003. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201402004.htm ZHENG Xianhua, WANG Xinke, SUN Wenfeng, et al. Developments and applications of the terahertz digital holography[J]. Chinese J. Lasers, 2014, 41(2): 0209003. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201402004.htm
[2] 张馨, 赵源萌, 张存林. 被动式太赫兹图像分割算法[J]. 强激光与粒子束, 2013, 25(6): 1597-1600. https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY201306056.htm ZHANG Xin, ZHAO Yuanmeng, ZHANG Cunlin. Passive terahertz image segmentation algorithm[J]. High Power Laser and Particle Beams, 2013, 25(6): 1597-1600. https://www.cnki.com.cn/Article/CJFDTOTAL-QJGY201306056.htm
[3] 徐利民. 高分辨太赫兹图像处理[D]. 西安: 中国科学院研究生院(西安光学精密机械研究所), 2013. XU Limin. High Resolution Terahertz Image Processing[D]. Xi an: University of Chinese Academy of Sciences (Xi'an Institute of Optics and Precision Mechanics), 2013.
[4] 李琦, 杨永发, 胡佳琦. 一种用于太赫兹共焦扫描图像复原的复合算法[J]. 红外与激光工程, 2015, 44(1): 321-326. DOI: 10.3969/j.issn.1007-2276.2015.01.055 LI Qi, YANG Yongfa, HU Jiaqi. A composite algorithm used for terahertz confocal scanning image restoration[J]. Infrared and Laser Engineering, 2015, 44(1): 321-326. DOI: 10.3969/j.issn.1007-2276.2015.01.055
[5] 杨永发, 李琦. 双边滤波算法的太赫兹共焦扫描图像去噪应用[J]. 激光与光电子学进展, 2015, 52(12): 121101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201512015.htm YANG Yongfa, LI Qi. Application of bilateral filtering algorithm on terahertz confocal scanning image denoising[J]. Laser & Optoelectronics Progress, 2015, 52(12): 121101. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201512015.htm
[6] DONG C, CHEN C L, HE K, et al. Learning a Deep Convolutional Network for Image Super-Resolution[M]//Computer Vision – ECCV Springer International Publishing, 2014: 184-199.
[7] Ledig C, Theis L, Huszar F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2017: 4681-4690.
[8] 卢贺洋, 苏胜君, 袁明辉, 等. 太赫兹图像的超分辨率重建[J]. 红外技术, 2019, 41(1): 59-63. http://hwjs.nvir.cn/article/id/hwjs201901009 LU Heyang, SU Shengjun, YUN Minghui, et al. Super-resolution reconstruction of terahertz image[J]. Infrared Technology, 2019, 41(1): 59-63. http://hwjs.nvir.cn/article/id/hwjs201901009
[9] Johnson J, Alahi A, LI F. Perceptual losses for real-time style transfer and super-resolution[C]//In European Conference on Computer Vision (ECCV), Springer, 2016: 694-711.
[10] Gross S, Wilber M. Training and investigating residual nets, online[EB/OL]. [2016-02-04]. http://torch.ch/blog/.
[11] Shi W, Caballero J, Huszar F, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016: 1874-1883.
[12] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[C]// International Conference on Learning Representations (ICLR), 2016: 1-16.
[13] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]//International Conference on Learning Representations (ICLR), 2015: 268-282.
[14] Bruna J, Sprechmann P, Lecun Y. Super-resolution with deep convolutional sufficient statistics[C]//International Conference on Learning Representations (ICLR), 2016: 352-369.
[15] Gatys L A, Ecker A S, Bethge M. Texture synthesis using convolutional neural networks[C]//Advances in Neural Information Processing Systems (NIPS), 2015: 262-270.
[16] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems (NIPS), 2014: 2672-2680.
-
期刊类型引用(14)
1. 董荣伟. 基于ADRC的高精度红外热成像仪温度控制系统设计. 计算机测量与控制. 2024(07): 162-168+175 . 百度学术
2. 李瑞,陈飞. 组合砌体墙损伤红外热像检测方法研究. 粉煤灰综合利用. 2024(05): 92-96 . 百度学术
3. 沈久利,张玉存. 改进烟花算法计算热态轴类锻件内圆柱体空洞缺陷深度. 中国机械工程. 2023(04): 387-394 . 百度学术
4. 温飞娟,温奇飞,龙樟,蒲京辰,邓荣. 基于超声红外热波技术的再制造零件裂纹检测研究现状. 材料导报. 2023(06): 169-176 . 百度学术
5. 刘毅,储银贺,李波. 基于持续热激励红外检测的风机叶片腐蚀检测. 激光与红外. 2023(05): 716-722 . 百度学术
6. 梁嘉辉,贾宇,汤雷,张盛行. 耦合压力加载对超声热激励效果影响研究. 水利水运工程学报. 2023(03): 104-110 . 百度学术
7. 李胤,宋远佳,江海军,陈飞,张凯. 编织复合材料低速冲击损伤超声热成像检测. 红外技术. 2023(08): 876-883 . 本站查看
8. 江海军,盛涛,郑金华,向苹. 超声红外热成像技术国内研究现状与进展. 红外技术. 2023(10): 1020-1028 . 本站查看
9. 谢有浩,任杰,姜阔胜. 汽车散热器焊合率热成像检测系统. 河南科技大学学报(自然科学版). 2022(04): 41-45+6 . 百度学术
10. 王浩,吴易泽,王涛. 基于阵列热风激励的航发叶片近表面缺陷红外检测方法. 红外技术. 2022(10): 1112-1117 . 本站查看
11. 乔俊明. 大坝心墙河床段基座混凝土裂缝的远程红外监测. 无损检测. 2022(10): 35-39 . 百度学术
12. 冯辅周,朱俊臻,李志农. 超声红外热像技术发展现状及其在航空材料缺陷检测中的应用. 航空制造技术. 2022(20): 36-53 . 百度学术
13. 韩梦,尹嘉雯,黄军科,李伟,魏勤. 铝合金板疲劳微裂纹超声红外成像检测的数值及实验研究. 应用声学. 2022(05): 727-734 . 百度学术
14. 蔡亮. 基于超声红外热波成像的桥梁结构损伤识别方法. 现代交通技术. 2022(06): 55-59 . 百度学术
其他类型引用(7)