Method for Generating Infrared Image from Visible Image of Water Surface Targets
-
摘要: 红外警戒系统、红外成像制导导弹等军事装备在进行性能评估和模拟训练过程中都需要大量红外仿真图像，但目前红外仿真软件普遍存在生成红外仿真图像逼真度差、软件普适性不好等问题，且国外技术封锁造成我国红外仿真软件发展缓慢。因此，针对国内可见光图像仿真技术日趋成熟的现状，为提高红外仿真图像质量，本文提出了一种采用循环生成对抗网络、由可见光图像生成红外仿真图像的方法，并通过实验验证该算法是有效可行的。该算法首先通过区域生长算法从采集的可见光图像中提取水上目标，建立了水上目标可见光图像生成红外图像的训练数据集；然后利用训练好的网络生成红外仿真图像。测试实验表明，采用这种方法所生成的水上目标红外仿真图像视觉效果接近真实红外图像，可实际应用于海军红外军事装备模拟试验和训练系统。Abstract: Military equipment, such as infrared warning systems and infrared image-guided missiles, requires a number of infrared simulation images during performance evaluation and simulation training. However, the infrared simulation image generated by infrared simulation software has some problems, such as poor fidelity and poor universality. The domestic infrared simulation technology is hampered by foreign technology blockade. Currently, the development situation is difficult in meeting the requirement of the application. To solve this problem, this experiment proposed a visible-infrared image transform method. First, the region seeds growing (RSG) algorithm was used to extract the water target from the collected image. Subsequently, the visible and infrared image water target datasets were established. Finally, the trained cycle generative adversarial network (CycleGAN) was used to generate the infrared simulation image from the visible image. The test results show that the visual effect of the infrared simulation image generated by this method is close to that of the real infrared image and can be applied to the naval infrared military equipment simulation test and training system.
-
Keywords:
- infrared image simulation /
- image style migration /
- CycleGAN /
- RSG
-
0. 引言
在我国军事及航天事业中，电子部件的质量可靠性是武器装备有效发挥作用的核心关键，焊点是电路板的一种典型组成单元，是航空、航天器电源结构中传递电信号，提供机械连接的结构单元，其质量优劣对于武器装备的寿命及服役可靠性也至关重要[1-2]。焊点虚焊是电路板生产过程中的一种常见缺陷，会给电路的使用带来重大隐患。因此在焊点检测中，虚焊缺陷的有效检出对于武器装备的服役特别重要[3]。红外热像检测主要依靠过余温度进行虚焊类缺陷辨识，但虚焊类缺陷对应的过余温度信号与正常焊点差别较小，导致焊点虚焊缺陷本征热阻信号难以辨识；此外，背景热辐射干扰较大，单纯放大或降倍的方法，可能会造成缺陷信息淹没或丢失，增大虚焊本征信号的提取难度。因此需要对焊点的温度时间变化数据进行一定程度的处理，降低噪音及激励不均的影响，才能建立虚焊缺陷信息与热参数之间的有效联系[4-7]。数据处理得到的数学特征参数，能够更加有效地反映虚焊特征。温度信号趋势分析法在复合材料的红外无损检测上已经有所应用，并取得良好的效果[8-9]，但仍未应用于焊点检测。由于焊点面积较小且排布密集，直接套用趋势分析的数据处理的参数和工艺流程难以获得良好的效果。因此，研究红外图像序列趋势分析处理算法对于获取虚焊特征信息十分重要。
本文采用红外热像方法获取激光激励焊点表面的时间温度数据，通过分析虚焊缺陷和温度时间数据拟合特征参量之间的关系实现了虚焊缺陷的有效识别。
1. 设备及试件
1.1 检测设备
根据焊点虚焊试验需求，自研红外热像自动化检测平台，如图 1所示。试验台为大理石台面并铺设整体电路；上方为带有遮光玻璃的可拆卸式窗口，能够在直接观察试验过程的同时保证红外热像仪不受外界光线的干扰。平台内部包含600 mm×600 mm二维移动平台，808 nm半导体激光器、中波制冷性红外热像仪、电路板的夹装结构以及用于辅助试验的电子显微镜、温度传感器、散热设备等。
1.2 试验参数
为保证试验的合理性及可重复性，试件、激励装置、热像仪之间的距离在逐点试验过程中保持不变，优化后的试验参数设置如下：采集频率50 Hz、激光激励功率5 W、激光光斑尺寸1.5 mm×0.5 mm@300 mm、激光加热时间200 ms。
1.3 试验过程
首先制定检测计划包括设定检测对象参数、选择检测焊点和定位，建立激光器加热功率、时间等参数。定位至首个检测点；执行扫描计划逐点检测；然后执行检测计划，激光加载源按照检测计划中指定的参数进行热加载，红外热像仪进行数据采集；最后对采集到的红外热像图进行处理、分析。
1.4 人工预制缺陷对比试件
在印制电路板上设计缺失相应比例大小的焊盘并用网焊阻焊剂来模拟对应比例的虚焊缺陷，焊接过程中焊料与阻焊剂不浸润导致焊料和焊盘之间会形成一层空气间隙，难以融合成合金，焊料只是简单地依附在焊盘上，缺陷试件设计图如图 2所示。
提供的焊点类型为PCB印刷电路板上的表面贴装电子元器件，尺寸约为2 mm×0.8 mm，且同一块PCB印刷电路板上有较多的同类型贴装电子元器件，其相互之间因间隔较宽故影响可以忽略不计。根据试验方案设计，可以分析简化出焊点模型的主要示意图，如图 3所示。
![]()
图 3 焊点模型示意图Figure 3. Schematic diagram of solder joint model1− electron components(SMT); 2− Solder joint; 3− Pseudo soldering(Air void); 4−copper layer(pad & wire); 5− Circuit board(PCB)1.5 热像数据采集
本文所使用的试验数据为同一批次下电路板的200余个焊点试验结果。由于设备之间的通讯、设备自身的误差以及试验条件的影响，试验中设定的物理参数有可能存在一定的误差值，但可作为先验参数进行参考。
采集到的热像序列在读取后显示的图像较大，截取典型加热部分画面如图 4所示。对提取获得的焊点平均温升曲线进行进一步的处理，并设置阈值条件进行判别，剔除无法使用或误差较大的试验数据，保留可以进行焊点虚焊检测的正常试验数据。首先对同一批次获得的试验数据提取出的焊点平均温升曲线进行绘图，如图 5所示。虽然大部分试验数据的变化程度和变化趋势相似，但存在一些非正常的试验数据需要进行处理。
![]()
图 5 同一批次试验数据焊点温度随时间变化曲线Figure 5. Time dependence curve of solder joint temperature of the same batch of experimental data温度变化程度异常包括两种情况：一是激光器光斑位置打偏，没有对准焊点，激励位置落于电子元器件或PCB电路板上，表现为激励开始时刻温度迅速急剧升高，甚至有可能超过规定的温度上限80℃；二是温升过低，或是曲线变化过于平缓。温度过高、温升过高或过低通过设定相应的阈值剔除。而温度波动的异常无法直接采取温度阈值方式进行异常判断，需要利用导数、方差等方式进行挑选。
对焊点平均温升曲线进行求导运算，设定温升速率允许的最大值为10，超过该值的试验数据即为异常。同时，计算焊点平均温升曲线的整体方差，将方差小于1且曲线全段温度变化率不超过0.5的试验数据进行剔除。在实际的操作过程中，检测到出现温升速度过快的异常数据如图 6所示，可以看出大多数异常数据存在温度的断崖式变化；而温升过低、曲线平缓的数据常常也伴随着焊点加热结束时间无规律，予以剔除。
对经过筛选后的正常焊点试验数据使用趋势分析法进行数据处理，提取出与焊点虚焊程度相关的特征参数。
2. 趋势分析方法
2.1 趋势分析方法检测原理
激光激励焊点后，虚焊缺陷焊点与焊接良好的焊点的热传导有所差异，在焊点的表面温度随时间变化的趋势上得以体现，即加热结束开始降温时的温度变化率。为求得温度变化率，则需要对焊点表面降温段曲线进行拟合，分析提取可以表征焊点虚焊信息的温升趋势的特征参数。
脉冲激励红外无损检测试验过程中针对过余温度-时间曲线进行温升趋势分析的常用试验数据处理方法有多项式拟合法、多项式拟合求导法、对数多项式拟合及求导法等。
多项式拟合法是依靠最小二乘原则，对给定的数据散点(xi, yi)(i＝1, 2, …, n)，求得多项式${P_n}\left( x \right) = \mathop \sum \limits_{k = 0}^n {a_k}{x^k} \in \emptyset $，使得残差平方和：
$$ I = \mathop \sum \limits_{i = 0}^n {\left[ {{P_n}\left( {{x_i}} \right) - {y_i}} \right]^2} = \mathop \sum \limits_{i = 0}^n {\left( {\mathop \sum \limits_{k = 0}^m {a_k}x_i^k - {y_i}} \right)^2} = {\text{min}} $$ (1) 达到最小值。而对数多项式拟合法先对数据的自变量t和因变量T分别进行取对数操作，对于变换后的对数数据散点(xi＝lnti, yi＝lnTi) (i＝1, 2, …, n)，求最小二乘拟合多项式${P_N}(x) = \sum\limits_{k = 0}^N {{a_k}{x^k}} $，（k＝1, 2, …, N），使得：
$$ \sum\limits_{i = 0}^n {{\delta ^2} = } \sum\limits_{i = 0}^n {{{[{P_N}({x_i}) - {y_i}]}^2}} = \min $$ (2) 达到最小值，最终的拟合结果为：
$$ y = \exp [{P_N}(x)] = \exp \sum\limits_{k = 0}^N {{a_k}{x^k}} $$ (3) 按照(3)式对数据进行拟合，并寻找拟合曲线上与虚焊程度相关的参量征虚焊缺陷。
2.2 趋势分析法的仿真数据分析
由图 5可知，不同焊点受激励后温升曲线趋势类似，因此先对单一曲线进行趋势分析法分析，选择较佳的拟合方式后再对所有数据进行分析，提取特征参数。对仿真数据典型温升曲线降温段进行3阶~8阶多项式拟合，拟合结果如图 7所示。
![]()
图 7 仿真数据降温段3阶至8阶多项式拟合结果Figure 7. Third to eighth order polynomial fitting results of cooling section of simulation data表 1中列出了各阶多项式拟合的3类评价指标，包括误差平方和（Sum of Squares of Errors，SSE）、确定系数（R-Square）以及均方根（Root Mean Square，RME）。其中，SSE和RMSE随阶次的升高逐渐减少，而R-Square也在不断上升至接近1，表明多项式拟合阶次越高，拟合结果越好，残差越小。但即便是以8阶多项式拟合，其R-Square仍不足0.95且残差数量级依然较高，可见多项式拟合结果不佳。从图 7中也可以看出，各彩色拟合曲线在曲线的开始和末端与原始温度序列相距虽逐渐缩小但仍然有一定差距，且在放大图中也可以看出其空隙较大。
表 1 仿真数据降温段3阶至8阶多项式拟合评价指标Table 1. Evaluation index of third to eighth order polynomial fitting in cooling section of simulation dataFitting Order Sum of Squares of Errors（SSE） R-Square Root Mean Square（RMSE） 3 1407.1 0.7753 2.6136 4 1012.9 0.8375 2.2228 5 762.77 0.8770 1.9337 6 592.89 0.9039 1.7090 7 470.74 0.9234 1.5266 8 378.84 0.9380 1.3729 虽然多项式拟合结果不尽人意，但利用对数多项式拟合则有较好的拟合效果。在对温度序列取对数后，利用五阶多项式进行拟合已经十分接近原始序列，如图 8所示。
其拟合评价指标SSE为0.5218，R-Square达到0.9924，RMSE降低至0.0506。虽然经过取对数操作也会使得残差的数量级降低，但不显著。因此，对数多项式拟合可以大幅度降低残差数量级，且其确定系数已经大于0.99，具有较好的拟合结果。
对对数五阶多项式拟合结果进行求导，取温度变化率绝对值最大值，即加热结束时刻的降温速率，绘制与虚焊程度的散点图，如图 9所示，可以看出，降温速率最大值与虚焊程度之间存在正相关关系，可以作为虚焊的特征值。
![]()
图 9 拟合降温速率最大值与虚焊程度散点图Figure 9. Scatter diagram of fitting the maximum cooling rate and the degree of false welding2.3 趋势分析法的试验数据分析
采用微焦点激光激励焊点，并采用红外热像仪采集焊点表面的热像序列图，激励开始的时刻标记为0 s，正常焊点和虚焊缺陷焊点的时域温度变化（0.2 s、0.4 s、0.6 s、0.8 s、1.2 s、1.6 s）热像图如图 10和图 11所示。热像图中的椭圆区域的中心为焊点的位置，即激励区域，热像图中的右侧的温度标识显示的是热像采集区域内的峰值辐射温度。未激励前的热辐射温度峰值为26.8℃，可以看出焊点区域并非热辐射的峰值温度，未激励前的焊点区域温度低于26.8℃，随着激光激励，热量注入焊点区域，焊点区域在激励时段温度是上升的，在激励结束点0.2 s的时刻温度达到最高值，激励结束后激励位置随热量的扩散而呈现温度逐渐下降的趋势，而由于激励位置的微小偏差以及焊点结构的微小差异导致不同焊点的温升和变化趋势有所不同，因此单纯依靠时域温度变化难以分辨焊点内部是否存在虚焊缺陷。不同时间点原始热像图中可以看到热量逐渐沿着元器件和导线方向扩散，因此通过热像图目视观测热场变化亦难以分辨正常焊点和缺陷焊点之间的差异。
![]()
图 11 不同时间点的虚焊焊点原始热像图Figure 11. Original thermal image of pseudo solder joint at different time对单一的试验数据曲线进行趋势分析法分析，试验数据降温段3阶~8阶多项式拟合结果如图 12所示。拟合结果显示拟合效果较好，曲线较为平滑。
![]()
图 12 试验数据降温段3阶~8阶多项式拟合结果Figure 12. Third to eighth order polynomial fitting results for cooling section of experimental data表 2列出了试验数据各降温段各阶次拟合的评价指标。与表 1对比可以发现，试验数据的多项式拟合结果优于仿真数据的拟合结果，其SSE和RMSE降低了若干个数量级，R-Square也十分接近于1，对应图 10中各拟合曲线已经基本与原始温度序列重叠。同时，试验数据的多项式拟合结果也遵从阶次越高拟合结果越好的规律，可选取七阶多项式进行拟合。同样的，对试验数据也进行对数多项式拟合并分析，如图 13所示。
表 2 试验数据降温段3阶~8阶多项式拟合评价指标Table 2. Evaluation index of third to eighth order polynomial fitting in cooling section of experimental dataFitting Order SSE R-Square RMSE 3 1.5125 0.9897 0.1091 4 0.4450 0.9970 0.0594 5 0.1359 0.9991 0.0330 6 0.0583 0.9996 0.0217 7 0.0324 0.9998 0.0162 8 0.0272 0.9998 0.0149 其拟合评价指标SSE为0.0386，R-Square达到0.9983，RMSE降低至0.0174，与七阶多项式的拟合结果十分接近。值得注意的是，仿真数据采取的是对数五阶多项式进行拟合，而试验数据仅采取对数三阶多项式就已经有较好的拟合结果。
对试验数据的七阶多项式拟合以及对数三阶多项式拟合结果进行求导，取其绝对值的最大值绘制与虚焊程度的散点图，如图 14所示。
![]()
图 14 拟合结果导数绝对值最大值与虚焊程度散点图Figure 14. Scatter diagram of maximum absolute value of derivative of fitting results and false soldering degree由图 14可知，七阶多项式拟合与对数三阶多项式拟合的绝对值的最大值与虚焊程度之间基本存在正相关关系。对比图 14(a)和(b)可知，七阶多项式拟合结果更为紧凑，对数三阶多项式拟合结果出现区间扩大及略微模糊化的特点。因此，七阶多项式拟合的绝对值的最大值更适于作为不同程度虚焊缺陷判定的特征参数，20%虚焊程度的缺陷辨识度较低而40%和60%阈值分割较为明显，大致可以划分出阈值进行虚焊程度的判别。七阶多项式拟合的绝对值最大值能够摒除信号噪声，有效表征虚焊程度。
3. 结语
本文提出了基于趋势分析方法的虚焊缺陷红外热像数据处理技术。通过对热像数据的分析，从趋势分析拟合结果中选择了具有代表性的趋势走向拟合方式，并绘制了虚焊程度散点图寻找能够表征虚焊程度的特征值及其之间的关系。结果显示提取的七阶多项式拟合绝对值的最大值特征参数与虚焊程度之间存在正相关关系，能够有效判别40%和60%阈值虚焊缺陷。
-
![]()
图 3 原始可见光图像经过不同迭代次数生成的红外仿真图像
Figure 3. Original visible images and infrared simulation images generated in different epochs
![]()
图 6 图像评价指标参数比较：(a) 结构相似性指数；(b)信息熵；(c) 平均梯度；(d) 边缘强度；(e) 标准差；(f) 空间频率
Figure 6. Comparison of image performance indicators: (a) Structural similarity index measure (b) Entropy (c) Average gradient (d) Edge intensity (e) Standard deviation (f) Spatial frequency
表 1 模型参数值
Table 1 Model parameters
Parameters Learning rate Epoch N_epochs N_epochs decay Beta1 Beta2 Decay iters Value 0.0002 200 100 100 0.5 0.999 50 
下载: 导出CSV
-
[1] 罗海波, 史泽林. 红外成像制导技术发展现状与展望[J]. 红外与激光工程, 2009, 38(4): 565-573. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200904004.htm LUO H B, SHI Z L. Status and prospect of infrared imaging guidance technology[J]. Infrared and Laser Engineering, 2009, 38(4): 565-573. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ200904004.htm
[2] 董敏周. 用于红外成像系统抗干扰性能评估的红外图像仿真[D]. 西安: 西北工业大学, 2004. DONG M J. Infrared Image Simulation for Anti-Jamming Performance Evaluation of Infrared Imaging System[D]. Xi'an: Northwest University of Technology, 2004.
[3] 张静元, 赵非玉, 吴刚刚, 等. 国内外红外对抗仿真及模型研究[J]. 光电技术应用, 2021, 36(2): 5-9. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG202102003.htm ZHANG J Y, ZHAO F Y, WU G G. Research on Simulation and model of infrared countermeasure at home and abroad[J]. Electro-optic Technology Application, 2021, 36(2): 5-9. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG202102003.htm
[4] ZHAO C, YANG H. A survey on development trends and key technologies of infrared guidance systems [J]. Electronics Optics & Control, 2008(5): 48-53.
[5] 于伟杰, 刘华, 彭群生. 计算机红外成像仿真[J]. 计算机应用与软件, 2004(7): 1-2. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200407000.htm YU W J, LIU H, PENG Q S. Computer simulation of infrared image[J]. Computer Applications and Software, 2004(7): 1-2. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ200407000.htm
[6] 周方方, 司斌, 王晖. 红外图像仿真的发展综述[J]. 航空兵器, 2013(2): 29-37. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ201302005.htm ZHOU F F, SI B, WANG H. Review for simulation system of infrared image[J]. Aero Weaponry, 2013(2): 29-37. https://www.cnki.com.cn/Article/CJFDTOTAL-HKBQ201302005.htm
[7] Goodfellow I, Pouget Abadie J, Mirza M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2020(11): 139-144.
[8] ZHU J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE International Conference on Computer Vision, 2017: 2223-2232.
[9] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017: 1125-1134.
[10] Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533.
[11] FAN J, ZENG G, Body M, et al. Seeded region growing: an extensive and comparative study[J]. Pattern Recognition Letters, 2005, 26(8): 1139-1156.
-
期刊类型引用(1)
1. 周潘伟，于洋，李范鸣，叶锡生. 基于直线运动机构的大变倍比红外变焦成像系统（英文）. 红外与毫米波学报. 2023(06): 845-852 . 
百度学术
其他类型引用(3)
计量
- 文章访问数: 328
- HTML全文浏览量: 41
- PDF下载量: 97
- 被引次数: 4
