Infrared Structured Light for 3D Face Reconstruction
-
摘要: 在基于结构光的双目三维人脸重建中，容易丢失细节处数据和建模精度较低，导致三维人脸数据完整度不高，对三维人脸识别较差。本文研究了基于红外条纹的双目三维照相机系统，通过投射红外条纹结构光，根据相移法将生成包裹相位，利用三频法得到绝对相位，生成视差图，得到三维人脸模型。实验表明，基于红外的哑铃规球心测距误差在0.1%以内，人脸精度在0.1mm内。在眼睛，眉毛等弱纹理区数据缺失较少，优于基于可见光的三维建模，并且人脸模型更平滑更能反映人脸的真实三维形状。通过对比投射红外与可见光的性能，为三维人脸重建未来研究分析提供技术和算法上的参考。Abstract: In structured-light 3D face reconstruction, it is easy to lose detailed data and obtain reduced modeling accuracy, which leads to low integrity and poor recognition of 3D faces. In this study, a binocular three-dimensional camera system based on an infrared fringe is developed. The wrapped phase is generated using the phase-shift method by projecting infrared fringe-structured light. The absolute phase is obtained using the three-frequency method, and a parallax diagram is generated to obtain a three-dimensional face model. Experiments reveal that measurement errors for the distance of sphere centers are less than 0.1% when measuring standard spheres, and face accuracy is within 0.1 mm. For the eyes, eyebrows, and other areas with weak texture, data loss is reduced, which is better than visible light. The face model varies more smoothly and is more consistent with the real face. This preliminary analysis of the performances of the two proposed techniques can be used as a reference for further comparisons in the analysis of various techniques and algorithms.
-
Keywords:
- infrared fringe /
- structed-light /
- binocular vision /
- 3D face modeling
-
0. 引言
在我国军事及航天事业中，电子部件的质量可靠性是武器装备有效发挥作用的核心关键，焊点是电路板的一种典型组成单元，是航空、航天器电源结构中传递电信号，提供机械连接的结构单元，其质量优劣对于武器装备的寿命及服役可靠性也至关重要[1-2]。焊点虚焊是电路板生产过程中的一种常见缺陷，会给电路的使用带来重大隐患。因此在焊点检测中，虚焊缺陷的有效检出对于武器装备的服役特别重要[3]。红外热像检测主要依靠过余温度进行虚焊类缺陷辨识，但虚焊类缺陷对应的过余温度信号与正常焊点差别较小，导致焊点虚焊缺陷本征热阻信号难以辨识；此外，背景热辐射干扰较大，单纯放大或降倍的方法，可能会造成缺陷信息淹没或丢失，增大虚焊本征信号的提取难度。因此需要对焊点的温度时间变化数据进行一定程度的处理，降低噪音及激励不均的影响，才能建立虚焊缺陷信息与热参数之间的有效联系[4-7]。数据处理得到的数学特征参数，能够更加有效地反映虚焊特征。温度信号趋势分析法在复合材料的红外无损检测上已经有所应用，并取得良好的效果[8-9]，但仍未应用于焊点检测。由于焊点面积较小且排布密集，直接套用趋势分析的数据处理的参数和工艺流程难以获得良好的效果。因此，研究红外图像序列趋势分析处理算法对于获取虚焊特征信息十分重要。
本文采用红外热像方法获取激光激励焊点表面的时间温度数据，通过分析虚焊缺陷和温度时间数据拟合特征参量之间的关系实现了虚焊缺陷的有效识别。
1. 设备及试件
1.1 检测设备
根据焊点虚焊试验需求，自研红外热像自动化检测平台，如图 1所示。试验台为大理石台面并铺设整体电路；上方为带有遮光玻璃的可拆卸式窗口，能够在直接观察试验过程的同时保证红外热像仪不受外界光线的干扰。平台内部包含600 mm×600 mm二维移动平台，808 nm半导体激光器、中波制冷性红外热像仪、电路板的夹装结构以及用于辅助试验的电子显微镜、温度传感器、散热设备等。
1.2 试验参数
为保证试验的合理性及可重复性，试件、激励装置、热像仪之间的距离在逐点试验过程中保持不变，优化后的试验参数设置如下：采集频率50 Hz、激光激励功率5 W、激光光斑尺寸1.5 mm×0.5 mm@300 mm、激光加热时间200 ms。
1.3 试验过程
首先制定检测计划包括设定检测对象参数、选择检测焊点和定位，建立激光器加热功率、时间等参数。定位至首个检测点；执行扫描计划逐点检测；然后执行检测计划，激光加载源按照检测计划中指定的参数进行热加载，红外热像仪进行数据采集；最后对采集到的红外热像图进行处理、分析。
1.4 人工预制缺陷对比试件
在印制电路板上设计缺失相应比例大小的焊盘并用网焊阻焊剂来模拟对应比例的虚焊缺陷，焊接过程中焊料与阻焊剂不浸润导致焊料和焊盘之间会形成一层空气间隙，难以融合成合金，焊料只是简单地依附在焊盘上，缺陷试件设计图如图 2所示。
提供的焊点类型为PCB印刷电路板上的表面贴装电子元器件，尺寸约为2 mm×0.8 mm，且同一块PCB印刷电路板上有较多的同类型贴装电子元器件，其相互之间因间隔较宽故影响可以忽略不计。根据试验方案设计，可以分析简化出焊点模型的主要示意图，如图 3所示。
![]()
图 3 焊点模型示意图Figure 3. Schematic diagram of solder joint model1− electron components(SMT); 2− Solder joint; 3− Pseudo soldering(Air void); 4−copper layer(pad & wire); 5− Circuit board(PCB)1.5 热像数据采集
本文所使用的试验数据为同一批次下电路板的200余个焊点试验结果。由于设备之间的通讯、设备自身的误差以及试验条件的影响，试验中设定的物理参数有可能存在一定的误差值，但可作为先验参数进行参考。
采集到的热像序列在读取后显示的图像较大，截取典型加热部分画面如图 4所示。对提取获得的焊点平均温升曲线进行进一步的处理，并设置阈值条件进行判别，剔除无法使用或误差较大的试验数据，保留可以进行焊点虚焊检测的正常试验数据。首先对同一批次获得的试验数据提取出的焊点平均温升曲线进行绘图，如图 5所示。虽然大部分试验数据的变化程度和变化趋势相似，但存在一些非正常的试验数据需要进行处理。
![]()
图 5 同一批次试验数据焊点温度随时间变化曲线Figure 5. Time dependence curve of solder joint temperature of the same batch of experimental data温度变化程度异常包括两种情况：一是激光器光斑位置打偏，没有对准焊点，激励位置落于电子元器件或PCB电路板上，表现为激励开始时刻温度迅速急剧升高，甚至有可能超过规定的温度上限80℃；二是温升过低，或是曲线变化过于平缓。温度过高、温升过高或过低通过设定相应的阈值剔除。而温度波动的异常无法直接采取温度阈值方式进行异常判断，需要利用导数、方差等方式进行挑选。
对焊点平均温升曲线进行求导运算，设定温升速率允许的最大值为10，超过该值的试验数据即为异常。同时，计算焊点平均温升曲线的整体方差，将方差小于1且曲线全段温度变化率不超过0.5的试验数据进行剔除。在实际的操作过程中，检测到出现温升速度过快的异常数据如图 6所示，可以看出大多数异常数据存在温度的断崖式变化；而温升过低、曲线平缓的数据常常也伴随着焊点加热结束时间无规律，予以剔除。
对经过筛选后的正常焊点试验数据使用趋势分析法进行数据处理，提取出与焊点虚焊程度相关的特征参数。
2. 趋势分析方法
2.1 趋势分析方法检测原理
激光激励焊点后，虚焊缺陷焊点与焊接良好的焊点的热传导有所差异，在焊点的表面温度随时间变化的趋势上得以体现，即加热结束开始降温时的温度变化率。为求得温度变化率，则需要对焊点表面降温段曲线进行拟合，分析提取可以表征焊点虚焊信息的温升趋势的特征参数。
脉冲激励红外无损检测试验过程中针对过余温度-时间曲线进行温升趋势分析的常用试验数据处理方法有多项式拟合法、多项式拟合求导法、对数多项式拟合及求导法等。
多项式拟合法是依靠最小二乘原则，对给定的数据散点(xi, yi)(i＝1, 2, …, n)，求得多项式${P_n}\left( x \right) = \mathop \sum \limits_{k = 0}^n {a_k}{x^k} \in \emptyset $，使得残差平方和：
$$ I = \mathop \sum \limits_{i = 0}^n {\left[ {{P_n}\left( {{x_i}} \right) - {y_i}} \right]^2} = \mathop \sum \limits_{i = 0}^n {\left( {\mathop \sum \limits_{k = 0}^m {a_k}x_i^k - {y_i}} \right)^2} = {\text{min}} $$ (1) 达到最小值。而对数多项式拟合法先对数据的自变量t和因变量T分别进行取对数操作，对于变换后的对数数据散点(xi＝lnti, yi＝lnTi) (i＝1, 2, …, n)，求最小二乘拟合多项式${P_N}(x) = \sum\limits_{k = 0}^N {{a_k}{x^k}} $，（k＝1, 2, …, N），使得：
$$ \sum\limits_{i = 0}^n {{\delta ^2} = } \sum\limits_{i = 0}^n {{{[{P_N}({x_i}) - {y_i}]}^2}} = \min $$ (2) 达到最小值，最终的拟合结果为：
$$ y = \exp [{P_N}(x)] = \exp \sum\limits_{k = 0}^N {{a_k}{x^k}} $$ (3) 按照(3)式对数据进行拟合，并寻找拟合曲线上与虚焊程度相关的参量征虚焊缺陷。
2.2 趋势分析法的仿真数据分析
由图 5可知，不同焊点受激励后温升曲线趋势类似，因此先对单一曲线进行趋势分析法分析，选择较佳的拟合方式后再对所有数据进行分析，提取特征参数。对仿真数据典型温升曲线降温段进行3阶~8阶多项式拟合，拟合结果如图 7所示。
![]()
图 7 仿真数据降温段3阶至8阶多项式拟合结果Figure 7. Third to eighth order polynomial fitting results of cooling section of simulation data表 1中列出了各阶多项式拟合的3类评价指标，包括误差平方和（Sum of Squares of Errors，SSE）、确定系数（R-Square）以及均方根（Root Mean Square，RME）。其中，SSE和RMSE随阶次的升高逐渐减少，而R-Square也在不断上升至接近1，表明多项式拟合阶次越高，拟合结果越好，残差越小。但即便是以8阶多项式拟合，其R-Square仍不足0.95且残差数量级依然较高，可见多项式拟合结果不佳。从图 7中也可以看出，各彩色拟合曲线在曲线的开始和末端与原始温度序列相距虽逐渐缩小但仍然有一定差距，且在放大图中也可以看出其空隙较大。
表 1 仿真数据降温段3阶至8阶多项式拟合评价指标Table 1. Evaluation index of third to eighth order polynomial fitting in cooling section of simulation dataFitting Order Sum of Squares of Errors（SSE） R-Square Root Mean Square（RMSE） 3 1407.1 0.7753 2.6136 4 1012.9 0.8375 2.2228 5 762.77 0.8770 1.9337 6 592.89 0.9039 1.7090 7 470.74 0.9234 1.5266 8 378.84 0.9380 1.3729 虽然多项式拟合结果不尽人意，但利用对数多项式拟合则有较好的拟合效果。在对温度序列取对数后，利用五阶多项式进行拟合已经十分接近原始序列，如图 8所示。
其拟合评价指标SSE为0.5218，R-Square达到0.9924，RMSE降低至0.0506。虽然经过取对数操作也会使得残差的数量级降低，但不显著。因此，对数多项式拟合可以大幅度降低残差数量级，且其确定系数已经大于0.99，具有较好的拟合结果。
对对数五阶多项式拟合结果进行求导，取温度变化率绝对值最大值，即加热结束时刻的降温速率，绘制与虚焊程度的散点图，如图 9所示，可以看出，降温速率最大值与虚焊程度之间存在正相关关系，可以作为虚焊的特征值。
![]()
图 9 拟合降温速率最大值与虚焊程度散点图Figure 9. Scatter diagram of fitting the maximum cooling rate and the degree of false welding2.3 趋势分析法的试验数据分析
采用微焦点激光激励焊点，并采用红外热像仪采集焊点表面的热像序列图，激励开始的时刻标记为0 s，正常焊点和虚焊缺陷焊点的时域温度变化（0.2 s、0.4 s、0.6 s、0.8 s、1.2 s、1.6 s）热像图如图 10和图 11所示。热像图中的椭圆区域的中心为焊点的位置，即激励区域，热像图中的右侧的温度标识显示的是热像采集区域内的峰值辐射温度。未激励前的热辐射温度峰值为26.8℃，可以看出焊点区域并非热辐射的峰值温度，未激励前的焊点区域温度低于26.8℃，随着激光激励，热量注入焊点区域，焊点区域在激励时段温度是上升的，在激励结束点0.2 s的时刻温度达到最高值，激励结束后激励位置随热量的扩散而呈现温度逐渐下降的趋势，而由于激励位置的微小偏差以及焊点结构的微小差异导致不同焊点的温升和变化趋势有所不同，因此单纯依靠时域温度变化难以分辨焊点内部是否存在虚焊缺陷。不同时间点原始热像图中可以看到热量逐渐沿着元器件和导线方向扩散，因此通过热像图目视观测热场变化亦难以分辨正常焊点和缺陷焊点之间的差异。
![]()
图 11 不同时间点的虚焊焊点原始热像图Figure 11. Original thermal image of pseudo solder joint at different time对单一的试验数据曲线进行趋势分析法分析，试验数据降温段3阶~8阶多项式拟合结果如图 12所示。拟合结果显示拟合效果较好，曲线较为平滑。
![]()
图 12 试验数据降温段3阶~8阶多项式拟合结果Figure 12. Third to eighth order polynomial fitting results for cooling section of experimental data表 2列出了试验数据各降温段各阶次拟合的评价指标。与表 1对比可以发现，试验数据的多项式拟合结果优于仿真数据的拟合结果，其SSE和RMSE降低了若干个数量级，R-Square也十分接近于1，对应图 10中各拟合曲线已经基本与原始温度序列重叠。同时，试验数据的多项式拟合结果也遵从阶次越高拟合结果越好的规律，可选取七阶多项式进行拟合。同样的，对试验数据也进行对数多项式拟合并分析，如图 13所示。
表 2 试验数据降温段3阶~8阶多项式拟合评价指标Table 2. Evaluation index of third to eighth order polynomial fitting in cooling section of experimental dataFitting Order SSE R-Square RMSE 3 1.5125 0.9897 0.1091 4 0.4450 0.9970 0.0594 5 0.1359 0.9991 0.0330 6 0.0583 0.9996 0.0217 7 0.0324 0.9998 0.0162 8 0.0272 0.9998 0.0149 其拟合评价指标SSE为0.0386，R-Square达到0.9983，RMSE降低至0.0174，与七阶多项式的拟合结果十分接近。值得注意的是，仿真数据采取的是对数五阶多项式进行拟合，而试验数据仅采取对数三阶多项式就已经有较好的拟合结果。
对试验数据的七阶多项式拟合以及对数三阶多项式拟合结果进行求导，取其绝对值的最大值绘制与虚焊程度的散点图，如图 14所示。
![]()
图 14 拟合结果导数绝对值最大值与虚焊程度散点图Figure 14. Scatter diagram of maximum absolute value of derivative of fitting results and false soldering degree由图 14可知，七阶多项式拟合与对数三阶多项式拟合的绝对值的最大值与虚焊程度之间基本存在正相关关系。对比图 14(a)和(b)可知，七阶多项式拟合结果更为紧凑，对数三阶多项式拟合结果出现区间扩大及略微模糊化的特点。因此，七阶多项式拟合的绝对值的最大值更适于作为不同程度虚焊缺陷判定的特征参数，20%虚焊程度的缺陷辨识度较低而40%和60%阈值分割较为明显，大致可以划分出阈值进行虚焊程度的判别。七阶多项式拟合的绝对值最大值能够摒除信号噪声，有效表征虚焊程度。
3. 结语
本文提出了基于趋势分析方法的虚焊缺陷红外热像数据处理技术。通过对热像数据的分析，从趋势分析拟合结果中选择了具有代表性的趋势走向拟合方式，并绘制了虚焊程度散点图寻找能够表征虚焊程度的特征值及其之间的关系。结果显示提取的七阶多项式拟合绝对值的最大值特征参数与虚焊程度之间存在正相关关系，能够有效判别40%和60%阈值虚焊缺陷。
-
表 1 条纹测量结果
Table 1 Measurement of binocular Infrared fringe
A diameter/mm B diameter/mm Center distance /mm A diameter error/mm B diameter error/mm Center distance error/mm Center distance error ratio/% 50.716 50.800 100.045 0.066 0.024 0.040 0.040 50.836 50.778 100.030 0.054 0.011 0.025 0.025 50.767 50.767 100.042 0.016 0.009 0.038 0.038 
下载: 导出CSV
表 2 人脸模型测量结果
Table 2 Measurement of face modeling
Measuring distance/mm Mean absolute error of the fringe model /mm 550 0.097
下载: 导出CSV
-
[1] Sahil Sharma, Vijay Kumar. Voxel-based 3D face reconstruction and its application to face recognition using sequential deep learning[J]. Multimedia Tools and Applications: An International Journal, 2020, 79(25-26): 17303-17330. DOI: 10.1007/s11042-020-08688-x
[2] WANG Zhenzhou. Robust three-dimensional face reconstruction by one-shot structured light line pattern[J]. Optics and Lasers in Engineering, 2020, 124: 105798. DOI: 10.1016/j.optlaseng.2019.105798
[3] CHEN Hui, CUI Wen. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface[J]. Optik, 2020, 206: 164190. DOI: 10.1016/j.ijleo.2020.164190
[4] 何文杰, 贺赛先. 双目线结构光测量系统三维数据融合研究[J]. 激光杂志, 2020, 41(6): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202006003.htm HE Wenjie, HE Saixian. Research on 3D data fusion of binocular structured light measurement system[J]. Laser Journal, 2020, 41(6): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202006003.htm
[5] 惠宏超, 严小军, 罗凯元, 等. 基于三频外差法的异构铸件三维测量系统[J]. 导航与控制, 2019, 18(6): 114-120. https://www.cnki.com.cn/Article/CJFDTOTAL-DHKZ201906018.htm HUI Hongchao, YAN Xiaojun, LUO Kaiyuan, et al. Three-dimensional heterogeneous castings measurement system based on tri-frequency heterodyne principle[J]. Navigation and Control, 2019, 18(6): 114-120. https://www.cnki.com.cn/Article/CJFDTOTAL-DHKZ201906018.htm
[6] Turski Jacek. On binocular vision: the geometric horopter and cyclopean eye[J]. Vision Research, 2016, 119: 73-81. DOI: 10.1016/j.visres.2015.11.001
[7] ZHOU P, ZHU J, SU X, et al. Experimental study of temporal-spatial binary pattern projection for 3D shape acquisition[J]. Applied Optics, 2017, 56(11): 2995. DOI: 10.1364/AO.56.002995
[8] JIE Z, WANG P, LING Y, et al. Left-right comparative recurrent model for stereo matching[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 3838-3846, Doi: 10.1109/CVPR.2018.00404.
[9] 张启灿, 吴周杰. 基于格雷码图案投影的结构光三维成像技术[J]. 红外与激光工程, 2020, 49(3): 70-82. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202003005.htm ZHANG Qican, WU Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]. Infrared and Laser Engineering, 2020, 49(3): 70-82 https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202003005.htm
[10] Fan R, Ai X, Dahnoun N. Road surface 3D reconstruction based on dense subpixel disparity map estimation[J]. IEEE Transactions on Image Processing, 2018, 27(6): 1-1. DOI: 10.1109/TIP.2018.2824142
[11] CHEN Y C, LIU B Q, HUANG F Y. Ultra-wide field infrared binocular vision epipolar constraint and spatial positioning[J]. Acta Photonica Sinica, 2019, 48(2): 211003. DOI: 10.3788/gzxb20194802.0211003
计量
- 文章访问数: 279
- HTML全文浏览量: 30
- PDF下载量: 91
