Infrared Structured Light for 3D Face Reconstruction
-
摘要: 在基于结构光的双目三维人脸重建中，容易丢失细节处数据和建模精度较低，导致三维人脸数据完整度不高，对三维人脸识别较差。本文研究了基于红外条纹的双目三维照相机系统，通过投射红外条纹结构光，根据相移法将生成包裹相位，利用三频法得到绝对相位，生成视差图，得到三维人脸模型。实验表明，基于红外的哑铃规球心测距误差在0.1%以内，人脸精度在0.1mm内。在眼睛，眉毛等弱纹理区数据缺失较少，优于基于可见光的三维建模，并且人脸模型更平滑更能反映人脸的真实三维形状。通过对比投射红外与可见光的性能，为三维人脸重建未来研究分析提供技术和算法上的参考。Abstract: In structured-light 3D face reconstruction, it is easy to lose detailed data and obtain reduced modeling accuracy, which leads to low integrity and poor recognition of 3D faces. In this study, a binocular three-dimensional camera system based on an infrared fringe is developed. The wrapped phase is generated using the phase-shift method by projecting infrared fringe-structured light. The absolute phase is obtained using the three-frequency method, and a parallax diagram is generated to obtain a three-dimensional face model. Experiments reveal that measurement errors for the distance of sphere centers are less than 0.1% when measuring standard spheres, and face accuracy is within 0.1 mm. For the eyes, eyebrows, and other areas with weak texture, data loss is reduced, which is better than visible light. The face model varies more smoothly and is more consistent with the real face. This preliminary analysis of the performances of the two proposed techniques can be used as a reference for further comparisons in the analysis of various techniques and algorithms.
-
Keywords:
- infrared fringe /
- structed-light /
- binocular vision /
- 3D face modeling
-
0. 引言
连续变焦红外光学系统可以实现在一定范围内焦距连续变化，并且保持像面不动，其工作原理是通过改变透镜组间隔来改变焦距，从而改变光学视场，满足大视场导航搜索和小视场分辨瞄准，且大小视场范围内连续变焦，图形清晰[1-2]。机械补偿方式驱动透镜运动主要有丝杆导轨机构和凸轮式变焦机构，其中基于凸轮式变焦机构因其特有的优点受到越来越多的重视，其单个电机驱动凸轮即可实现多组透镜同时按照预先设计的位置运动，实现连续变倍的目的[3-4]。连续变焦系统中凸轮槽曲线的精度和准确性直接影响光学成像的质量，凸轮曲线压力角的大小影响变焦系统的运动情况，如果凸轮曲线的压力角过大，会使变焦系统的运行过程中阻力过大，运动机构卡死[5-6]。本文从光学系统初始数据点给定，通过数据优化转换，运用Creo实现凸轮筒的设计，完成加工图，最终实现凸轮式连续变焦光学系统且成像流畅清晰。
1. 连续变焦原理
图 1是一个凸轮筒连续变焦光学系统的原理示意图，其中序号1、6为固定透镜、2为变倍透镜、3为补偿透镜，透镜2按照对应虚线路径点进行前后运动，透镜3按照对应虚线路径点进行前后运动，其位置一一对应。透镜2、3相对位置最近的时候为光学系统小视场位置，透镜2、3相对位置最远的时候时为光学系统大视场位置，透镜4、5为一组，前后修正成像位置，实现光学系统最大到最小视场全程清晰成像。
![]()
图 1 连续变焦光学原理示意图Figure 1. Schematic diagram of the optical principle of continuous zoom2. 动态光学理论
从动态光学理论上讲，变焦系统属于一维动态稳像光学系统，即前固定组和后固定组不动，中间的变倍组与补偿组沿光轴移动，使光学系统焦距发生变化。在此过程中，像面不动，光学系统总长保持不变。应用动态物象共轭关系，将物和像移动到统一坐标系中标定，通过对应变换坐标，推出物和像之间的动态关系。通过多组元机械补偿方式将具体透镜的运动方式联系起来，形成了像移量和像移补偿量的分析表达式和计算模型，并由表达式准确得出补偿组的运动曲线，代替了光路计算逐点描绘曲线的方法。
由动态光学理论[7-8]可知，对于一个二组元稳像系统且变倍组与补偿组均为沿光轴的一维位移，其稳像方程为：
$$ β_{2m}β_{2}(1-β_{1m}β_{1})q_{1}+(1-β_{2m}β_{2})q_{2}=0 $$ (1) 式中：β1为变倍组初始位置的垂轴放大率；β1m为变倍组运动后的垂轴放大率；β2为补偿组初始位置的垂轴放大率；β2m为补偿组运动后的垂轴放大率；q1表示元件1的运动矢量；q2表示元件2的运动矢量。
一般情况下，q1为线性运动，由式(1)可得出q2与q1的运动关系，即：
$$ A q_2^2+B q_2+C=0$$ (2) 式中：A＝(f1′+β1q1)β2；B＝β1β2q12+[f2′(1－β22)β1－f1′(1－β12)β2]q1－f1′f2′(1－β22)；C＝β22f2′[β1q1－f1′(1－β12)]q1，其中f为焦距。则：
$$ {q_2} = \frac{{ - B \pm \sqrt {{B^2} - 4AC} }}{{2A}} $$ (3) 由式(3)可以精确地计算出补偿组的运动轨迹。
3. 变焦凸轮设计
3.1 动态曲线设计
根据实际设计要求，连续变焦镜头的主要设计指标如下：
① 焦距：15~300 mm，20×连续变焦。②F数：4；③光谱范围：3~5 μm。
图 2是连续变焦光学系统的原理示意图，其中序号1、6固定透镜、2为变倍组透镜、3为补偿组透镜。变倍组透镜在A位置范围内前后运动，补偿组透镜在B位置范围内前后运动，透镜2、3同时在两片透镜最近距离为小视场，透镜2、3同时在两边透镜最远离位置为大视场，假设透镜2前透镜顶点到透镜1后顶点距离为a，透镜2后顶点到透镜3前顶点距离为b，如图 2所示。
同一时刻，当透镜2往透镜1方向移动到距离a时，则透镜3往透镜4方向移动，其对应尺寸必须为b，这样连续的变倍曲线与补偿曲线就可以离散成无数组的同时刻对应的a、b值。本文按照400数据点进行计算，如表 1所示。
表 1 光学透镜顶点间隔数据Table 1. Optical lens vertex pitch dataNo. a b 1 a1 b1 2 a2 b2 … … … 400 a400 b400 按照光学设计给出a、b值对应的400个数据点，建立以数据点序号为X轴，变倍透镜2和补偿透镜3分别距离透镜1的光学间隔数据为Y轴，获得变倍组与补偿组曲线，如图 3所示，变倍组是一条斜直线，补偿组是一条满足动态光学理论的对应拟合曲线。
3.2 压力角优化
建立凸轮驱动力矩M和变倍曲线压力角α1、补偿曲线α2之间的函数关系，以驱动力矩为优化目标，以α1和α2为优化变量，求取凸轮驱动力矩M的最小值，对曲线压力角进行优化，建立如下的优化目标函数：
$$ \min \left[f\left(\alpha_1, \alpha_2\right)\right]=\min \left[f_1\left(\alpha_1\right)+f_2\left(\alpha_2\right)\right]$$ (4) 根据已有的相关设计资料[5, 9]分析，凸轮曲线的设计压力角一般不大于45°，因此，公式建立的优化目标函数是多变量非线性目标函数，采用求解有约束的多目标非线性规划问题的序列二次规划法（sequential quadratic programming, SQP）优化算法[10]对凸轮的驱动力矩进行优化，计算凸轮两条曲线压力角的最佳组合，凸轮设计参数如表 2所示。
表 2 凸轮设计参数Table 2. Cam design parametersDiameter size d/mm 70 Mass m/g 100 moment of Inertia J/kg⋅mm2 110 Pressure angle range α/° 0°-45° 将表 2凸轮设计参数代入建立的目标优化函数公式(4)，利用Matlab软件进行编程并对目标函数进行优化计算，最终优化结果得出凸轮变倍曲线压力角的最优值为28.35°，补偿组曲线最大压力角为33.42°。
3.3 结构设计
根据机械制造原理，在机床加工圆柱凸轮槽时，一般是圆柱凸轮筒进行旋转，铣刀根据预设位置插值递进[6]，这样才能按照设计给出的数据加工出准确的凸轮槽，故本文把光学间隔在凸轮筒上以柱坐标进行映射，柱坐标需要R、θ、Z三个参数表达，R为凸轮筒外径、θ为旋转角度、Z代表凸轮筒光轴方向的位移，因此需要把表 2中的数据转换为柱坐标数据。本文以小视场下各透镜位置分别作为每条凸轮曲线初始点，此时旋转角度θ为0°，按照120°将数据点平均分割成400份，故θ为差值0.3°的等差数列。凸轮半径为R，由设计要求及优化结果共同决定。
根据图 2光学系统原理示意图和表 1光学透镜间隔数据进行分析，因为光学设计提供的数据点是光学透镜顶点之间的间隔，需要把光学间隔数据点转换为三维软件中变化间隔尺寸，把小视场位置作为变倍透镜和补偿透镜曲线起始点，变倍透镜组2的数据变化差为凸轮变倍曲线空间柱坐标Zv，补偿透镜3变化差为凸轮补偿曲线空间柱坐标ZC，如图 2所示。根据透镜形状和安装位置，通过公式(5)和公式(6)进行转换：
$${Z_{{\rm{v}}{n}}} = {a_n} - {a_1}$$ (5) 式中：Zvn为变倍组在第n个点时相较于初始点距离透镜1的变化值；an为第n个点时变倍组距离透镜1的光学间隔；a1为初始点时变倍组距离透镜1的光学间隔。
$$ {Z_{{\rm{C}}{n}}} = {b_n} - {b_1} + {Z_{{\rm{V}}n}} $$ (6) 式中：ZCn为补偿组在第n个点时相较于初始点距离透镜2的变化值；bn为第n个点时补偿组距离透镜2的光学间隔；b1为初始点时补偿组距离透镜2的光学间隔。
根据上述公式转换，可以得出如表 3的数据。在软件Creo中建立笛卡尔坐标系CS0和CS1，把表 3的400个柱坐标点分别生成两个ibl类型的文件，利用Creo基准点导入功能，分别以CS0和CS1作为参考坐标，把上述离散数据点分别导入到凸轮筒三维模型上，通过投影功能把曲线包裹在凸轮筒三维模型，然后利用扫描切除功能围绕曲线切出一个凸轮槽，并对曲线两端按照槽宽进行旋转切除，通过180°阵列出两条对应的凸轮槽，如图 4所示。
表 3 凸轮曲线柱坐标数据Table 3. Cam Design ParametersNo. R θ $ Z $ 1 R1 θ1 Z1 2 R2 θ2 Z2 …
…
……
…
……
…
……
…
…400 R400 θ400 Z400 3.4 有限元分析
模态是结构的一种固有振动特性，是一种研究结构动力特性的方法，并在各工程领域中得到广泛应用。通过求解连续变焦系统的模态来获取固有频率，可以在设计中避开共振频率并且在选择合适的安装基础等方面有至关重要的作用[11, 13]。将变焦凸轮筒结构导入Ansys workbench软件进行模态分析和受力分析。模态分析结果如图 5所示，一阶频率为1171.9 Hz，振型为垂直于光轴方向摆动，刚性良好，能满足大部分机载环境。受力分析结果如图 6所示，显示最大变形量为0.000938 mm，变形量很小，说明凸轮结构设计合理，满足要求。
4. 实验结果
通过上述分析与仿真，理论上变倍曲线与补偿曲线已经满足压力角要求，凸轮结构满足受力、振动要求，为了验证所设计的变焦凸轮可以满足结构上的运动连续性和成像质量要求，对该20×连续变焦系统进行运动和成像两方面检测[12, 14]。运动检测主要是验明该凸轮筒与导钉之间的运动平滑性，成像质量是看凸轮在连续变焦过程中图像是否一直保持清晰。
4.1 运动检测
利用三坐标测量仪对相关机加零件检验精度，符合要求的零件才可使用。待光、机、电相关零件成功装配之后，进行镜组间距调整。如图 7所示，在电机带动下，齿轮带动凸轮筒旋转，安装于凸轮槽内的导钉能够平滑运动并且无卡死现象，证明该优化后的凸轮曲线在结构上可行。
4.2 成像检测
将连续变焦光学系统安装调整后，连接红外探测器和成像电路，对5 km外的景物在不同焦距下成像，得到小视场、大视场、中视场的图像，如图 8~10所示。在连续变焦过程中，对同一景物均可以清晰成像、像面稳定且同轴一致性好，验证了变焦凸轮在运行过程中，变倍组和补偿组的位置是准确的，满足像面不动、成像连续的要求。通过对实际系统的检测结果分析，根据以上设计方法实现的变焦系统，在电机的带动下可以顺畅的运行，没有卡滞的现象。
5. 结论
本文在连续变焦凸轮设计过程中，采用了求解有约束的多目标非线性规划问题的序列二次规划法优化算法来降低动态光学曲线的压力角，得到了满足设计要求的变焦系统凸轮槽曲线，将数据点导入三维设计软件完成变焦凸轮三维模型设计，利用有限元分析确定了凸轮结构设计的可靠性。通过对实际的变焦系统进行测试验证，变焦系统运行平滑、稳定，变焦系统能够连续清晰成像，可实现复杂光学连续变焦系统高精度的运动，结构紧凑，具有小型化、轻量化、低成本等设计优点。
-
表 1 条纹测量结果
Table 1 Measurement of binocular Infrared fringe
A diameter/mm B diameter/mm Center distance /mm A diameter error/mm B diameter error/mm Center distance error/mm Center distance error ratio/% 50.716 50.800 100.045 0.066 0.024 0.040 0.040 50.836 50.778 100.030 0.054 0.011 0.025 0.025 50.767 50.767 100.042 0.016 0.009 0.038 0.038 
下载: 导出CSV
表 2 人脸模型测量结果
Table 2 Measurement of face modeling
Measuring distance/mm Mean absolute error of the fringe model /mm 550 0.097
下载: 导出CSV
-
[1] Sahil Sharma, Vijay Kumar. Voxel-based 3D face reconstruction and its application to face recognition using sequential deep learning[J]. Multimedia Tools and Applications: An International Journal, 2020, 79(25-26): 17303-17330. DOI: 10.1007/s11042-020-08688-x
[2] WANG Zhenzhou. Robust three-dimensional face reconstruction by one-shot structured light line pattern[J]. Optics and Lasers in Engineering, 2020, 124: 105798. DOI: 10.1016/j.optlaseng.2019.105798
[3] CHEN Hui, CUI Wen. A comparative analysis between active structured light and multi-view stereo vision technique for 3D reconstruction of face model surface[J]. Optik, 2020, 206: 164190. DOI: 10.1016/j.ijleo.2020.164190
[4] 何文杰, 贺赛先. 双目线结构光测量系统三维数据融合研究[J]. 激光杂志, 2020, 41(6): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202006003.htm HE Wenjie, HE Saixian. Research on 3D data fusion of binocular structured light measurement system[J]. Laser Journal, 2020, 41(6): 10-16. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202006003.htm
[5] 惠宏超, 严小军, 罗凯元, 等. 基于三频外差法的异构铸件三维测量系统[J]. 导航与控制, 2019, 18(6): 114-120. https://www.cnki.com.cn/Article/CJFDTOTAL-DHKZ201906018.htm HUI Hongchao, YAN Xiaojun, LUO Kaiyuan, et al. Three-dimensional heterogeneous castings measurement system based on tri-frequency heterodyne principle[J]. Navigation and Control, 2019, 18(6): 114-120. https://www.cnki.com.cn/Article/CJFDTOTAL-DHKZ201906018.htm
[6] Turski Jacek. On binocular vision: the geometric horopter and cyclopean eye[J]. Vision Research, 2016, 119: 73-81. DOI: 10.1016/j.visres.2015.11.001
[7] ZHOU P, ZHU J, SU X, et al. Experimental study of temporal-spatial binary pattern projection for 3D shape acquisition[J]. Applied Optics, 2017, 56(11): 2995. DOI: 10.1364/AO.56.002995
[8] JIE Z, WANG P, LING Y, et al. Left-right comparative recurrent model for stereo matching[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018: 3838-3846, Doi: 10.1109/CVPR.2018.00404.
[9] 张启灿, 吴周杰. 基于格雷码图案投影的结构光三维成像技术[J]. 红外与激光工程, 2020, 49(3): 70-82. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202003005.htm ZHANG Qican, WU Zhoujie. Three-dimensional imaging technique based on Gray-coded structured illumination[J]. Infrared and Laser Engineering, 2020, 49(3): 70-82 https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ202003005.htm
[10] Fan R, Ai X, Dahnoun N. Road surface 3D reconstruction based on dense subpixel disparity map estimation[J]. IEEE Transactions on Image Processing, 2018, 27(6): 1-1. DOI: 10.1109/TIP.2018.2824142
[11] CHEN Y C, LIU B Q, HUANG F Y. Ultra-wide field infrared binocular vision epipolar constraint and spatial positioning[J]. Acta Photonica Sinica, 2019, 48(2): 211003. DOI: 10.3788/gzxb20194802.0211003
-
期刊类型引用(1)
1. 周潘伟，于洋，李范鸣，叶锡生. 基于直线运动机构的大变倍比红外变焦成像系统（英文）. 红外与毫米波学报. 2023(06): 845-852 . 
百度学术
其他类型引用(3)
计量
- 文章访问数: 281
- HTML全文浏览量: 30
- PDF下载量: 92
- 被引次数: 4
