3D Visual Reconstruction System Based on Multispectral Fusion
-
摘要:
为了解决目标三维重建时杂散点干扰、数据空洞等问题,提高三维视觉重建效果,提出了基于偏振多光谱融合的三维视觉重建算法。搭建了双目激光扫描与偏振多光谱成像系统,利用本融合算法将多光谱映射的特征区域作为目标三维点云在该截面的二维边界,完成了点云滤波。测试了高斯采样与极值采样方式的解算精度,映射位置与实际位置的偏差均值分别为0.59 mm与0.93 mm。采用4种偏振片的叠加降噪处理后,背景区域噪声强度均值由49.5降低为13.4。对包含两个局部曲率不同的目标特征进行测试发现,优化后,超过80%的测试点的误差优于3.05 μm,平均偏差为1.49 μm,目标三维视觉重建效果得到了改善。
Abstract:To solve the problems of scattered point interference and data holes in 3D target reconstruction, and to improve the 3D visual reconstruction effect, a 3D visual reconstruction algorithm based on polarization multispectral fusion was proposed. A binocular laser scanning and polarization multispectral imaging system was built, and a fusion algorithm was used to filter the point cloud by considering the characteristic region of multispectral mapping as the two-dimensional boundary of the target 3D point cloud. The precision of Gaussian and extremum sampling was tested experimentally. The mean deviation between the mapping position and the actual position was 0.59 mm and 0.93 mm, respectively. The average noise intensity in the background area was reduced from 49.5 to 13.4 after the superposition of four polarizers for noise reduction. Testing the target features with two different local curvatures determined that after optimization, over 80% of the test points had an error better than 3.05 μm, with an average deviation of 1.49 μm. Moreover, the 3D visual reconstruction effect of the target was improved.
-
Keywords:
- target recognition /
- multispectral fusion /
- 3D reconstruction /
- boundary constraint
-
0. 引言
目标的三维重建被广泛地应用在生产生活、军事侦查等领域,其主要采用激光扫描点云重构的方法实现[1]。由于待测目标表面的反射率、粗糙度、入射角等的不同,从而对激光扫描结果产生很大的影响,故多手段结合、多方法集成、多数据格式融合的目标点云滤波与算法优化设计成为提高三维目标重建效果的研究热点之一[2]。激光扫描获得的点云数据是离散的,所以并不能像二维图像处理那样通过像素点邻域特征算法完成目标识别,从而造成目标局部点云数据提取时夹杂噪声点或剔除目标点,降低目标三维重建质量。故点云扫描常常需要配合相应的特征提取算法才能更好地完成目标三维重建,例如数模边界法、包络盒法、立体投影法、光谱限定法等[3-6]。数模边界法以待测目标数模作为点云边界条件,可以获得准确的局部特征,速度快、精度高,但不适用于非合作目标;王果等人[7]采用已知数模为车载激光雷达点云数据分离单木目标,可分度较优化前得到了大幅提升。包络盒法可以根据目标类型自适应调节点云选框范围,可适用于非合作目标、更灵活,但易受目标外形及照射角度影响。Dominik等人[8-9]采用三维包络盒反向投影目标点云数据,实现了车辆局部数据的快速提取,但算法在车型结构复杂时识别率仅达53.1%。立体投影法与以上两种方法相近,都是基于目标几何特性实现的,存在普适性差的问题。Mousavian[10]将目标投影方向的点云映射位置作为特征边界,获取自动驾驶中外部障碍物的目标三维位置,相比传统方法的测距精度提升了23.4%。
相比之下,采用多光谱融合等手段提供边界限制的方法更具通用性。仝选悦[11]将红外特征作为点云提取边界,完成了非合作坦克目标的快速识别。Choi等[12]采用RGB分通道图像滤波的方式,对点云数据的特征点进行分离,噪声均值降低了约30%。王宏涛等[13]人采用融合光谱对机载LiDAR进行杂散点滤波,分类精度提升了13.4%。本文将多偏振光谱叠加形成目标局部特征区域,再把限定范围与激光扫描截面相结合,从而得到了经滤波抑噪的三维重建点云数据。
1. 系统设计
如图 1所示,本系统由3个部分组成:(a)偏振多光谱模块。处理模块控制步进电机选择不同的偏振片,入射光经偏振处理后照射在被测目标上,目标反射光由透镜组、检偏器接收光信号导入CCD;(b)双目激光扫描模块。扫描模块完成对目标整个区域的点云进行采集,CCD1和CCD2同时获取被测目标的激光回波信号,从而实现三维重建;(c)处理模块。将偏振多光谱模块的偏振图像数据作为映射边界条件,通过多光谱融合算法与点云特征对双目扫描的点云数据进行分类与降噪,最终完成目标三维视觉重建。
传统目标三维重建采用激光扫描实现,但扫描获得的点云数据往往受限于目标纹理、反光特性等影响而使局部重建误差过大,甚至出现数据空洞等现象。为了提高三维视觉重建效果,系统在扫描结构的基础上增加了(a)模块,通过步进电机驱动包含4个不同偏振态偏振片的旋转装置,使系统在任意扫描位置可以实现对目标表面分时采集4组偏振图像,并由CCD完成4幅偏振图像的采集。为了避免更换偏振片造成系统位置偏差导致的测试误差,选用旋转结构,即通过分时采集的方式保证空间位置不变,从而保证系统测试的稳定性。在测试过程中,采用偏振光源与双目成像系统中的光源同时照射待测目标,由于目标漫反射光与杂散光的偏振特性差异大,即在对原始多光谱进行适当滤波的条件下就能够提取目标光谱信息。同时,偏振光谱不受制于目标纹理特征,可以为三维点云数据提供准确的边界条件。
2. 数据融合模型构建
2.1 双目激光三维扫描
线激光属于结构光,设其入射方向与基准面的入射角为θ1,漫反射光与基准面的法线夹角为θ2,根据三角测量关系可知:
$$ \frac{X}{{X'}} \cdot \frac{{\sin ({\theta _1} + {\theta _2})}}{{\cos \alpha \cos {\theta _1}}} = \frac{{{L_1}\cos {\theta _1} - X\cos ({\theta _1} + {\theta _2})}}{{\left( {{L_2} - X'\cos \alpha } \right)\cos {\theta _1}}} $$ (1) 式中:X和X′分别为像面和标准面在X轴向的距离值;L1和L2分别为CCD像面到透镜,透镜到标准面的距离;α为像面法向与光轴之间的夹角。当CCD放置于透镜焦距f位置时,则有:
$$ X = \frac{{X'{L_1}\cos {\theta _1}\cos \alpha }}{{(f - X'\cos \alpha )\sin ({\theta _1} + {\theta _2}) + X'\cos ({\theta _1} + {\theta _2})\cos \alpha }} $$ (2) 系统采用主点坐标标定方法,光路示意如图 2中双目成像部分。设主点的坐标是(u0, v0),任意目标点P1在像面的映射点为(u1, v1)。相机采集p1点的3个特征位置分别是(u1, v1)、(u2, v2)、(u3, v3),则可得:
$$ \left({u}_{0}\text{,}{v}_{0}\right)=\left(\frac{2{u}_{2}{u}_{3}-{u}_{2}{u}_{1}-{u}_{1}{u}_{3}}{{u}_{3}-2{u}_{1}+{u}_{2}}\text{,}\frac{2{v}_{2}{v}_{3}-{v}_{2}{v}_{1}-{v}_{1}{v}_{3}}{{v}_{3}-2{v}_{1}+{v}_{2}}\right) $$ (3) 通过标定完成主点位置提取,将Halcon标定板放置于与光轴平行的位置上,沿光轴方向平行运动,在预设位置上分别提取3张图像(P1,P2,P3所在平面,如图 2所示),把黑色圆心当作特征点位。
2.2 偏振多光谱
根据菲涅尔原理,反射率会因光矢量方向的不同而不同,则通过旋转偏振片,可以改变反射光的亮度。在CCD前放置线偏振片,设偏振片透光轴和参考位置之间的夹角为v,则光照强度I(μ, λ, v)可表示为:
$$ I\left( {\mu , \lambda , v} \right) = \frac{{{I_{\max }} + {I_{\min }}}}{2} + \frac{{{I_{\max }} - {I_{\min }}}}{2}\cos \left( {2v - 2\phi } \right) $$ (4) 式中:μ为多光谱偏振图像中的像素点;λ为波长;Imax和Imin分别为最大光强值和最小光强值;ϕ为偏振角。由于系统是正定的,故设系数矩阵x的解为x=[x1, x2, x3]T,则有:
$$ \begin{array}{l}{I}_{\mathrm{max}}\text{=}{x}_{1}+\sqrt{{x}_{2}^{2}+{x}_{3}^{2}}\text{,}{I}_{\mathrm{min}}\text{=}{x}_{1}-\sqrt{{x}_{2}^{2}+{x}_{3}^{2}}\text{,}\\ \varphi \text{=0}\text{.5}\;\mathrm{arctan}\left({x}_{3}/{x}_{2}\right)\end{array} $$ (5) 2.3 数据融合
如图 2所示,由于偏振光谱坐标系与双目测距坐标系在测试过程中是固定的,所以可以通过三维位置换算完成坐标系的统一。对于双目扫描系统而言,任意截面上的点云集合只能表征目标的距离信息,所以三维重建时容易产生局部位置分割错误的问题。采用多光谱偏振图像就相当于在对应截面上给出了一个具有偏振特性的边界区域(如图 2中P1面上的阴影区),由此重建目标时有了明确的边界,则局部细节完整,避免了数据空洞与边界不清等问题。将(4)式代入(3)式,得到包含边界特征的坐标函数:
$$ \left\{\begin{array}{l} \left(u_0, v_0\right)\;=\;\left(\frac{2 u_2 u_3-u_2 u_1-u_1 u_3}{u_3-2 u_1+u_2}, \frac{2 v_2 v_3-v_2 v_1-v_1 v_3}{v_3-2 v_1+v_2}\right) \\ \;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;\;I_0 \geq I\left(\mu, \lambda, v)\right. \\ \left(u_0, v_0\right)=\left(u_{0+1}, v_{0+1}\right) \;\;\; I_0<I(\mu, \lambda, v) \end{array}\right.$$ (6) 式中:I0表示根据目标表面特性预设的光强度识别阈值,只有当在有效测试范围内超过测试阈值的光强度值才会被保留。当I0≥I(μ, λ, v)时,则说明其符合阈值设定,标记为同一局部单元,即符合同一局部的边界特征。当I0<I(μ, λ, v)时,该点序号加1,进入下一个局部分段的判断,以此类推,当迭代计算所有目标点时完成对目标的分类与识别。
3. 实验
3.1 激光扫描标定实验
模型中需要获取3个位置的图像信息进行位置标定,激光器采用ColdRay-660 nm结构光激光器(实验中采用线型扫描),相机选用MER-240型面阵CCD,电控平台选用ZXT400MA06步进平台。CCD1和CCD2的间距为50.0 cm,标定板尺寸为60.0 cm×60.0 cm,标定板到相机像面距离为150.0 cm。因为系统完成后主要应用于工业生产流水线上目标表面质量的快速检测,其工作距离在1.2~1.8 m之间,故采用150.0 cm的标定距离。前置透镜组典型焦距1200 mm,可电控调焦,相机最高帧率为100 fps/s。系统与标定板如图 3所示。
在获得线激光的能量分布后,对中心位置进行曲线拟合可以得到结构激光扫描线的拟合方程;然后通过两个CCD中标准板的图像位置,计算基线长度、测试目标与测试平台的夹角;最后将每个测量截面点云在三维空间复现,构成目标三维点云集合。以P1面的光强分布为例,对光束照射位置处能量进行采样拟合,如图 4(a),在对比了极值采样与高斯采样的基础上,选用了高斯采样,获得了亚像素级的标准位置坐标点,再结合Halcon标定板上圆点坐标,如图 4(b),即可将该截面的二维信息转化为三维点云。
如图 4(a)可以看出,高斯分布拟合的中心线对各个测试点的方差均值更小,当系统存在杂散点、照明不均匀、背景强光等时,其对总体分布的波动影响较小,而极值采样更偏向于峰值位置。在本系统应用中,高斯分布的拟合线更符合实际测试要求。在图 4(b)中,高斯采样拟合与极值采样拟合的直线映射位置与实际位置的偏差均值分别是0.59 mm与0.93 mm,故采用高斯采样误差更小。
3.2 偏振多光谱边界
对于杂散光引入的白噪声干扰,仅采用传统灰度图像处理算法就能够很好的抑制,但在双目识别中采用的是激光扫描获取的方式,数据点是离散的,传统算法仅能计算某一界面,这样会导致目标不同局部区域存在混叠的问题。故单纯采用灰度图像处理算法无法对空间离散的白噪声进行有效抑制,所以限定滤波的边界显得尤为重要。本系统以CCD感光面法向为参考方向,设置前置偏振片线偏振度为0°、45°、90°和135°,采集4幅不同偏振图像I1、I2、I3和I4,对4幅偏振光谱图像进行线性加权,生成单幅滤噪后图像,避免耀光、杂散光的干扰。将抑噪后图像中目标所在区域范围作为目标三维点云在该截面的二维边界。无偏振原始图像与经偏振多光谱叠加滤噪后的图像如图 5所示。
如图 5(a)所示,线激光外的区域中存在的杂散光等白噪声并不是二维平面上的噪声,所以不能将其全部滤除,其中包含了目标其它部分的有效信号及不同分区的噪声,所以需要通过不同偏振角条件下点云数据的分区进行分别滤波。如图 5(b)所示,当根据4个偏振态图像的边界分区分别进行滤波后,从而得到解算后的融合图像,该图像完成了目标不同部分的分区滤波。滤波后线激光灰度图像的背景噪声被大幅降低,线激光照射的区域以外噪声强度均值得到了很好的抑制。取背景区域内10×10像素范围计算噪声强度均值,滤波前后分别为49.5和13.4,说明采用偏振多光谱叠加可以对不具备偏振特征的白噪声起到很好地抑制作用。而对5×5像素范围的线激光照射区域灰度图像进行分析发现,滤波前后分别为238.6和229.1,强度衰减远小于背景区,即滤波对提高图像信噪比是有效的。
3.3 数据融合与三维重建
实验选用两段局部具有不同曲率的测试目标,对其进行扫描采集的点云数据,并利用偏振多光谱测试中提供的边际条件对点云数据进行滤波,获得目标三维可视化图像。在此基础上与数模位置对比,重建图像与偏差分布如图 6所示。
图 6(a)中是在测试目标表面分别选取了100个坐标点,绝大部分分布在目标两个局部表面上。测试结果显示,大部分的测试点位重建精度偏差很小,超过80%的测试点的误差小于3.05 μm,这些点优化前后的平均偏差为1.49 μm。但未优化的测试点中存在3处明显偏差位置,偏差最大值为62.32 μm,显然已不在同一个表面,其被判定为杂散点噪声,可见采用本算法对点云内异常点具有很好的识别效果。由图 6(b)可以看出,经过优化滤波后的目标三维点云数据分布均匀,在主要的两个局部表面上基本没有杂散点,可以很好地反映目标表面结构,提供较好的视觉效果。
4. 结论
本文针对三维目标重建过程中容易误将目标位置附近的杂散点混入的问题、对目标表面光滑度高容易产生数据空洞的问题,提出了基于偏振多光谱融合的双目激光扫描成像系统。双目激光扫描实验中,得到了高斯采样可以获得更好的中心位置反演精度的结论。偏振图像叠加测试时将目标界面的噪声进行了抑制,得到了较好的效果。最终,对待测目标点云数据的三维视觉重建得到了优化,验证了本算法的可行性。
-
-
[1] 胡海瑛, 惠振阳, 李娜. 基于多基元特征向量融合的机载LiDAR点云分类[J]. 中国激光, 2020, 47(8): 229-239. HU Haiying, HUI Zhenyang, LI Na. Airborne LiDAR point cloud classification based on multiple-entity eigenvector fusion[J]. Chinese Journal of Lasers, 2020, 47(8): 229-239.
[2] 薛培林, 吴愿, 殷国栋, 等. 基于信息融合的城市自主车辆实时目标识别[J]. 机械工程学报, 2020, 56(12): 165-173. XUE Peilin, WU Yuan, YIN Guodong, et al. Real-time target recognition for urban autonomous vehicles based on information fusion[J]. CMES, 2020, 56(12): 165-173.
[3] 杨思远, 郑建颖. 基于路侧三维激光雷达的车辆目标分类算法[J]. 传感器与微系统, 2020, 39(7): 123-126. YANG S Y, ZHENG J Y. Vehicle target classification algorithm based on roadside 3D LiDAR[J]. Transducer and Microsystem Technologies, 2020, 39(7): 123-126.
[4] YAN Y, MAO Y, LI B. Second: sparsely embedded convolutional detection[J]. Sensors, 2018, 18(10): 1-17. DOI: 10.1109/JSEN.2018.2815440
[5] Hossein Pourazar, Farhad Samadzadegan, Farzaneh Dadrass Javan. A deep 2D/3D Feature-Level fusion for classification of UAV multispectral imagery in urban areas[J]. Geocarto International, 2022, 37(23): 6695-6712. DOI: 10.1080/10106049.2021.1959655
[6] Sochor J, Spaňhel J, Herout A. Boxcars: improving fine-grained recognition of vehicles using 3-d bounding boxes in traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2018, 20(1): 97-108.
[7] 王果, 王成, 张振鑫, 等. 利用车载激光点云的分车带识别及单木分割方法[J]. 激光与红外, 2020, 50(11): 1333-1337. DOI: 10.3969/j.issn.1001-5078.2020.11.008 WANG Guo, WANG Cheng, ZHANG Zhenxin, et al. Single tree segmentation method of urban distributing belt based on vehicle-borne laser point cloud data[J]. Laser & Infrared, 2020, 50(11): 1333-1337. DOI: 10.3969/j.issn.1001-5078.2020.11.008
[8] Dubská M, Herout A, Juránek R, et al. Fully automatic roadside camera calibration for traffic surveillance[J]. IEEE Transactions on Intelligent Transportation Systems, 2014, 16(3): 1162-1171.
[9] Dubská M, Herout A, Sochor J. Automatic camera calibration for traffic understanding[C]//Proceedings of the British Machine Vision Conference (BMVC), 2014: 1-12.
[10] GISEOK K, JAE-SOO C. Vision-Based vehicle detection and inter-vehicle distance estimation for driver alarm system[J]. Optical Review, 2012, 25(6): 388-393.
[11] 仝选悦, 吴冉, 杨新锋, 等. 红外与激光融合目标识别方法[J]. 红外与激光工程, 2018, 47(5): 158-165. TONG Xuanyue, WU Ran, YANG Xinfeng, et al. Fusion target recognition method of infrared and laser[J]. Infrared and Laser Engineering, 2018, 47(5): 158-165.
[12] CHOI C, TAGUCHI Y, TUZEL O, et al. Voting-based pose estimationfor robotic assembly using a 3D sensor[C]//IEEE International Conference on Robotics & Automation, 2013: 1724-1731.
[13] 王宏涛, 雷相达, 赵宗泽. 融合光谱信息的机载LiDAR点云三维深度学习分类方法[J]. 激光与光电子学进展, 2020, 57(12): 340-347. WANG Hongtao, LEI Xiangda, ZHAO Zongze. 3D deep learning classification method for airborne LiDAR point clouds fusing spectral information[J]. Laser & Optoelectronics Progress, 2020, 57(12): 340-347.