Three-dimensional Characterization of Road Aggregates Based on Thermal Infrared Depth Estimation
-
摘要:
为优化和实现复杂环境下路用骨料三维特征的快速识别，本文基于温度辅助增强骨料轮廓的思想，提出一种红外图像三维重建方法。首先通过计算不同关键筛孔骨料的点云数据，重建三维模型库。在此基础上，对三维模型的粒度特征、有向包围盒（Oriented bounding box，OBB）特征以及骨料针片状颗粒识别进行评价分析。结果表明，三维模型粒度与骨料粒径的相关系数达到0.9916，并且OBB尺度特征可以体现骨料三维尺寸信息，贴合误差小；相对传统二维识别算法，基于OBB尺度特征识别针片状颗粒的准确率提高12%，可为路用骨料特征评价的实际应用提供新思路。
Abstract:To optimize and realize the rapid identification of three-dimensional features of road aggregates in complex environments, in this study, an infrared image three-dimensional reconstruction method is proposed based on temperature-assisted enhancement of aggregate profile. First, a 3D model library is reconstructed by calculating the point-cloud data of the aggregates with different key sieve holes. On this basis, the particle size characteristics of the 3D model, OBB enveloping box characteristics, and recognition of aggregate pinflake particles are evaluated and analyzed. The results show that the correlation coefficient between the 3D model particle size and aggregate particle size reaches 0.9916, and the OBB scale feature can reflect the 3D size information of the aggregate with a small fitting error. Compared with the traditional two-dimensional identification method, the accuracy of identifying needle flake particles based on the OBB scale feature is improved by 12%, providing new ideas for the practical application of road aggregate feature recognition.
-
0. 引言
石料作为一种广泛存在于自然界的岩石材料，一直是土木工程领域的研究热点[1-2]。岩石骨料颗粒越接近立方体，其制备沥青混合料的骨架结构嵌挤力越强，进而有利于提高沥青路面的抗变形能力与耐久性[3]。因此，研究骨料形态特征的快速评价方法对工业生产质量控制和工程实践应用具有重要的指导意义。
传统骨料形态评价研究主要集中于二维图像体系，例如汪海年等[4]为研究骨料形态特征与其抗磨耗性能之间的关系，基于二维图像测量系统的形态参数球度、梯度棱角和综合指标，建立骨料抗磨耗性能的快速评价手段。Yu H. N.等[5]通过AIMSII影像测量系统研究骨料棱角性指数与球度指标对沥青混合料动态模量及其抗变形能力的影响，结果表明随着骨料磨损时间增加，其棱角性指数逐渐减小，球度逐渐增大，沥青混合料抗永久变形能力有所降低，并且评价指标之间具有相关性。但是，骨料形态特征的复杂性和可变性不仅限于二维平面，物理力学的各向异性还应考虑三维形态的可变性。此外，现有行业标准要求沥青混合料粗骨料形态尺寸3:1型（最长边：最短边）针片状颗粒含量不大于15%[6]，而现有测试方法主要采用人工游标卡尺测量，评价效率低。针对该问题，周建昆等[7]基于数字图像技术的骨料针片状识别算法，能快速计算粗骨料针片状含量，随着骨料颗粒粒径的减小，图像评价指标的准确性会降低。这主要是由于骨料二维轮廓高度依赖于颗粒的投影方向，并且很难确定骨料形态的代表性轮廓，显然二维图像分析不能满足使定量结果反应骨料颗粒三维特征信息的要求。
近几年，学者们一直在探索更准确、更有效的方法来快速量化骨料的形态特征，通过在二维图像的基础上添加高度信息得到三维图像，可以更准确地表征骨料特征，并已取得一些成果。目前常使用的方法主要是基于激光扫描技术和双目（多目）视觉的三维重建技术[8-9]。张龙飞等[10]基于激光扫描技术获取了真实骨料三维形状特征，并且构建的细观模型能够反映混合料内骨料真实形态和级配等细观特征。Song J.[11]利用三维激光扫描技术重建3种类型骨料的实体模型，提出了拟合椭球算法和拉普拉斯平滑算法对骨料整体形状、角度和表面粗糙度的表征方法，为后续定量分析沥青-骨料粘附性与粗骨料形貌的关系提供了参数基础。虽然这些技术可以高精度地重建骨料三维模型，但其设备价格昂贵，限制其推广应用。基于上述考虑，采用摄影测量技术重建骨料三维特征相对更加容易实现，其主要思想是基于摄影测量系统，从多个方向获取骨料的二维图像信息，然后通过多视角二维图像构建三维模型[12]。Ozturk H. I.[13]采用摄影测量法测定了不同来源的石料三维形态指标和形状特征，并与二维评价指标进行比较，评价准确率显著提高，可作为现有三维重建技术的替代方案。但是目前该测试方法在路用骨料评价领域应用较少，这主要是由于骨料的生产与应用环境比较复杂，在灰尘或偏暗环境中，可见光相机在进行立体匹配和三维重建时容易引起误差。相比之下，红外成像具有良好的穿透能力，不易受外界环境影响。在某些复杂场景中，红外成像具有显著的优势。随着红外成像的不断发展及其成本的降低，其已在各个领域得到应用[14-15]。
为降低环境光照因素影响，以及在未来能够便于实现生产与施工现场的快速自动化检测技术，本方法首先基于温度辅助增强骨料表面轮廓的思想，设计了骨料三维重建装置，并基于python软件编写针对热红外图像与可见光图像的校准、去噪算法，提高图像质量，在此基础上设计了路用骨料的相对深度估计算法，并生成相应的点云数据集，实现红外深度图像的三维重建，以便间接反映骨料表面特征，改善骨料三维重建图像的鲁棒性和准确性，以期为路用骨料形态评价及其性能决策提供科学指导，也可为其它材料样品的三维特征分析提供借鉴与参考。
1. 实验方案设计
1.1 基于红外深度估计的骨料三维特征重建原理
路用骨料三维重建技术的重点在于获取骨料的深度信息，在骨料深度信息已知的条件下，通过点云数据的配准及融合，即可实现骨料的三维重建。
1.1.1 红外图像深度估计
由普朗克黑体辐射定律可知，热辐射中的红外波段会携带辐射体的能量信息，红外热像仪通过探测目标的红外辐射能量分布，从而获得其表面的温度场分布。本实验通过施加间断有序的高速热风场可以进一步加强骨料表面温度阶梯变化，并根据温度分布的辅助信息与可见光图像融合提取骨料的相对深度信息，更有利于骨料三维特征的提取，测试方法示意图如图 1所示。
红外深度估计测试原理示意图如图 2所示，在环境温度稳定条件下，对骨料施加有序的高速热风场，持续时间为T，在此过程中采集骨料的红外图像与可见光图像数据。设每一帧图像中的像素强度为I(x, y, t)，在T时间后，因为这些像素红外强度的变化，所以有：
$$ D\left( {x,y} \right) = {\text{Mean}}\left( {\sum\limits_1^T {I\left( {x,y,t} \right)} } \right) $$ (1) $$ {\text{RD}}\left( {x,y} \right) = \frac{{D\left( {x,y} \right) - D{{\left( {x,y} \right)}_{\min }}}}{{D{{\left( {x,y} \right)}_{\max }} - D{{\left( {x,y} \right)}_{\min }}}} $$ (2) ![]()
图 2 红外深度图像测试原理示意图Figure 2. Schematic diagram of infrared depth image testing principle式中：D(x, y)为红外目标数据集，RD(x, y)为相对深度估计。根据以上方法，对数据集D(x, y)中的连续红外图像进行相对深度计算。
1.1.2 红外相对深度图像的三维重建
相对深度估计是通过计算每个像素与其它像素的相对深度差异，间接反映骨料表面的几何形状。因此，通过建立基准坐标，相对深度图像经过坐标转换可进一步计算出点云数据，计算过程：
1）将像素点的坐标从图像坐标系转换到相机坐标系。设像素点(i, j)的深度值为d(i, j)，相机的内参(fx, fy, u0, v0)已经通过相机标定得知，则该像素点在相机坐标系C(XC, YC, ZC)的计算公式如下式：
$$ \left\{ {\begin{array}{*{20}{l}} {{X_C} = \frac{{\left( {i - {u_0}} \right) \cdot d\left( {i,j} \right)}}{{{f_x}}}} \\ {{Y_C} = \frac{{\left( {j - {v_0}} \right) \cdot d\left( {i,j} \right)}}{{{f_y}}}} \\ {{Z_C} = d\left( {i,j} \right)} \end{array}} \right. $$ (3) 式中：XC，YC，ZC为相机坐标系；i，j为图像像素坐标；d(i, j)为RD(x, y)基于克里金插值（Kriging interpolation）算法得到的数据集。
2）将相机坐标系中的坐标转换到世界坐标系中。设相机的外部参数为旋转矩阵R和平移向量T，则该像素点在世界坐标系中的坐标W（XW，YW，ZW，）为：
$$ \left\{ {\begin{array}{*{20}{c}} {{X_{\text{W}}} = R\left( {1,1} \right) \times {X_C} + R\left( {1,2} \right) \times {Y_C} + R\left( {1,3} \right) \times {Z_C} + T\left( 1 \right)} \\ {{Y_{\text{W}}} = R\left( {2,1} \right) \times {X_C} + R\left( {2,2} \right) \times {Y_C} + R\left( {2,3} \right) \times {Z_C} + T\left( 2 \right)} \\ {{Z_{\text{W}}} = R\left( {3,1} \right) \times {X_C} + R\left( {3,2} \right) \times {Y_C} + R\left( {3,3} \right) \times {Z_C} + T\left( 3 \right)} \end{array}} \right. $$ (4) 式中：XW，YW，ZW为点云坐标系；R、T为世界坐标系与相机坐标系的转换关系。
1.2 骨料三维特征重建
首先收集路用骨料，并筛取关键筛孔为16 mm、13.2 mm、9.5 mm、4.75 mm、2.36 mm的骨料各10颗。计算机系统为Windows10，CPU为i7-14650HX，GPU为RTX 4060，热像仪为FLIR A600，分辨率640×480，处理流程如图 3所示，其中以粒径为4.8 mm、13.7 mm的两个骨料进行示意，三维特征重建效果如图 4所示。
2. 结果与分析
2.1 骨料粒度特征分析
路用骨料粒度特征与其混合料级配有显著的相关性，现有研究表明，沥青混合料具有连续合理的级配分布，将会表现出更高的抗压强度[16]。因此，如果能够建立快速的骨料粒度提取与评价方法，将会对沥青混合料级配的快速调整提供可能。由于骨料的空间结构比较复杂，可能存在数百个顶点，如果直接采用骨料的结构来检测，计算量会非常庞大，而采用包围体，则可以有效排除不相交、不重叠的情况，提高计算效率。
在计算机图形学与计算几何领域，包围体（Bounding Volume）是指把物体包容起来的密闭空间。基于python的Ritter算法求解上述骨料三维模型的最小包围球，进而通过计算球体直径反应骨料的粒度特征，骨料三维模型最小包围球求解效果，及其与实际骨料粒径的相关性曲线分别如图 5、6所示。
![]()
图 6 骨料模型粒度与实际粒径的相关性曲线Figure 6. Correlation curve of aggregate model particle size with its actual particle size由图 5可知，Ritter算法能够计算出与骨料三维模型贴合效果较好的包围球，计算误差较小。由图 6可知，通过提取骨料三维模型包围球的特征，建立50个骨料三维模型粒度与其实际粒径关系曲线的拟合度较好，其总体相关系数达到0.9916，属于极强相关性，并且检验P值为1.87×10－4，远小于0.05。所以，在显著性水平为0.05下，可认为拟合函数的曲线关系是显著的。说明通过该方法计算的三维粒度能够较好的体现出骨料球体形态特征，对于其级配的划分归类具有一定的指导作用。此外，由于所选取的路用骨料的粒径并非均匀分布，而是按照级配设计的关键筛孔选取，可以看出其数据分布具有显著的局部特征，并且关键筛孔小于13.2 mm时，其局部数据与拟合曲线的离散程度有所增大，但对其三维模型的最大粒度划分并未产生影响，具有显著的聚类效应。因此，在有限的试验环境条件下，该评价方法可以快速、准确计算出混合料的级配分布情况。
2.2 骨料三维特征分析
为建立骨料三维模型的空间尺度特征，基于点云集最优包围空间的算法，求解三维模型的有向包围盒（Oriented bounding box，OBB）。该类型包围盒是一种包含骨料且相对任意坐标轴方向的最小长方体。OBB最大特点是其方向的任意性，这使得它可以根据骨料的形状特点尽可能紧密包围，但也使得相交测试变得复杂，算法时间相对较长。因此，为了提高特征的准确性，主要以OBB算法求取骨料的三维特征。计算结果如图 7所示，平均计算时间约为0.103 s，OBB能紧密覆盖所包围的骨料模型，且不存在旋转偏移误差，计算准确性较高。说明OBB包围适合评价路用骨料的三维尺度特征，并进一步计算OBB的长、宽、高尺度信息，建立骨料三维模型库的OBB尺度与骨料实际尺寸的相关性曲线，如图 8所示。
![]()
图 8 骨料三维模型尺度与其实际尺寸相关曲线Figure 8. Correlation curve between the scale of the three-dimensional aggregate model and its actual size由图 8可知，骨料三维模型尺度与其实际尺寸的整体拟合曲线相关系数为0.8938，该值低于三维模型粒度评价指标的相关性，说明三维尺度特征的适应性有所降低。从图中拟合曲线和数据分布特征可以看出，OBB的长度、宽度、高度与骨料实际对应尺寸的相关性分布有所不同，需要进一步分析在不同关键筛孔下，骨料三维模型的长、宽、高分别与对应实际尺寸相关系数变化规律，如图 9所示。从该图可以看出，不同关键筛孔的OBB长度、宽度与骨料实际尺寸的相关系数分布曲线相近，而OBB高度模拟结果的相关系数相对较小，平均降低幅度在7.4%。说明该评价方法对骨料长度、宽度的提取效果较好，而三维高度信息提取过程产生较大的离散性。其主要原因在于点云三维重建作为一种特征统计，其高度常受到骨料摆放形态、温度场角度及反射情况的影响较大，视觉场景上其红外深度图像的边缘特征变化不明显，在去噪过程中更容易受到骨料表面倾斜度和点云法向量计算精度的影响，进而引起三维重建结构的高度特征产生较大离散性以及较弱的鲁棒性，使其相关系数降低。
![]()
图 9 基于关键筛孔的骨料三维模型尺度与其实际尺寸相关系数分布雷达图Figure 9. Radar plot of the distribution of the correlation coefficients between the scale of the 3D model of aggregate and its actual size based on key sieve holes随着关键筛孔逐渐降低，OBB长度、宽度的相关系数整体是减小趋势，在关键筛孔13.2 mm处其相关系数分别取得最大值0.9866、0.9913，相对关键筛孔2.36 mm，其平均降低幅度为7.7%。说明随着骨料尺寸的减小，该评价方法的区分度会有所降低，使得三维模型轮廓信息提取产生一定的离散性，这主要是因为骨料粒径越小，其热传导介质受外界环境影响增大，在相同温度场作用下，骨料轮廓关键点与其周围领域点的区分度减弱，对于噪声的抵抗能力有所降低，使得二维重建结构的计算精度减小，进而引起相关系数降低，但是该值都不小于0.9109，仍属于强相关性。OBB高度的相关系数随关键筛孔的降低，其变化趋势不显著，不同关键筛孔下平均相关系数为0.8999，属于强相关性。综上表明，基于红外深度评价方法能够科学、准确地提取骨料三维尺度特征信息，即使细骨料也能提取较好的三维模型。
2.3 骨料针片状颗粒识别效果评价
路用骨料的针片状颗粒在施工和使用过程中容易破碎，一直以来被认为是不良材料[17]。为进一步验证该评价方法对针片状颗粒的识别效果，选取了包含针片状颗粒的骨料共计100颗，其关键筛孔为16 mm、13.2 mm、9.5 mm，部分骨料图像测试效果如图 10所示。分别基于传统二维图像长度与宽度方向，以及骨料三维模型OBB最大长度方向（或宽度）与最小厚度方向识别针片状颗粒，识别效果如图 10、表 1所示。
表 1 针片状颗粒识别正确率Table 1. Recognition accuracy of flat-elongated particlesCritical sieve pore /mm 16 13.2 9.6 Accuracy of two-dimensional image recognition /% 91 83 93 Accuracy of three-dimensional model recognition /% 98 100 100 相对于传统二维图像轮廓，基于骨料三维模型OBB识别骨料的针片状准确率相对更高，平均准确率提升幅度12%。说明相对于二维单一视角下的骨料轮廓、投影面积与骨料扁平姿态密切相关，骨料越接近扁平状，针片状二维轮廓的代表性越差，而三维模型不存在该问题，表明采用三维模型评价其针片状含量将会更加合理，准确。
3. 结论
本文为实现复杂环境下路用骨料三维目标的快速识别，提出一种基于红外深度特征的三维识别方法，通过该方法计算的三维模型粒度能够表征骨料粒径的信息特征，可以为后期混合料级配的快速识别与划分提供研究基础；同时，骨料三维模型OBB长度、宽度、高度与其实际尺寸也具有较高的相关性，但是骨料三维高度信息的离散性与识别效果相对较差，还需进一步优化，后期将结合深度学习算法优化计算系统与目标位姿关系的负面影响，实现点云特征匹配参数的选择，以便在匹配准确度和识别效率上得到提升。此外，相对于传统二维图像轮廓，基于OBB尺度特征识别针片状颗粒的准确率得到提高，通过测试数据进行对比分析，结果表明该方法在目标检出率、误判率上均优于传统二维识别方法，准确率提升幅度达12%。由此可见，该评价方法在三维目标识别领域具有一定的应用前景，尤其是针对具有一定红外特征的待测目标，具有更高的借鉴价值。
-
![]()
图 2 红外深度图像测试原理示意图
Figure 2. Schematic diagram of infrared depth image testing principle
![]()
图 6 骨料模型粒度与实际粒径的相关性曲线
Figure 6. Correlation curve of aggregate model particle size with its actual particle size
![]()
图 8 骨料三维模型尺度与其实际尺寸相关曲线
Figure 8. Correlation curve between the scale of the three-dimensional aggregate model and its actual size
![]()
图 9 基于关键筛孔的骨料三维模型尺度与其实际尺寸相关系数分布雷达图
Figure 9. Radar plot of the distribution of the correlation coefficients between the scale of the 3D model of aggregate and its actual size based on key sieve holes
表 1 针片状颗粒识别正确率
Table 1 Recognition accuracy of flat-elongated particles
Critical sieve pore /mm 16 13.2 9.6 Accuracy of two-dimensional image recognition /% 91 83 93 Accuracy of three-dimensional model recognition /% 98 100 100 
下载: 导出CSV
-
[1] 陈自福, 褚跃, 顾兴宇, 等. 多孔沥青混合料级配与骨架强度关系[J]. 公路, 2023, 68(9): 17-26. CHEN Zifu, CHU Yue, GU Xingyu, et al. Relationship between gradation and skeleton strength of porous asphalt concrete[J]. Highway, 2023, 68(9): 17-26.
[2] CHEN B, YU X, DONG F, et al. Geometrical characteristics of aggregates: The influence of sphericity, angularity, and surface texture on the workability of asphalt mixtures[J]. Construction and Building Materials, 2023, 402(10): 132941.
[3] CUI P, XIAO Y, YAN B, et al. Morphological characteristics of aggregates and their influence on the performance of asphalt mixture[J]. Construction and Building Materials, 2018, 186(10): 303-312.
[4] 汪海年, 雷鸣宇, 孔庆鑫, 等. 粗集料综合形态特征与抗磨耗性能的关联性[J]. 科学技术与工程, 2022, 22(18): 8056-8063. DOI: 10.3969/j.issn.1671-1815.2022.18.041 WANG Hainian, LEI Mingyu, KONG Qingxin, et al. Correlation between coarse aggregate angularity texture value and abrasion resistance[J]. Science Technology and Engineering, 2022, 22(18): 8056-8063. DOI: 10.3969/j.issn.1671-1815.2022.18.041
[5] YU H, ZHANG C, QIAN G, et al. Characterization and evaluation of coarse aggregate wearing morphology on mechanical properties of asphalt mixture[J]. Construction and Building Materials, 2023, 388(7): 131299.
[6] 交通部公路科学研究所. 公路沥青路面施工技术规范JTG F40-2004[S]. [2023-10-09]. Highway Science Research Institute of the Ministry of Transport. Technical specifications for construction of highway asphalt pavements JTG F40-2004 [S]. [2023-10-09].
[7] 周建昆, 曾晟, 梁乃兴, 等. 基于数字图像处理技术的粗集料针片状评价与实例验证[J]. 公路交通技术, 2021, 37(3): 45-50, 56. ZHOU Jiankun, ZENG Sheng, LIANG Naixing, et al. Evaluation method and example verification of coarse aggregate needle and flake based on digital image technology[J]. Technology of Highway and Transport, 2021, 37(3): 45-50, 56.
[8] ZHANG D, HUANG T. Three-dimensional angularity characterization of coarse aggregates by the optimal ellipsoid approximation algorithm[J]. Journal of Materials in Civil Engineering, 2023, 35(7): 04023194. DOI: 10.1061/JMCEE7.MTENG-15518
[9] 魏加立, 曲慧东, 王永宪, 等. 基于飞行时间法的3D相机研究综述[J]. 红外技术, 2021, 43(1): 60-67. http://hwjs.nvir.cn/article/id/5143feb5-e43b-49c4-8087-6f7c9e3caa10 WEI Jiali, QU Huidong, WANG Yongxian, et al. Research review of 3D cameras based on time-of-flight method[J]. Infrared Technology, 2021, 43(1): 60-67. http://hwjs.nvir.cn/article/id/5143feb5-e43b-49c4-8087-6f7c9e3caa10
[10] 张龙飞, 谢浩, 冯吉利, 等. 基于真实骨料的细观混凝土建模及数值模拟[J]. 材料导报, 2023, 37(10): 139-146. ZHANG Longfei, XIE Hao, FENG Jili, et al. Meso-concrete modeling and numerical simulation based on actual aggregates[J]. Materials Reports, 2023, 37(10): 139-146.
[11] SONG J, ZHOU X, JIANG R. Research on characterization of 3D morphology of coarse aggregate based on laser scanning[J]. Buildings, 2023, 13(4): 1029. DOI: 10.3390/buildings13041029
[12] 鄢化彪, 徐方奇, 黄绿娥, 等. 基于深度学习的多视图立体重建方法综述[J]. 光学精密工程, 2023, 31(16): 2444-2464. DOI: 10.37188/OPE.20233116.2444 YAN Huabiao, XU Fangqi, HUANG Lve, et al. Review of multi-view stereo reconstruction methods based on deep learning[J]. Optics and Precision Engineering, 2023, 31(16): 2444-2464. DOI: 10.37188/OPE.20233116.2444
[13] Ozturk H I, Rashidzade I. A photogrammetry based method for determination of 3D morphological indices of coarse aggregates[J]. Construction and Building Materials, 2020, 262(11): 120794.
[14] 李云红, 刘宇栋, 苏雪平, 等. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7 LI Yunhong, LIU Yudong, SU Xueping, et al. Review of infrared and visible image registration[J]. Infrared Technology, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7
[15] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: A survey[J]. Information Fusion, 2019, 45(1): 153-178.
[16] Meddah M S, Zitouni S, Belâabes S. Effect of content and particle size distribution of coarse aggregate on the compressive strength of concrete[J]. Construction and Building Materials, 2010, 24(4): 505-512. DOI: 10.1016/j.conbuildmat.2009.10.009
[17] 纪伦, 刘海权, 张磊, 等. 粗集料针片状含量对沥青混合料结构影响[J]. 哈尔滨工业大学学报, 2018, 50(9): 40-46. JI Lun, LIU Haiquan, ZHANG Lei. Effects of flat and elongated particles content in coarse aggregate on asphalt mixture structure[J]. Journal of Harbin Institute of Technology, 2018, 50(9): 40-46.
计量
- 文章访问数: 47
- HTML全文浏览量: 6
- PDF下载量: 14
