Application of 3D Fusion of Infrared Imaging and Tilt Photography in Building Detection
-
摘要: 针对建筑病害缺乏有效和高精度无损检测手段,同时传统人工检测受建筑围护结构饰面层病害区域的高度、面积等方面的限制,提出一种红外成像和倾斜摄影三维融合并建立含有建筑病害信息的三维模型电子档案的方法。本文以学校某教学楼为例,以红外技术为主,倾斜摄影技术为辅的采集方案,采用同位空间坐标匹配法,经过坐标转换和2种异源空间数据融合,获取含有建筑病害信息的精细化三维模型电子档案,并完成数据融合前后的模型精度对比评估。结果表明:此方法得到的融合模型精度高,点位误差小,能快速、精准获取建筑病害空间位置,为建筑无损检测技术的实际应用提供新的思路,对建立建筑信息化监、修、管一体化运维体系具有研究价值和实际应用意义。Abstract: Effective and high-precision non-destructive detection methods for building diseases are lacking, and traditional manual detection imposes limitations on the height and area of the disease area of the building envelope facing layer. To address these issues, this study proposes a method of 3D fusion of infrared imaging and oblique photography along with the establishment of 3D model electronic archives containing building disease information. Taking a teaching building in a school as an example, this study adopts the acquisition scheme mainly based on infrared technology and supplemented by tilt photography technology and the coordinate matching method in the same position space, obtains the refined three-dimensional model electronic file containing building disease information through coordinate conversion and two kinds of heterogeneous spatial data fusion, and completes the comparative evaluation of model accuracy before and after data fusion. The results show that the fusion model obtained by this method has a high accuracy and small point error and can quickly and accurately obtain the spatial position of building diseases. The method provides a new idea for the practical application of building nondestructive testing technology and has research value and practical application significance for establishing an integrated operation and maintenance system of building information supervision, repair, and management.
-
0. 引言
高级辅助驾驶系统(Advanced Driving Assistance System,ADAS)是实现无人驾驶技术的重要基础,其中摄像头是环境感知的基本设备。使用两个摄像头拍摄时,可以在图像匹配的情况下测量障碍物的距离和大小,但车载摄像头拍摄速率高、曝光时间短[1],在现有的道路照明条件下,夜晚难以拍摄到高质量的障碍物图像[2];采用激光雷达能够准确测量物体的距离和大小,但激光雷达价格昂贵,并容易受到恶劣天气的影响,另外激光雷达难以准确地识别交通标志。为提高ADAS目标识别的准确度和运行速度,目前进行了很多图像识别的算法研究[3-5],但摄像头拍摄的图像质量会严重制约识别的效率。因此,提高车载摄像头拍摄图像的质量是一个重要的研究课题。
采用主动红外系统能够以低成本的方式,拍摄出高质量图像。拍摄到的图像质量受照明条件的制约,道路照明经常不能满足拍摄高质量图像的要求,可以采用红外光进行补充照明,再通过红外相机拍摄出清晰的图像[6-7]。相比较而言,被动红外系统探测距离远,但探测器价格较高,难以普及。进口的高档汽车,如奔驰采用的是主动红外系统,而奥迪和宝马采用的是被动红外系统;国内的红旗等品牌的高端汽车大多采用的也是主动红外系统。
为了提高对车辆周边物体识别的准确率,本文针对主动红外系统,设计了一种均匀照明光学系统。观瞄系统采用加装了可见光截止红外滤光片的黑白CCD(Charge Coupled Device)摄像头,在不考虑其他红外干扰的情况下,可以实现对本红外照明频率的最大响应。红外照明模块应在目标面处,达到照明均匀性和辐照度要求[8]。为实现好的均匀照明效果,现有设计采用双排复眼照明方法[9-13],但结构仍然比较复杂,本文提出一种结构简单的均匀照明方法,并进行了软件仿真。
1. 均匀照明方法分析
均匀照明技术的应用十分广泛,有两种常用的均匀照明方法。一种是自由曲面反射镜方法,其代替了早期的分块拼接的曲面反射镜方法,具体方法是建立光源经自由曲面到目标照明面的映射,求解微分方程,通过B样条插值和优化得到自由曲面反射镜[14-15],此方法适用于点光源;另一种是复眼照明方法,常使用两块参数一样的复眼透镜,对称放置,前后对应的子透镜为一子透镜组,经过各个子透镜组的光束通过聚焦透镜照射在整个目标面上并相互重叠,实现目标面均匀照明。
本文使用复眼照明方法,相较于自由曲面反射镜方法,复眼照明方法匀光效果好、辐射能利用率高、设计简单。
双排复眼照明方法可以应对准直光线有小发散角的情况,如小尺寸面光源发出的光线准直后有小的发散角,若使用双排复眼照明方法设计,此时前后两排子透镜还是一一对应关系,可以减弱光线小发散角带来的旁瓣,但其结构较为复杂。单排复眼透镜方法结构简单,但只适用于准直较好的光源。对于点光源,准直效果好,不需要双排复眼透镜解决小发散角问题,此时使用单排复眼照明方法更加简单。LED(Light Emitting Diode)光源在准直时完全可以当成点光源处理,而且使用率越来越高。因此,使用LED光源可以进一步简化复眼照明系统,并降低成本。
2. 设计照明单元
2.1 系统参数
国家标准[16]汽车近光灯和远光灯的测试距离是25 m,参考现有车灯照明标准,使用多个灯具分别向不同方向照射,向正前方照射距离达到25 m,向两侧的照射距离大于12 m,向后方照射距离大于6 m,红外照明面上的光斑应是均匀、稳定的矩形。
表 1给出了向正前方照射的照明模块的光学指标,限于篇幅,向其他方向照射的性能指标不再一一列出。
表 1 向正前方照射的灯具光学指标Table 1. Optical indicators of lamps illuminating straight aheadParameters Index Irradiance uniformity > 80% Irradiation distance/m 25 Spot width and height/m 8×3 Average irradiance/(W/m2) > 0.8 2.2 初始光学结构
设计之初,需要选好红外光源。综合考虑反射率、背景亮度、气象条件、光学元器件等因素[17],使用810 nm的红外光照明。经过比较后,采用OSRAM公司的SFH-4780S型红外LED,可以当成点光源,将其IES文件导入到ZEMAX\Objects\Sources\IESNA文件夹中。单颗红外LED的尺寸为3.5 mm×3.5 mm×2.39 mm,幅通量约为660 mW,辐射特性如图 1所示。
本设计使用单排复眼照明方法,具体方法如下:先使用抛物反射面或消球差透镜准直LED光源发出的光线,再使准直后的光线通过单排复眼透镜即可实现目标面均匀照明。相较于双排复眼照明系统,本系统中每个光学通道的光线在准直后只受一块子透镜调制,各个通道在目标面上形成等大的光场区域并相互重叠。各个子透镜完全相同,为平凸透镜,其第二面采用二次曲面消除部分球差,可提高边缘辐照强度和系统的辐射能利用率。
使用抛物面镜对LED发出的光线进行准直,将LED放在抛物面的焦点上。考虑到目标照明面较远,不使用聚焦透镜,通过调节复眼透镜的焦距,使各子透镜在目标面上形成的光场区域与目标面大小匹配,如图 2是照明系统的结构原理图。
准直抛物面是无穷远点与焦点的等光程面,由Y-Z面的曲线绕Z轴旋转得到。以反射面左顶点为坐标原点,建立右手坐标系,反射面方程为:
$$ z = \frac{1}{{4a}}({x^2} + {y^2}) $$ (1) 式中:x,y,z为反射面上点的坐标,y取大于零部分,a为LED光源的Z坐标,即抛物面焦点,本设计将LED光源放置Z轴上5 mm处,辐射方向为Y轴正方向。为充分利用光源能量,抛物面半径取23 mm。
复眼透镜采用PMMA(Polymethyl Methacrylate)材料,易于加工。下面将介绍如何得到子透镜参数。
照明系统可以看成平行光入射各个子透镜,聚焦后继续传播,照射到照明面,如图 3是子透镜光路示意图。理想情况下,平行于光轴、入射高度为h的光线,经过焦距为f的聚焦透镜后,与光轴的夹角U可由式(2)得到:
$$ f=h / \tan U $$ (2) 理想情况下,平行于光轴均匀入射子透镜的光线,将在目标照明面上均匀分布。目标照明面宽度和高度之比为8:3,因此复眼透镜中每一块子透镜宽和高之比也为8:3。通过边缘光线分析,可得到公式[18]:
$$ \tan \theta = \frac{H}{{2D}} $$ (3) 式中:θ为最大视场;H为目标面光斑的高度3 m;D为目标面的位置25 m,解得tanθ为0.06。当子透镜的半径确定时,焦距f就确定了,子透镜高度的近似计算公式为:
$$ \frac{{{h_{\text{0}}}}}{2} = f*\tan \theta $$ (4) 式中:h0为子透镜高度;f为子透镜焦距。
若球差较大,将导致边缘光线与光轴的角度大于理想值,如图 4所示,边缘光线与子透镜光轴的交点F0′在像方焦点F′的左侧[18],与光轴的夹角也比理想值更大,边缘光线将射出目标面,边缘辐照强度弱,辐射能利用率低。
使用二次曲面可以很好地消除球差。二次曲面公式如下:
$$ z = \frac{{c{r^2}}}{{1 + \sqrt {1 - (1 + k){c^2}{r^2}} }} $$ (5) 式中:c是曲率;r是矢径数值;k是圆锥系数。r越大,k对z影响越大,面型越偏离球面,而r较小时接近球面,正好消除随r增大的球差。
复眼照明将各个子光束在整个目标面重叠,因此在一定限度内,子透镜尺寸越小,单个子透镜接受到的平行光的均匀性越好,其在目标面成像越均匀。因制作工艺等原因,复眼透镜尺寸不能无限减小,每个子透镜单元的宽度设计为0.8 mm,高度为0.3 mm。使用公式(3),得到子透镜焦距为2.5 mm。
子透镜的初始结构是在序列模式下得到的,子透镜厚度设置为3 mm,第一面为平面,固定子透镜的焦距为2.5 mm,优化第二面的半径和圆锥系数,得到消球差的子透镜参数。在非序列模式下,将复眼透镜中心设置在Y=12 mm处,将子透镜初始结构导入,X方向有60个子透镜,Y方向有80个子透镜。
2.3 优化
在ZEMAX中设置好初始结构,对1000万条光线追迹,同时微调子透镜第二面的半径和圆锥系数值。经过仿真发现,消除子透镜的部分球差可以实现均匀照明。优化后的子透镜厚度为3 mm,二次曲面的曲率半径为-1.212 mm,圆锥系数k为-1.82,图 5给出了优化后的目标照明面上的辐照度分布图,辐照度单位是W/m2,优化时设置光源能量为1 W。
光线经过光学系统后,在25 m处的目标面上得到尺寸为8 m×3 m的矩形照明面,辐射能利用率达到98%,均匀性大于90%。
在仿真中,尝试增大子透镜的尺寸,将子透镜宽度设置为1 mm左右并设置为变量,高度固定为0.375 mm,利用ZEMAX进行优化。结果表明,子透镜的宽度和高度比不是严格的8:3,原因是子透镜的球差与孔径有关,二次曲面无法同时满足X方向和Y方向球差校正的要求,此时需要调整子透镜的宽高比,以同时满足照明均匀性和照明面尺寸要求。在不考虑改变子透镜厚度和材料的情况下,本设计优化的自由度是子透镜第二面的半径、圆锥系数和宽度,避免了直接在非序列模式下优化时速度慢的问题。
3. 整体结构与公差分析
单个照明模块不能在目标面上达到0.8 W/m2的辐照度,使用30个光学结构组成平面阵列进行照明,如图 6所示。阵列的宽度和高度分别为244 mm和149 mm,在25 m处的目标照明面上,平均辐照度可达到0.81 W/m2,满足设计指标的要求。因为采用抛物反射面,系统尺寸较大,可以使用消球差透镜进行准直[10],系统尺寸将会减小。
合理的公差分配能降低成本,减少制造、加工、装配的难度[19-20]。根据抛物面、复眼透镜的加工水平以及系统装配水平,初步分配公差。使用ZEMAX功能进行公差分析,进行了500次的模拟制造,目标面上的辐照度和均匀性基本满足要求,最终的公差分配如表 2所示。
表 2 红外照明模块的主要公差分配Table 2. Main tolerance allocation of infrared illuminatorsType Tolerance Surface tolerances Radius/mm 0.04 Thickness/mm 0.02 PV(peak-to-valley)/μm 0.4 Material Index 0.002 Element tolerances Decenter X/mm 0.02 Decenter Y/mm 0.02 Decenter Z/mm 0.02 Tilt X/° 0.04 Tilt Y/° 0.04 Tilt Z/° 0.02 表 2中,Surface tolerance包括复眼透镜子透镜的曲率半径公差、厚度公差,以及二次曲面的PV值;Material是复眼透镜的材料,Index指折射率;Element tolerances包括装配过程中原件的偏心和旋转公差,decenter x是沿X轴的偏移,tilt x是以X轴旋转的角度。
4. 结论
本文设计了一种红外照明装置,对ADAS中图像拍摄进行补充照明,以提高系统识别率。选择波长810 nm的LED光源,用抛物面反射镜将光线准直,使用复眼照明方法,在车辆正前方25 m处,实现了宽8 m、高3 m的均匀照明,辐照度均匀性大于90%,辐射能利用率达到98%;通过30个照明模块阵列对目标面进行照明,达到0.8 W/m2的照明要求。
本文指出复眼照明系统的复杂程度主要取决于准直效果,当准直效果较好时不需要使用两块复眼透镜,只需要解决球差带来的边缘光线分布不均问题。本文提出的设计方法只使用一块复眼透镜,对准直后的光线进行角度调制,结构简单,装配公差宽松。使用二次曲面压缩边缘光线,使得辐射能利用率增大,边缘辐照度增强。本设计方法效率高,避免了在非序列模式下直接优化速度慢的问题,还便于调整照明面的尺寸。本设计方法适用于其他的照明系统,如紫外曝光机、工业扫描枪等。
-
表 1 异源数据融合精度结果
Table 1 Accuracy results of heterogeneous data fusion m
Dot ΔX ΔY ΔZ ΔS S01 -0.014 0.009 -0.017 0.024 S02 -0.013 -0.018 0.011 0.025 S03 -0.020 -0.011 0 0.023 S04 0.009 0 -0.010 0.013 S05 -0.011 0.005 0.014 0.018 S06 0.010 0.014 0.009 0.019 S07 0 0 -0.010 0.010 S08 0.013 0.010 0.011 0.020 S09 0.010 0 0.013 0.016 S10 0.013 0.010 0.010 0.019 S11 0.006 -0.008 0.010 0.014 S12 0.012 0.010 0 0.016 -
[1] 牛奕, 甘玲童, 马云. 基于红外无损检测的非金属材料粘贴缺陷识别[J]. 红外技术, 2020, 42(4): 393-398. http://hwjs.nvir.cn/article/id/hwjs202004013 NIU Yi, GAN Lingtong, Ma Yun. Identification of pasting defects of non-metallic materials based on infrared non-destructive testing[J]. Infrared Technology, 2020, 42(4): 393-398. http://hwjs.nvir.cn/article/id/hwjs202004013
[2] Edis E, Flores Colen, Inês De Brito J. Passive thermographic inspection of adhered ceramic claddings: limitation and conditioning factors[J]. Journal of Performance of Constructed Facilities, 2012, 27(6): 737-747.
[3] Goffin B, Banthia N, Yonemitsu N. Use of infrared thermal imaging to detect corrosion of epoxy coated and uncoated rebar in concrete[J]. Construction and Building Materials, 2020, 263: 120162. DOI: 10.1016/j.conbuildmat.2020.120162
[4] ZHANG R, LI H, DUAN K, et al. Automatic detection of earthquake-damaged buildings by integrating UAV oblique photography and infrared thermal imaging[J]. Remote Sensing, 2020, 12(16): 1-28.
[5] 冯力强, 王欢祥, 晏大玮, 等. 红外热像法检测建筑外墙饰面层内部缺陷试验研究[J]. 土木工程学报, 2014, 47(6): 51-56. Doi: 10.15951/j. tmgcxb.2014.06.015. FENG Liqiang, WANG Huanxiang, YAN Dawei, et al. Experimental study on the detection of internal defects of building exterior wall finishing layer by infrared thermal imaging method[J]. Chinese Journal of Civil Engineering, 2014, 47(6): 51-56. Doi:10.15951/j.tmgcxb. 2014.06.015.
[6] 邓安仲, 赵启林, 李胜波, 等. 混凝土裂缝红外热成像分布式监测技术研究[J]. 建筑材料学报, 2013, 16(2): 284-288. DOI: 10.3969/j.issn.1007-9629.2013.02.018 DENG Anzhong, ZHAO Qilin, LI Shengbo, et al. Research on distributed monitoring technology of concrete cracks with infrared thermal imaging [J]. Journal of Building Materials, 2013, 16(2): 284-288. DOI: 10.3969/j.issn.1007-9629.2013.02.018
[7] 闫利, 程君. 倾斜影像三维重建自动纹理映射技术[J]. 遥感信息, 2015, 30(2): 31-35. DOI: 10.3969/j.issn.1000-3177.2015.02.005 YAN Li, CHENG Jun. Automatic texture mapping technology for oblique image 3D reconstruction [J]. Remote Sensing Information, 2015, 30(2): 31-35. DOI: 10.3969/j.issn.1000-3177.2015.02.005
[8] Satoru M, Takuji Y, Michio I, et al. Configuration and displacement measurement using vision metrology[J]. Ceskoslovenská Epidemiologie Mikrobiologie Imunologie, 2002, 2(5): 395-398.
[9] ZHOU T, LV L, JIU T, et al. Application of UAV oblique photography in real scene 3d modeling[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2021, XLIII-B2-2021: 413-418. DOI: 10.5194/isprs-archives-XLIII-B2-2021-413-2021
[10] 吴熠文, 余加勇, 陈仁朋, 等. 无人机倾斜摄影测量技术及其工程应用研究进展[J]. 湖南大学学报: 自然科学版, 2018, 45(S1): 167-172. https://www.cnki.com.cn/Article/CJFDTOTAL-HNDX2018S1030.htm WU Yiwen, YU Jiayong, CHEN Renpeng, et al. Research progress on UAV oblique photogrammetry technology and its engineering application [J]. Journal of Hunan University: Natural Science Edition, 2018, 45(S1): 167-172. https://www.cnki.com.cn/Article/CJFDTOTAL-HNDX2018S1030.htm
[11] 冯增文, 李珂, 李梓豪, 等. 低空无人机的倾斜摄影测量技术在城市轨道交通建设中的应用[J]. 测绘通报, 2020(9): 42-45. https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202009009.htm FENG Zengwen, LI Ke, LI Zihao, et al. Application of low-altitude UAV oblique photogrammetry technology in urban rail transit construction [J]. Bulletin of Surveying and Mapping, 2020(9): 42-45. https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB202009009.htm
[12] Gerke M, Kerle N. Automatic structural seismic damage assessment with airborne oblique pictometry imagery[J]. Photogrammetric Engineering & Remote Sensing, 2015, 77(9): 885-898.
[13] 眭海刚, 刘超贤, 黄立洪, 等. 遥感技术在震后建筑物损毁检测中的应用[J]. 武汉大学学报: 信息板, 2019, 44(7): 1008-1019. Doi: 10.13203/j.whugis20190070. SUI Haigang, LIU Chaoxian, HUANG Lihong, et al. Application of remote sensing technology in post-earthquake building damage detection [J]. Journal of Wuhan University: Information Board, 2019, 44(7): 1008-1019. Doi: 10.13203/j.whugis20190070.
[14] 陈文, 孙保燕, 贾巧志. 基于激光标定的热工缺陷面积测量方法[J]. 科学技术与工程, 2019, 19(2): 175-179. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS201902029.htm CHEN Wen, SUN Baoyan, JIA Qiaozhi. Measurement method of thermal defect area based on laser calibration[J]. Science Technology and Engineering, 2019, 19(2): 175-179. https://www.cnki.com.cn/Article/CJFDTOTAL-KXJS201902029.htm
[15] 李德仁, 肖雄武, 郭丙轩, 等. 倾斜影像自动空三及其在城市真三维模型重建中的应用[J]. 武汉大学学报: 信息科学版, 2016, 41(6): 711-721. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201606001.htm LI Deren, XIAO Xiongwu, GUO Bingxuan, et al. Automatic aerial triangulation of oblique images and its application in reconstruction of true 3D urban models [J]. Journal of Wuhan University: Information Science Edition, 2016, 41(6): 711-721. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201606001.htm
[16] 谭仁春, 李鹏鹏, 文琳, 等. 无人机倾斜摄影的城市三维建模方法优化[J]. 测绘通报, 2016(11): 39-42. https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB201611011.htm TAN Renchun, LI Pengpeng, WEN Lin, et al. Optimization of urban 3D modeling method based on UAV oblique photography [J]. Bulletin of Surveying and Mapping, 2016(11): 39-42. https://www.cnki.com.cn/Article/CJFDTOTAL-CHTB201611011.htm
[17] 张寅, 李阳, 陈家华, 等. 基于Smart 3D的多源影像实景三维建模研究[J]. 地球科学前沿, 2018, 8(8): 1316-1322. https://cdmd.cnki.com.cn/Article/CDMD-10616-1018265055.htm ZHANG Yin, LI Yang, CHEN Jiahua, et al. Research on 3D modeling of multi-source images based on smart 3D [J]. Frontiers in Earth Science, 2018, 8(8): 1316-1322. https://cdmd.cnki.com.cn/Article/CDMD-10616-1018265055.htm
[18] 国家测绘地理信息局. 三维地理信息模型数据产品规范[S]. CH/T 9015-2012, [2021-12-09]. National Bureau of Surveying, Mapping and Geographic Information. 3D geographic information model data product specification[S]. CH/T 9015-2012, [2021-12-09].
-
期刊类型引用(9)
1. 何邦盛,王忠华. 基于结构张量筛选和局部对比度分析的空中红外小目标检测算法. 红外技术. 2023(12): 1169-1176 . 本站查看
2. 凡遵林,王浩,管乃洋,叶婷婷,孙骞冲. 单帧红外图像弱小目标检测研究综述. 红外技术. 2023(12): 1133-1140 . 本站查看
3. 凡遵林,王浩,管乃洋,叶婷婷,孙骞冲. 单帧红外图像弱小目标检测研究综述. 红外技术. 2023(11): 1133-1140 . 本站查看
4. 何邦盛,王忠华. 基于结构张量筛选和局部对比度分析的空中红外小目标检测算法. 红外技术. 2023(11): 1169-1176 . 本站查看
5. 刘征,杨德振,李江勇,黄成章. 红外单帧弱小目标检测算法研究综述. 激光与红外. 2022(02): 154-162 . 百度学术
6. 黄建军,彭雪梅. 基于数据驱动的激光图像弱小目标定位研究. 激光杂志. 2022(09): 109-113 . 百度学术
7. 禤世丽,张茂胜,甘永进. 低质量红外偏振图像的边缘提取方法. 激光杂志. 2021(07): 79-83 . 百度学术
8. 王曙光,石胜斌,胡春生. 一种对空红外弱小目标检测跟踪方法研究. 红外技术. 2020(04): 356-360 . 本站查看
9. 廖红菊. 基于压缩感知的电气设备红外图像目标检测数学建模分析. 自动化与仪器仪表. 2020(10): 47-50 . 百度学术
其他类型引用(14)