Infrared Blade Image Stitching Algorithm for Wind Farm UAV Inspection
-
摘要: 针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题,本文提出一种基于形态学改进Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法,首先,对图像进行中值滤波降噪,使用形态学运算改进基于Chan-Vese模型的水平集算法,生成表达主体的掩膜。基于掩膜去除冗余背景提取局部Harris特征点;对掩膜进行二次形态学腐蚀处理,抑制边界锯齿像素上的伪特征点;最后,使用暴力匹配及随机抽样一致(Random Sample Consensus, RANSAC)算法筛选出有效匹配点对,计算单应性矩阵实现匹配拼接。与传统图像分割下Harris拼接算法相比,本文改进后的算法拼接精度有明显提高,在不同的测试场景下显示出较强鲁棒性。Abstract: Aiming at more redundant background information and low stitching accuracy of the infrared images of the blades taken by UAV (Unmanned Aerial Vehicle), In this study, we proposed a stitching algorithm for infrared wind turbine blade images combining the Chan-Vese model and morphology. First, we subjected the image to median filtering and noise reduction, and a morphological operation improved a level-set algorithm based on the Chan-Vese model to generate the mask of the expression subject. We extracted Harris feature points by removing redundant backgrounds based on the mask. We performed morphological etching on the mask to suppress the pseudo-feature points on the boundary-jagged pixels. We used violent matching and the RANSAC algorithm to screen out effective matching point pairs and calculate the homography matrix to realize matching and splicing. Compared with the Harris stitching algorithm under traditional image segmentation, the stitching accuracy of the improved algorithm significantly improved, and it showed strong robustness in different test scenarios.
-
0. 引言
在精确制导领域,红外成像技术被认为是当前最有效的制导手段之一[1]。在红外制导武器的测试与评估过程中,若采用实物、靶场实验,虽然环境真实、测试全面,但所需人力物力财力消耗巨大、试验周期长,同时实验环境相对单一,难以构建满足要求的各种复杂战场环境。因此采用半实物仿真实验来代替实物实验,虽然无法完全再现真实状态,但其可在实验室环境下任意模拟多种实验环境,具有成本低、试验风险小、测试周期短等优点[2-3]。红外成像目标仿真系统是半实物仿真系统的重要组成部分之一,其包含两部分核心技术:一是红外图像实时生成技术;二是红外图像实时投射技术。其中,红外图像实时生成技术是红外成像目标仿真系统乃至整个半实物仿真系统的基础,为半实物仿真试验提供图像数据源。
早在20世纪80年代,国外军事强国就已开展了对红外图像仿真相关技术的研究,开发出一系列内嵌红外场景合成模块的专业视景仿真软件,如JRM、Vega[4]、Vega Prime[5]、SE-Workbench[6]等。国内在该领域的研究起步较晚,目前主要形成了3类红外图像生成技术[7-9]:第一类是通过建立基本的温度预测模型来预测目标温度分布,并通过求解红外辐射方程来生成红外辐射图形,该方法生成图像分辨率、准确性较高,但是计算过程耗时,实时性不高;第2类是基于实测数据再结合理论的方法,这种方法克服了第一种方法计算量大的缺点,简化了理论模型,但其灵活性较差;第3类是在国外仿真平台的基础上进行二次开发以完成相应需求的红外仿真,这种方式具有可信度高、技术成熟、灵活性强、开发周期短等优点,但各大仿真平台的使用版权很昂贵,且部分关键模块对国内禁用。
近些年来,在红外图像实时投射技术方面,国产电阻阵列的制作工艺不断突破,其分辨率、像素有效率、帧频、均匀性等指标不断提高,这也对红外图像实时生成技术提出了更高的要求。因此,为了充分利用新一代512×512元MOS电阻阵列的优越性能,针对复杂战场环境与导引头视场范围要求,介绍了一种基于JRM的战场环境红外图像实时生成技术,并依据相关实验,按需求实现了高质量且逼真的红外导引头视场图像生成。
1. 仿真需求分析
1.1 红外成像目标仿真系统
红外成像目标仿真系统主要负责接收弹目运动参数,实时生成导引头瞬时视场内的战场环境红外图像,并通过驱动控制系统驱动电阻阵列将图像投射至导引头的入瞳处。如图 1所示,战场环境红外图像实时生成系统(虚线框内部分)与电阻阵列及其驱动控制系统通过数据实时传输网络相连接,构成了红外成像目标仿真系统的主体部分,系统的输入为弹目运动参数、目标与背景的三维模型及其红外辐射特性,输出为导引头视场内真实的二维红外热图像。为确保系统的协调运行,对图像生成系统的指标要求应同于对电阻阵列驱动控制系统的指标要求,即充分发挥新一代电阻阵列的性能优势:图像刷新率可达200 Hz以上;分辨率为512×512;单个像元灰度等级不小于16 bit。
1.2 战场环境红外辐射特性分析
战场环境红外辐射特性一方面受目标与地物背景的几何特性、物理材质特性所影响,另一方面还与大气状况、天气、时间、战场火焰、扬尘等外部环境条件密切关联。为可靠地进行战场环境红外图像仿真,需要从红外成像机理出发,综合考虑各种内外部条件以及复杂的传热换热过程,对场景热系统进行完整建模。
场景内热量传递示意图如图 2所示。到达探测器成像面上各点的总辐射为目标热辐射、地物背景热辐射、日月直接辐射、日月在目标表面的反射、日月在地物背景的反射、大气传输路径上的辐射与散射、大气衰减等与探测器光谱响应共同作用的结果。因此,战场环境红外辐射特性建模主要可分为目标的红外辐射建模、地物背景的红外辐射建模、环境特性建模以及传感器建模4部分。
2. 基于JRM的战场环境红外图像仿真原理与方法
2.1 JRM传感器建模与仿真工具
JRM是一套基于物理模型并结合实验室和现场实测数据的传感器建模和仿真工具,支持可见光、夜视、红外、雷达、紫外等传感器的建模与仿真,它以Excel表的方式进行数据组织,相较于其他数据组织模式具有更高的实时性[10]。在红外波段,其利用以下公式计算目标及场景的红外辐射:
$$ L_{\text {observer }}=\left[L_{\text {thermal }} \cdot \varepsilon+L_{\text {reflect }} \cdot(1-\varepsilon)\right] \cdot \tau_{\text {path }}+L_{\text {path }}$$ (1) 式中:Lobserver为到达观测点的总辐射亮度;Lthermal为与场景物体同温度的黑体辐射亮度;Lreflect为物体的表面反射周围的辐射亮度;ε为物体材质的发射率;τpath为大气透过率;Lpath为大气路径程辐射。
公式囊括了物体表面自身发射的热辐射能量(由物体表面温度、发射率决定);太阳等光源入射的热辐射和环境背景散射热辐射的反射辐射;大气路径发射的热辐射,决定了本仿真设计在求解热辐射方面具备很高的可信度。
JRM主要包含5个模块:JRM材质库、GenesisMC(Genesis material classifier)材质分类工具、SigSim(Signature simulation)场景特性计算工具、SenSim(Sensor simulation)传感器建模工具、OSV(Open scene graph viewer)三维渲染引擎。利用JRM生成红外图像的总体方案如图 3所示。
首先,构建目标与背景的三维模型。然后,利用GenesisMC工具和材质库对目标与背景的物理材质特性与热源进行建模;利用SigSim工具对目标与背景的红外热特性、大气传输效应、环境特性进行建模;利用SenSim工具对传感器特性进行建模。最后,使用OSV工具实时渲染生成红外图像。
2.2 基于3DS MAX的目标/背景三维建模
仿真场景中的目标/背景三维模型采用3DS MAX三维建模软件进行建模,根据真实目标/背景的三维几何尺寸建模生成.flt格式的模型数据文件。所构建的三维模型是由若干多边形面片组成,面片的数量越多,目标模型越逼真,相应的实时图像生成时对显卡的要求就越高,有可能超出显卡的处理能力,达不到规定的帧频。因此,在建立几何模型时,应尽量在不影响模型逼真度的前提下减少面片数量。同时,物体表面每个面片的辐射亮度与其温度、材质种类及其表面粗糙度有关[11],在建模时应明确模型纹理与模型面片之间的对应关系,为材质分类工作提供参考。
考虑到导引头的视场范围,要求仿真背景区域较大,一般在公里量级,可结合实际地形的高程数据和卫星影像数据,实现大场景地形仿真。利用Global Mapper获取目标地区30 m分辨率的地形高程数据,在不同分辨率的卫星图片数据精度下可通过插值得到更高精度的高程数据,再配以高清卫星贴图,形成比较真实的地形,最后按照影像图在合适的位置赋予道路贴图,放入建筑物、树木等模型。
2.3 基于GenesisMC的物理材质特性与热源建模
物理材质特性建模是指从图像中确定模型表面的材质组成,在每一个像素点上赋予一种或多种材料,以形成一个材质红外属性映射文件,反映物体表面各个像素点所代表材质的红外发射率、反射率、吸收率等特性,从而建立起目标表面红外材质特性与目标几何形状的对应关系。
首先,将纹理图导入GenesisMC,通过手动或自动对各类材质设定掩膜区域。然后,从材质库选择材质文件,为纹理图每一类掩膜赋予相应的材质物理属性。最后,生成.ms文件与Emat文件,其中.ms文件是对模型纹理贴图所赋予的所有材质文件的集合;Emat文件为材质类型标记图,是一个3通道文件,反映像素与材质之间的对应关系。
GenesisMC工具能够以半自动方式对场景中物体表面的材质进行划分,工具支持Tiff、RGB和JPG等格式图像,JRM材质库带有超过300种材质,包括典型的建筑材料、多种岩石、多种金属、植被和水等。
对于飞机、坦克、导弹等动目标来说,自身还具备如发动机、尾喷管等热源,因此需手动设置相应的动态热区域,并根据经验或实测数据设定该区域的温度和边界(即注明动态热区域扩散的范围)。
2.4 基于SigSim的场景红外特性建模
利用SigSim工具对目标及背景的红外特性进行实时计算和更新,是仿真中较为核心的一部分。为了得到更逼真的红外辐射特性计算结果,除了目标与背景的物理材质特性、热源参数之外,还需考虑视点的方位、场景所处的时间、天气条件、太阳或月亮的位置等因素。SigSim工具可实现天空、天气、云层、太阳、月亮、星空等环境背景的模拟,并且可以设置仿真日期与时间以模拟太阳等星体对地、对目标的照射角度和强度,从而模拟其对目标场景红外辐射能量的影响。
对于火焰、烟雾、扬尘、尾焰等战场特效,SigSim工具提供了基于粒子系统和材质文件构建的特效建模库,可方便地仿真出各种随机性强且外形不规则的干扰特效。针对不同特效类型,需要建立或配置不同的粒子系统形状文件。以烟雾为例,需设置的物理参数包括特效类型、粒子种类、烟雾浓度、温度和风速等,使用这些数据在渲染层构建粒子特效,并且这些特效的流场特性参数是可调整的。
此外,大气会对目标与背景的辐射传输有两方面影响:一是大气自身辐射会附着在目标与地物背景的本征辐射中使探测器接收的能量有所增加;二是大气透过率对目标与地物背景的本征辐射有一定的衰减作用。SigSim工具集成了Modtran4.0模型,能够根据所设置的大气模型、气溶胶模型、风速、雨量、温湿度等参数准确计算100 km范围内的大气传输特性,包括大气透过率、大气路径辐射、大气散射系数等。
2.5 基于SenSim的传感器建模
除了模拟红外辐射达到视点的红外视觉效果外,对红外传感器的模拟更是能进一步提高所仿真图像的逼真度。红外热成像过程为:红外辐射经过光学系统,将其聚焦到探测器表面,探测器通过光电转换输出电信号再转换为灰度值显示输出。因此传感器最终输出的图像为场景真实红外图像叠加传感器光学系统、探测器、电子线路以及传感器噪声、模糊和滤波等效应的结果。SenSim工具是一个先进的光电传感器建模和传感器效应实时仿真工具,支持传感器光学、探测器、电子学参数配置,具体如图 4所示,以及对红外传感器的噪声、运动模糊、平台抖动等效应的模拟,实现传感器的精确建模。
2.6 基于OSV的场景合成与渲染
动态红外场景模型建立的前提条件是能够考虑目标、环境、传感器之间的成像关联作用效应。OSV是一种基于OSG的渲染器,具有SigSim和SenSim接口,利用OSV渲染引擎,将目标/场景特性计算结果、环境大气传输特性计算结果和传感器效果仿真影响关联,生成光学红外图像序列。工作流程为:导入目标/场景(包括干扰特效)模型,加载传感器、场景环境信息、大气和天气条件,调用SigSim和SenSim计算引擎,通过OSV在GPU中进行场景的合成、更新和渲染。利用GPU硬件加速功能,提供高帧频、高质量的图像数据输出。整个仿真过程中的信息流转如图 5所示,传感器与目标的运动由弹目信息所驱动。
3. 红外图像生成及结果分析
根据上述技术路线,在Dell T7920图形工作站上进行战场环境红外仿真实验,工作站的性能参数为:操作系统Windows7 64位;CPU两颗Intel Xeon Gold5218 32核2.3 GHz;显卡NVIDIA Quadro RTX 6000;内存128 G。
某型坦克目标与某机场背景建模实例如图 6所示。利用GenesisMC工具进行物理材质特性建模与目标热源建模,如图 7所示,(a)与(b)中(1)分别为目标纹理图与地形遥感图,其余为所生成目标与背景的Emat材质类型标记图。
对红外制导武器而言,“复杂环境”即云、雨、雪、雾、火焰、扬尘、烟幕等会对其探测性能造成极大影响的自然因素或人为干扰。在前文已建立的目标与背景基础上对上述复杂环境在中波红外波段进行了仿真,基本环境参数设置如表 1所示,并设置传感器带有轻微噪声、增益和电平效果。输出图像分辨率为512×512,单个像元灰度等级为20 bit,如图 8所示,左图为不添加传感器效果,右图为添加传感器效果。
表 1 基本环境参数设置Table 1. Basic environment parameter settingsParameter type Value Atmospheric model Winter mid-latitude Season Winter Aerosol model Village(visual range 5 km) Daily minimum temperature/℃ −10 Daily maximum temperature /℃ 10 Relative humidity 0.5 Wind speed/(m/s) 0 Simulation time 12:00 am 从(a)图可以观察到,水泥地表、沙土、建筑物具有不同的红外特征,这是由于三者材质的比热、密度、导热系数等热物性不同而引起的差异;图(g)中坦克尾部、车轮与履带的辐射亮度均高于其余部位,这是由于在建模过程中,根据尾部引擎的发热以及车轮和履带受到的摩擦和应力作用,对这两处分别设置了热源;再对比(b)、(c)两图,雨与雪都是由水分子构成,但由于雨的温度高于雪,因此雨的红外特征更为明显;由图(d)、(e)还可看出,雾与云层对导引头探测性能的干扰也是极强的,二者通过改变大气传输特性,使大气对辐射的吸收和散射作用增强,从而减少了沿原方向传播的辐射能;最后由图(f)、(g)可观察到,火焰、烟幕、扬尘能有效遮挡其背后区域,干扰红外导引头对目标的识别,其干扰机理主要为:火焰及其烟雾自身高红外辐射能掩盖目标辐射或降低目标与背景的对比度、烟幕释放会形成大量的气溶胶微粒以改变红外辐射的传输特性、扬尘可对目标起到遮蔽的作用。综上所述,仿真实验所呈现的结果反映出红外辐射特性的各类关键影响因素,如材质、内热源、大气传输特性以及气象条件等,与实际情况相符。
截图时刻各场景的渲染帧频(实际帧频随时间在此值附近波动)整理如表 2所示,均能达到100 Hz以上,满足实时性要求。此外,由表 2可知,对传感器效果的模拟虽然能更逼真地仿真出红外传感器的实际成像效果,但降低了图像渲染的速率;对不同的干扰环境进行模拟,也会对实时性带来不同的影响。
表 2 各场景渲染帧频Table 2. The rendering frame rates of each scenesType No sensor added Add sensor Undisturbed environment 243.90 Hz 232.02 Hz Rain 173.83 Hz 163.09 Hz Snow 172.85 Hz 159.70 Hz Fog 181.02 Hz 167.22 Hz Cloud 159.81 Hz 140.99 Hz Tank dust 178.47 Hz 162.09 Hz Battlefield fire, smoke screen 112.29 Hz 107.32 Hz 对于一般的仿真结果来说,逼真度是人们首要考虑的问题,但在半实物仿真系统中,红外图像的生成只有在保证实时性的前提下,才能尽可能保证其逼真性。因此,在实际应用时可根据具体需求,在满足实时性且不违背客观规律的前提下,选取一种或几种干扰进行仿真场景的搭建,并根据图像实际渲染的帧频来对场景内模型的数量或模型多边形的数量进行调整。如图 9所示为搭建的云雪天气、火焰烟雾场景,此视角下的场景渲染帧频为128 Hz。
4. 结语
本文综合考虑以新一代电阻阵列作为投射器件的红外成像目标仿真系统,针对其图像数据需求,基于JRM对复杂战场环境的红外图像实时生成技术进行了研究,提出了详细的方案路线,进行了仿真实验。实验结果以及相关定性分析表明,该方案具有一定的可靠性,且满足实时性要求,能够在实验室环境下提供具有不同地物背景、不同打击目标、不同干扰环境的红外图像,用以对红外成像制导武器的性能进行灵活且快速地测试评估。但是,文中未对所生成红外图像的效果进行定量评价,其逼真性和有效性还需要通过实验来进一步验证,这也是下一步主要开展的工作。
-
表 1 4种算法RMSE值
Table 1 RMSE values of four algorithms
Group Ostu
-HarrisIT
-HarrisCV
-HarrisOurs 1 230.054 239.641 112.521 27.376 2 179.600 180.267 129.603 11.117 3 123.521 117.466 115.621 25.009 4 68.046 87.921 87.761 66.747 5 39.196 34.262 35.067 30.415 6 17.463 25.906 18.391 16.821 表 2 4种算法时间消耗
Table 2 Time consumption of the 4 algorithms
s Group Ostu-Harris IT-Harris CV-Harris Ours 1 3.661 2.896 10.337 10.503 2 3.145 2.899 10.365 10.178 3 3.025 2.779 10.639 10.638 4 3.002 3.02 10.437 10.381 5 3.269 3.051 10.635 11.016 6 3.064 2.956 10.521 10.594 Average 3.194 2.934 10.489 10.551 -
[1] 李禹桥. 基于旋翼无人机的风电叶片自主巡检系统研究[D]. 徐州: 中国矿业大学, 2021. LI Yuqiao. Research on Wind Turbine Blade Autonomous Inspection System based on Rotorcraft UAV[D]. Xuzhou: China University of Mining and Technology, 2021.
[2] 张明辉. 风力发电机故障检修与处理[J]. 科技创新导报, 2019, 16(10): 132-133. https://www.cnki.com.cn/Article/CJFDTOTAL-ZXDB201910075.htm ZHANG Minghui. Wind turbine fault repair and treatment[J]. Science and Technology Innovation Herald, 2019, 16(10): 132-133. https://www.cnki.com.cn/Article/CJFDTOTAL-ZXDB201910075.htm
[3] 王蔚, 刘丹. 我国风电市场: 前景一路看好[N]. 经济参考报, [2006-06-15]. WANG Wei, LIU Dan. China's wind power market: prospects all the way bright[N]. Economic Information Daily, [2006-06-15].
[4] 王浩, 闫号, 叶海瑞, 等. 基于无人机的光伏电站智能巡检[J]. 红外技术, 2022, 44(5): 537-542. http://hwjs.nvir.cn/article/id/9b100b0a-485a-47dd-bc1a-357a9bc0091f WANG Hao, YAN Hao, YE Hairui, et al. Intelligent patrol inspection of photovoltaic power station based on UAVs[J]. Infrared Technology, 2022, 44(5): 537-542. http://hwjs.nvir.cn/article/id/9b100b0a-485a-47dd-bc1a-357a9bc0091f
[5] 宫妍, 位冲冲. 图像拼接关键技术研究综述[J]. 电脑知识与技术, 2021, 17(30): 106-108. Doi: 10.14004/j.cnki.ckt.2021.2895. GONG Yan, WEI Chongchong. Review on key techniques of image stitching[J]. Computer Knowledge and Technology, 2021, 17(30): 106-108. Doi: 10.14004/j.cnki.ckt.2021.2895.
[6] CUI Z, QI W, LIU Y. A fast image template matching algo-rithm based on normalized cross correlation[J]. Journal of Physics Conference Series, 2020, 1693: 012163. DOI: 10.1088/1742-6596/1693/1/012163
[7] 马宝琰, 汤磊, 赵晶, 等. 风电叶片图像直线特征检测与拼接方法[J]. 哈尔滨理工大学学报, 2020, 25(5): 83-92. Doi: 10.15938/j.jhust.2020.05.012. MA Baoyan, TANG Lei, ZHAO Jing, et al. Straight line features detection and mosaic of wind power blades image[J]. Journal of Harbin University of Science and Technology, 2020, 25(5): 83-92. Doi: 10.15938/j.jhust.2020.05.012.
[8] 卢泉, 杨振华, 黄粒峰. 改进最佳缝合线的红外图像拼接方法[J]. 红外技术, 2022, 44(6): 580-586. http://hwjs.nvir.cn/article/id/ff102dc9-5b92-41f9-8a8f-813d8d5f0c8b LU Quan, YANG Zhenhua, HUANG Lifeng. Infrared image mosaic method for improving the best seam-line[J]. Infrared Technology, 2022, 44(6): 580-586. http://hwjs.nvir.cn/article/id/ff102dc9-5b92-41f9-8a8f-813d8d5f0c8b
[9] 傅子秋, 张晓龙, 余成, 等. 多场景下基于快速相机标定的柱面图像拼接方法[J]. 光电工程, 2020, 47(4): 74-86. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202004008.htm FU Ziqiu, ZHANG Xiaolong, YU Cheng, et al. Cylindrical image mosaic method based on fast camera calibration in multi-scene[J]. Opto-Electronic Engineering, 2020, 47(4): 74-86. https://www.cnki.com.cn/Article/CJFDTOTAL-GDGC202004008.htm
[10] 何赟泽, 张帆, 刘昊, 等. 风机叶片无人机红外热图像拼接方法[J]. 电子测量与仪器学报, 2022, 36(7): 44-53. Doi: 10.13382/j.jemi.B2105058. HE Yunze, ZHANG Fan, LIU Hao, et al. Infrared image stitch method of wind turbine blade based on UAV[J]. Journal of Electronic Measurement and Instrument, 2022, 36(7): 44-53. Doi: 10.13382/j.jemi.B2105058.
[11] 方喜波. 光电侦察吊舱对海广域搜索方法[J]. 红外技术, 2021, 43(11): 1055-1060. http://hwjs.nvir.cn/article/id/9db773d6-e53b-4486-a8ca-f32834bc9f13 FANG Xibo. Searching method of the wide area of optical recon pod for sea targets[J]. Infrared Technology, 2021, 43(11): 1055-1060. http://hwjs.nvir.cn/article/id/9db773d6-e53b-4486-a8ca-f32834bc9f13
[12] Osher S, Sethian J A. Fronts propagating with curvature-dependent speed: algorithms based on Hamilton-Jacobi formulations[J]. Journal of Computational Physics, 1988, 79(1): 12-49.
[13] Ghaili A M, Mashohor S, Ramli A R. Vertical-edge-based car-license-plate detection method[J]. IEEE Transactions on Vehicular Technology, 2013, 62(1): 26-38.
[14] 张见双, 张红民, 罗永涛, 等. 一种改进的Harris角点检测的图像配准方法[J]. 激光与红外, 2017, 47(2): 230-233. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201702021.htm ZHANG Jianshuang, ZHANG Hongmin, LUO Yongtao, et al. Image registration method based on improved Harris corner detection algorithm[J]. Laser & Infrared, 2017, 47(2): 230-233. https://www.cnki.com.cn/Article/CJFDTOTAL-JGHW201702021.htm
-
期刊类型引用(0)
其他类型引用(1)