Image Segmentation of Inductors Laser Thermal Imaging Based on Watershed Algorithm
-
摘要: 激光热成像是一种检测电感微裂纹的新方法，但批量自动检测时电感彼此靠近易导致定位错误和误检。根据激光扫描和热成像检测过程分析图像特征，提出求取温度梯度图并利用次大值滤波消除其激励非均匀性，采用形态学操作断开样品粘连处并去除干扰噪声点；通过距离变换结合分水岭算法得到电感图像分割结果。实验结果表明：该方法实现了对批量铁氧体电感图像的自动分割提取，为后续铁氧体电感试样的分选打下良好基础。Abstract: Laser thermography is a new method to detect micro cracks in inductors, but the proximity of inductors in batch automatic detection made it easy to cause positioning errors and false detection results. According to the analysis of image features in the process of laser scanning and thermal imaging detection, a new method was proposed to obtain the temperature gradient map and eliminate its excitation nonuniformity by using the sub maximum filter, and to disconnect the adhesion of samples and remove the interference noise points by using morphological operation. The inductance images were segmented combining distance transformation with watershed algorithm. The experimental results show that the method realizes the automatic separation and extraction of ferrite inductor from image, which lays a good foundation for the separation of ferrite inductors.
-
0. 引言
在精确制导领域，红外成像技术被认为是当前最有效的制导手段之一[1]。在红外制导武器的测试与评估过程中，若采用实物、靶场实验，虽然环境真实、测试全面，但所需人力物力财力消耗巨大、试验周期长，同时实验环境相对单一，难以构建满足要求的各种复杂战场环境。因此采用半实物仿真实验来代替实物实验，虽然无法完全再现真实状态，但其可在实验室环境下任意模拟多种实验环境，具有成本低、试验风险小、测试周期短等优点[2-3]。红外成像目标仿真系统是半实物仿真系统的重要组成部分之一，其包含两部分核心技术：一是红外图像实时生成技术；二是红外图像实时投射技术。其中，红外图像实时生成技术是红外成像目标仿真系统乃至整个半实物仿真系统的基础，为半实物仿真试验提供图像数据源。
早在20世纪80年代，国外军事强国就已开展了对红外图像仿真相关技术的研究，开发出一系列内嵌红外场景合成模块的专业视景仿真软件，如JRM、Vega[4]、Vega Prime[5]、SE-Workbench[6]等。国内在该领域的研究起步较晚，目前主要形成了3类红外图像生成技术[7-9]：第一类是通过建立基本的温度预测模型来预测目标温度分布，并通过求解红外辐射方程来生成红外辐射图形，该方法生成图像分辨率、准确性较高，但是计算过程耗时，实时性不高；第2类是基于实测数据再结合理论的方法，这种方法克服了第一种方法计算量大的缺点，简化了理论模型，但其灵活性较差；第3类是在国外仿真平台的基础上进行二次开发以完成相应需求的红外仿真，这种方式具有可信度高、技术成熟、灵活性强、开发周期短等优点，但各大仿真平台的使用版权很昂贵，且部分关键模块对国内禁用。
近些年来，在红外图像实时投射技术方面，国产电阻阵列的制作工艺不断突破，其分辨率、像素有效率、帧频、均匀性等指标不断提高，这也对红外图像实时生成技术提出了更高的要求。因此，为了充分利用新一代512×512元MOS电阻阵列的优越性能，针对复杂战场环境与导引头视场范围要求，介绍了一种基于JRM的战场环境红外图像实时生成技术，并依据相关实验，按需求实现了高质量且逼真的红外导引头视场图像生成。
1. 仿真需求分析
1.1 红外成像目标仿真系统
红外成像目标仿真系统主要负责接收弹目运动参数，实时生成导引头瞬时视场内的战场环境红外图像，并通过驱动控制系统驱动电阻阵列将图像投射至导引头的入瞳处。如图 1所示，战场环境红外图像实时生成系统(虚线框内部分)与电阻阵列及其驱动控制系统通过数据实时传输网络相连接，构成了红外成像目标仿真系统的主体部分，系统的输入为弹目运动参数、目标与背景的三维模型及其红外辐射特性，输出为导引头视场内真实的二维红外热图像。为确保系统的协调运行，对图像生成系统的指标要求应同于对电阻阵列驱动控制系统的指标要求，即充分发挥新一代电阻阵列的性能优势：图像刷新率可达200 Hz以上；分辨率为512×512；单个像元灰度等级不小于16 bit。
![]()
图 1 红外成像目标仿真系统功能设计框图Figure 1. Functional design block diagram of infrared imaging target simulation system1.2 战场环境红外辐射特性分析
战场环境红外辐射特性一方面受目标与地物背景的几何特性、物理材质特性所影响，另一方面还与大气状况、天气、时间、战场火焰、扬尘等外部环境条件密切关联。为可靠地进行战场环境红外图像仿真，需要从红外成像机理出发，综合考虑各种内外部条件以及复杂的传热换热过程，对场景热系统进行完整建模。
场景内热量传递示意图如图 2所示。到达探测器成像面上各点的总辐射为目标热辐射、地物背景热辐射、日月直接辐射、日月在目标表面的反射、日月在地物背景的反射、大气传输路径上的辐射与散射、大气衰减等与探测器光谱响应共同作用的结果。因此，战场环境红外辐射特性建模主要可分为目标的红外辐射建模、地物背景的红外辐射建模、环境特性建模以及传感器建模4部分。
2. 基于JRM的战场环境红外图像仿真原理与方法
2.1 JRM传感器建模与仿真工具
JRM是一套基于物理模型并结合实验室和现场实测数据的传感器建模和仿真工具，支持可见光、夜视、红外、雷达、紫外等传感器的建模与仿真，它以Excel表的方式进行数据组织，相较于其他数据组织模式具有更高的实时性[10]。在红外波段，其利用以下公式计算目标及场景的红外辐射：
$$ L_{\text {observer }}=\left[L_{\text {thermal }} \cdot \varepsilon+L_{\text {reflect }} \cdot(1-\varepsilon)\right] \cdot \tau_{\text {path }}+L_{\text {path }}$$ (1) 式中：Lobserver为到达观测点的总辐射亮度；Lthermal为与场景物体同温度的黑体辐射亮度；Lreflect为物体的表面反射周围的辐射亮度；ε为物体材质的发射率；τpath为大气透过率；Lpath为大气路径程辐射。
公式囊括了物体表面自身发射的热辐射能量(由物体表面温度、发射率决定)；太阳等光源入射的热辐射和环境背景散射热辐射的反射辐射；大气路径发射的热辐射，决定了本仿真设计在求解热辐射方面具备很高的可信度。
JRM主要包含5个模块：JRM材质库、GenesisMC(Genesis material classifier)材质分类工具、SigSim(Signature simulation)场景特性计算工具、SenSim(Sensor simulation)传感器建模工具、OSV(Open scene graph viewer)三维渲染引擎。利用JRM生成红外图像的总体方案如图 3所示。
![]()
图 3 基于JRM的红外图像生成总体方案Figure 3. Overall scheme of infrared image generation based on JRM首先，构建目标与背景的三维模型。然后，利用GenesisMC工具和材质库对目标与背景的物理材质特性与热源进行建模；利用SigSim工具对目标与背景的红外热特性、大气传输效应、环境特性进行建模；利用SenSim工具对传感器特性进行建模。最后，使用OSV工具实时渲染生成红外图像。
2.2 基于3DS MAX的目标/背景三维建模
仿真场景中的目标/背景三维模型采用3DS MAX三维建模软件进行建模，根据真实目标/背景的三维几何尺寸建模生成.flt格式的模型数据文件。所构建的三维模型是由若干多边形面片组成，面片的数量越多，目标模型越逼真，相应的实时图像生成时对显卡的要求就越高，有可能超出显卡的处理能力，达不到规定的帧频。因此，在建立几何模型时，应尽量在不影响模型逼真度的前提下减少面片数量。同时，物体表面每个面片的辐射亮度与其温度、材质种类及其表面粗糙度有关[11]，在建模时应明确模型纹理与模型面片之间的对应关系，为材质分类工作提供参考。
考虑到导引头的视场范围，要求仿真背景区域较大，一般在公里量级，可结合实际地形的高程数据和卫星影像数据，实现大场景地形仿真。利用Global Mapper获取目标地区30 m分辨率的地形高程数据，在不同分辨率的卫星图片数据精度下可通过插值得到更高精度的高程数据，再配以高清卫星贴图，形成比较真实的地形，最后按照影像图在合适的位置赋予道路贴图，放入建筑物、树木等模型。
2.3 基于GenesisMC的物理材质特性与热源建模
物理材质特性建模是指从图像中确定模型表面的材质组成，在每一个像素点上赋予一种或多种材料，以形成一个材质红外属性映射文件，反映物体表面各个像素点所代表材质的红外发射率、反射率、吸收率等特性，从而建立起目标表面红外材质特性与目标几何形状的对应关系。
首先，将纹理图导入GenesisMC，通过手动或自动对各类材质设定掩膜区域。然后，从材质库选择材质文件，为纹理图每一类掩膜赋予相应的材质物理属性。最后，生成.ms文件与Emat文件，其中.ms文件是对模型纹理贴图所赋予的所有材质文件的集合；Emat文件为材质类型标记图，是一个3通道文件，反映像素与材质之间的对应关系。
GenesisMC工具能够以半自动方式对场景中物体表面的材质进行划分，工具支持Tiff、RGB和JPG等格式图像，JRM材质库带有超过300种材质，包括典型的建筑材料、多种岩石、多种金属、植被和水等。
对于飞机、坦克、导弹等动目标来说，自身还具备如发动机、尾喷管等热源，因此需手动设置相应的动态热区域，并根据经验或实测数据设定该区域的温度和边界(即注明动态热区域扩散的范围)。
2.4 基于SigSim的场景红外特性建模
利用SigSim工具对目标及背景的红外特性进行实时计算和更新，是仿真中较为核心的一部分。为了得到更逼真的红外辐射特性计算结果，除了目标与背景的物理材质特性、热源参数之外，还需考虑视点的方位、场景所处的时间、天气条件、太阳或月亮的位置等因素。SigSim工具可实现天空、天气、云层、太阳、月亮、星空等环境背景的模拟，并且可以设置仿真日期与时间以模拟太阳等星体对地、对目标的照射角度和强度，从而模拟其对目标场景红外辐射能量的影响。
对于火焰、烟雾、扬尘、尾焰等战场特效，SigSim工具提供了基于粒子系统和材质文件构建的特效建模库，可方便地仿真出各种随机性强且外形不规则的干扰特效。针对不同特效类型，需要建立或配置不同的粒子系统形状文件。以烟雾为例，需设置的物理参数包括特效类型、粒子种类、烟雾浓度、温度和风速等，使用这些数据在渲染层构建粒子特效，并且这些特效的流场特性参数是可调整的。
此外，大气会对目标与背景的辐射传输有两方面影响：一是大气自身辐射会附着在目标与地物背景的本征辐射中使探测器接收的能量有所增加；二是大气透过率对目标与地物背景的本征辐射有一定的衰减作用。SigSim工具集成了Modtran4.0模型，能够根据所设置的大气模型、气溶胶模型、风速、雨量、温湿度等参数准确计算100 km范围内的大气传输特性，包括大气透过率、大气路径辐射、大气散射系数等。
2.5 基于SenSim的传感器建模
除了模拟红外辐射达到视点的红外视觉效果外，对红外传感器的模拟更是能进一步提高所仿真图像的逼真度。红外热成像过程为：红外辐射经过光学系统，将其聚焦到探测器表面，探测器通过光电转换输出电信号再转换为灰度值显示输出。因此传感器最终输出的图像为场景真实红外图像叠加传感器光学系统、探测器、电子线路以及传感器噪声、模糊和滤波等效应的结果。SenSim工具是一个先进的光电传感器建模和传感器效应实时仿真工具，支持传感器光学、探测器、电子学参数配置，具体如图 4所示，以及对红外传感器的噪声、运动模糊、平台抖动等效应的模拟，实现传感器的精确建模。
2.6 基于OSV的场景合成与渲染
动态红外场景模型建立的前提条件是能够考虑目标、环境、传感器之间的成像关联作用效应。OSV是一种基于OSG的渲染器，具有SigSim和SenSim接口，利用OSV渲染引擎，将目标/场景特性计算结果、环境大气传输特性计算结果和传感器效果仿真影响关联，生成光学红外图像序列。工作流程为：导入目标/场景(包括干扰特效)模型，加载传感器、场景环境信息、大气和天气条件，调用SigSim和SenSim计算引擎，通过OSV在GPU中进行场景的合成、更新和渲染。利用GPU硬件加速功能，提供高帧频、高质量的图像数据输出。整个仿真过程中的信息流转如图 5所示，传感器与目标的运动由弹目信息所驱动。
3. 红外图像生成及结果分析
根据上述技术路线，在Dell T7920图形工作站上进行战场环境红外仿真实验，工作站的性能参数为：操作系统Windows7 64位；CPU两颗Intel Xeon Gold5218 32核2.3 GHz；显卡NVIDIA Quadro RTX 6000；内存128 G。
某型坦克目标与某机场背景建模实例如图 6所示。利用GenesisMC工具进行物理材质特性建模与目标热源建模，如图 7所示，(a)与(b)中(1)分别为目标纹理图与地形遥感图，其余为所生成目标与背景的Emat材质类型标记图。
对红外制导武器而言，“复杂环境”即云、雨、雪、雾、火焰、扬尘、烟幕等会对其探测性能造成极大影响的自然因素或人为干扰。在前文已建立的目标与背景基础上对上述复杂环境在中波红外波段进行了仿真，基本环境参数设置如表 1所示，并设置传感器带有轻微噪声、增益和电平效果。输出图像分辨率为512×512，单个像元灰度等级为20 bit，如图 8所示，左图为不添加传感器效果，右图为添加传感器效果。
表 1 基本环境参数设置Table 1. Basic environment parameter settingsParameter type Value Atmospheric model Winter mid-latitude Season Winter Aerosol model Village(visual range 5 km) Daily minimum temperature/℃ −10 Daily maximum temperature /℃ 10 Relative humidity 0.5 Wind speed/(m/s) 0 Simulation time 12:00 am 从(a)图可以观察到，水泥地表、沙土、建筑物具有不同的红外特征，这是由于三者材质的比热、密度、导热系数等热物性不同而引起的差异；图(g)中坦克尾部、车轮与履带的辐射亮度均高于其余部位，这是由于在建模过程中，根据尾部引擎的发热以及车轮和履带受到的摩擦和应力作用，对这两处分别设置了热源；再对比(b)、(c)两图，雨与雪都是由水分子构成，但由于雨的温度高于雪，因此雨的红外特征更为明显；由图(d)、(e)还可看出，雾与云层对导引头探测性能的干扰也是极强的，二者通过改变大气传输特性，使大气对辐射的吸收和散射作用增强，从而减少了沿原方向传播的辐射能；最后由图(f)、(g)可观察到，火焰、烟幕、扬尘能有效遮挡其背后区域，干扰红外导引头对目标的识别，其干扰机理主要为：火焰及其烟雾自身高红外辐射能掩盖目标辐射或降低目标与背景的对比度、烟幕释放会形成大量的气溶胶微粒以改变红外辐射的传输特性、扬尘可对目标起到遮蔽的作用。综上所述，仿真实验所呈现的结果反映出红外辐射特性的各类关键影响因素，如材质、内热源、大气传输特性以及气象条件等，与实际情况相符。
截图时刻各场景的渲染帧频(实际帧频随时间在此值附近波动)整理如表 2所示，均能达到100 Hz以上，满足实时性要求。此外，由表 2可知，对传感器效果的模拟虽然能更逼真地仿真出红外传感器的实际成像效果，但降低了图像渲染的速率；对不同的干扰环境进行模拟，也会对实时性带来不同的影响。
表 2 各场景渲染帧频Table 2. The rendering frame rates of each scenesType No sensor added Add sensor Undisturbed environment 243.90 Hz 232.02 Hz Rain 173.83 Hz 163.09 Hz Snow 172.85 Hz 159.70 Hz Fog 181.02 Hz 167.22 Hz Cloud 159.81 Hz 140.99 Hz Tank dust 178.47 Hz 162.09 Hz Battlefield fire, smoke screen 112.29 Hz 107.32 Hz 对于一般的仿真结果来说，逼真度是人们首要考虑的问题，但在半实物仿真系统中，红外图像的生成只有在保证实时性的前提下，才能尽可能保证其逼真性。因此，在实际应用时可根据具体需求，在满足实时性且不违背客观规律的前提下，选取一种或几种干扰进行仿真场景的搭建，并根据图像实际渲染的帧频来对场景内模型的数量或模型多边形的数量进行调整。如图 9所示为搭建的云雪天气、火焰烟雾场景，此视角下的场景渲染帧频为128 Hz。
4. 结语
本文综合考虑以新一代电阻阵列作为投射器件的红外成像目标仿真系统，针对其图像数据需求，基于JRM对复杂战场环境的红外图像实时生成技术进行了研究，提出了详细的方案路线，进行了仿真实验。实验结果以及相关定性分析表明，该方案具有一定的可靠性，且满足实时性要求，能够在实验室环境下提供具有不同地物背景、不同打击目标、不同干扰环境的红外图像，用以对红外成像制导武器的性能进行灵活且快速地测试评估。但是，文中未对所生成红外图像的效果进行定量评价，其逼真性和有效性还需要通过实验来进一步验证，这也是下一步主要开展的工作。
-
![]()
图 5 原始图像距离变换和分水岭分割
Figure 5. Distance transformation and watershed segmentation of original image
![]()
图 6 形状变换后的距离变换和分水岭分割
Figure 6. Distance transformation and watershed segmentation after shape transformation
-
[1] 闫会朋, 杨正伟, 田干, 等. 基于涡流热成像的铁磁材料近表面微裂纹检测[J]. 红外与激光工程, 2017, 46(3): 231-236. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201703036.htm YAN Huipeng, YANG Zhengwei, TIAN Gan, et al. Micro crack detection near surface of ferromagnetic materials based on eddy current thermography[J]. Infrared and Laser Engineering, 2017, 46(3): 231-236. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201703036.htm
[2] 王晓宁, 侯德鑫, 叶树亮. 基于激光热成像的铁氧体裂纹检测[J]. 激光与红外, 2015, 45(11): 1298-1303. DOI: 10.3969/j.issn.1001-5078.2015.11.003 WANG Xiaoning, HOU Dexin, YE Shuliang. Crack detection of ferrite based on laser spot thermography[J]. Laser & Infrared, 2015, 45(11): 1298-1303. DOI: 10.3969/j.issn.1001-5078.2015.11.003
[3] 王晓娜, 姚行洲, 侯德鑫, 等. 圆柱铁氧体微裂纹的激光扫描热成像检测[J]. 红外与激光工程, 2018, 47(11): 51. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201811007.htm WANG Xiaona, YAO Xingzhou, HOU Dexin, et al. Detection of microcrack in cylinder ferrite components based on scanning laser thermography[J]. Infrared and Laser Engineering, 2018, 47(11): 51. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201811007.htm
[4] 苑玮琦, 薛丹. 基于机器视觉的隧道衬砌裂缝检测算法综述[J]. 仪器仪表学报, 2017(12): 3100-3111. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201712026.htm YUAN Weiqi, XUE Dan. Review of tunnel lining crack detection algorithm based on machine vision[J]. Chinese Journal of Scientific Instrument, 2017(12): 3100-3111. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB201712026.htm
[5] Burrows S E, Dixon S, Pickering S G, et al. Thermographic detection of surface breaking defects using a scanning laser source[J]. NDT & E International, 2011, 44(7): 589-596. http://www.sciencedirect.com/science/article/pii/S0963869511000740
[6] Schilichting J, Ziegler M, Maierhofer C, et al. Flying laser spot thermography for the fast detection of surface breaking cracks[C]//18th World Conference on Nondestructive Testing, Durban, 2012: 16-20.
[7] 徐佳. 现代医学细胞显微图像分割改进算法[J]. 计算机与现代化, 2014(2): 95-98, 101. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201402022.htm XU Jia. Improved algorithm for cell microscopic image segmentation[J]. Computer and Modernization, 2014(2): 95-98, 101. https://www.cnki.com.cn/Article/CJFDTOTAL-JYXH201402022.htm
[8] 漆鹏杰, 刘秀波, 仲兆准, 等. 显微细胞图像有形成分自动识别[J]. 计算机系统应用, 2015, 24(5): 11-18. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201505002.htm QI Pengjie, LIU Xiubo, ZHONG Zhaohuai, et al. Visible components automatic recognition of microscopic cell image[J]. Computer Systems & Applications, 2015, 24(5): 11-18. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201505002.htm
[9] 张海涛, 李雅男. 阈值标记的分水岭彩色图像分割[J]. 中国图象图形学报, 2019, 20(12): 1602-1611. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201512005.htm ZHANG Haitao, LI Yanan. Watershed algorithm with threshold mark for color image segmentation[J]. Journal of Image and Graphics, 2019, 20(12): 1602-1611. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201512005.htm
[10] 杨小青, 杨秋翔, 杨剑. 基于形态学的显微细胞图像处理与应用[J]. 计算机系统应用, 2016, 25(3): 222-226. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201603038.htm YANG Xiaoqing, YANG Qiuxiang, YANG Jian. Microscopic cell image processing and application based on morphology[J]. Computer Systems & Applications, 2016, 25(3): 222-226. https://www.cnki.com.cn/Article/CJFDTOTAL-XTYY201603038.htm
[11] 王鑫, 胡洋洋, 杨慧中. 基于迭代腐蚀的粘连细胞图像分割研究[J]. 南京理工大学学报: 自然科学版, 2016, 40(3): 285-289. https://www.cnki.com.cn/Article/CJFDTOTAL-NJLG201603006.htm WANG Xin, HU Yangyang, YANG Huizhong. Segmentation of adherent cell image based on iterative erosion[J]. Journal of Nanjing University of Science and Technology, 2016, 40(3): 285-289. https://www.cnki.com.cn/Article/CJFDTOTAL-NJLG201603006.htm
[12] LIAO M, ZHAO Y Q, LI X H, et al. Automatic segmentation for cell images based on bottleneck detectionand ellipse fitting[J]. Neurocomputing, 2015, 173(P3): 615-622. DOI: 10.1016/j.neucom.2015.08.006
-
期刊类型引用(0)
其他类型引用(1)
下载:
计量
- 文章访问数: 289
- HTML全文浏览量: 190
- PDF下载量: 35
- 被引次数: 1
