An Infrared Image Enhancement Method Based on Semantic Segmentation
-
摘要: 针对对比度受限的自适应直方图均衡化（contrast limited adaptive histogram equalization, CLAHE）强行分块造成的视觉不自然现象，本文提出了一种基于语义分割的红外图像增强方法。语义分割网络将整个红外图像分割成种类块而不是传统的矩形图像块。然后，每个种类块各自进行对比度受限的直方图均衡化，以减少过度增强。最后，采用了一种新的边缘过渡方法来避免种类块之间的突变。实验结果表明，本文所提出的红外图像增强方法在对比度和熵上优于其他对比算法，而且避免了传统CLAHE的视觉不自然现象，具有更好的视觉效果。Abstract: To solve the problem of visual unnaturalness caused by contrast-limited adaptive histogram equalization (CLAHE) forced blocking, this study proposes an infrared image enhancement method based on semantic segmentation. The semantic segmentation network segments the entire infrared image into category blocks instead of traditional rectangular image blocks. Each category block is individually subjected to contrast-limited histogram equalization to reduce over-enhancement. Finally, a new edge transition method is introduced to avoid abruptness between category blocks. The experimental results show that the proposed image enhancement method outperforms other contrast algorithms in terms of contrast and entropy and avoids the visual unnaturalness of traditional CLAHE with better visual effects.
-
Keywords:
- image enhancement /
- infrared image /
- semantic segmentation /
- histogram equalization /
- CLAHE
-
0. 引言
离轴四反光学系统具有多光合一的特点，符合机载观瞄系统未来发展的方向，已成为国内外相关领域研究的热点[1]。离轴反射式成像系统相较于传统成像系统更容易实现大口径、长焦距的设计目标，并且能实现多种波段的宽光谱范围的共口径多光合一成像，也不存在中心遮挡问题[2]，是一种较优的多光合一机载观瞄系统的解决方案[3]。黄辰旭等人设计了基于自由曲面的大视场离轴四反光学系统[4]，其成像质量接近衍射极限；操超等人设计了一种基于自由曲面的大视场离轴反射光学系统[5]，所采用的设计方法可以降低大视场自由曲面离轴反射光学系统的设计难度；丁学专等人设计了一种离轴四反射镜光学系统[6]，达到很好的光学性能。
然而离轴四反光学系统对其自由曲面反射面的面型精度和空间姿态要求较高，温度变化会导致其反射面的面型和空间姿态发生变化，最终导致光学系统的光学性能不能达到设计目标[7-8]。
因此针对离轴四反光学系统进行光机热仿真分析，可以预测光学系统在不同环境条件下的变形情况及光学性能，从而针对该系统进行结构优化，进一步提高光学系统在极端条件下工作的稳定性[9-10]。
然而传统的光机热仿真分析需要将光学系统的光学表面热变形结果进行面型拟合，将拟合结果导入光学仿真软件中，在光学软件中进行该光学系统的光学性能仿真。整个过程涉及多个软件间的数据传输和转换，导致仿真过程受到面型拟合误差和数据传输误差的影响，并且针对不同的软件编写接口程序也会进一步延长仿真分析时间和成本[11-16]。
本文基于多物理场有限元仿真软件COMSOL Multiphysics（以下称COMSOL），提出了一种光机热多物理场耦合建模方法，实现了光学系统的光机热一体化仿真分析。
1. 光机热仿真分析流程
本文的光机热仿真模型的分析流程如图 1所示，以一种离轴四反光学系统为例，根据光学设计与机械结构设计的结果，利用三维建模软件建立其三维光机模型。然后将模型导入有限元仿真分析软件COMSOL中进行模型的简化，以提高模型的收敛性和时效性。随后生成装配体有限元模型，并添加固体传热物理场、固体力学物理场和几何光学物理场进行多物理场耦合仿真，该仿真模型可以模拟不同温度条件下的光机结构的变形和应力分布情况，并且可进行热变形后的光学系统的光线追迹仿真，得到光学系统点列图和像差图的变化情况。
2. 多物理场耦合模型建模与仿真
2.1 几何模型与材料
由图 2可知，该光学系统主要包含离轴四反光学系统、可见光成像系统、短波成像系统以及中波成像系统，其中，离轴四反光学系统的设计主要是为了实现机载光学系统的多波段、大口径、小型化和轻量化方向的目标，并提高光学系统优化自由度以及像差平衡能力。
![]()
图 2 离轴四反共体三光合一光学系统Figure 2. Off-axis four-reflection catadioptric tri-light fusion optical system由于光学系统在仿真原理上具有相似性，所以本文仅以离轴四反光学系统为研究对象，意义在于提出一种新的光机热多物理场耦合仿真建模方法，为光机热一体化仿真提供一种新的解决思路，本团队后续会进行多轮的试验测试以验证该方法的有效性。
离轴四反光学系统的结构如图 3所示，该光学系统采用一体化加工技术进行制作，免去了反射镜的装调工作。该模型涉及到几何光学、固体力学以及固体传热学，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光线追迹判断结构热变形后的模型光学性能的变化。光学系统的材料采用材料库中的Aluminum 3003-H18材料，其属性为热膨胀系数23.2e-6 K−1、恒压热容893 J/(kg⋅K)、相对介电常数1、密度2730 kg/m3、导热系数155 W/(m⋅K)、杨氏模量69e9 Pa、泊松比0.33。该模型的默认初始温度为293.15 K。
2.2 网格
整个离轴四反光学系统在不同的区域采用了不同大小的四面体网格，用以平衡计算效率和精算精度，网格结果如图 4所示。
在几何光学仿真过程中，当光线接触到表面的边界网格中的网格元素时，它们会与表面相互作用。当光线需要关于它们所击中表面的信息时，例如控制反射和折射光线方向的表面法线方向，这些信息也会在边界网格上进行评估。因此，拥有一个高质量的网格是高精度模拟光学系统性能的重要前提。
由于本模型存在4个自由曲面，表面曲率不一致，所以不能通过粗网格进行表面模拟，需要针对自由曲面进行网格细化操作，以至于网格很好地贴合自由曲面。
本模型的网格通过针对自由曲面表面添加网格大小限制工具，对非规则的表面进行网格细化，最后添加自由四面体网格工机针对其余非敏感区域进行网格划分，从而实现了光学仿真精度和模型计算难度的平衡。
通过网格信息统计工具进行网格质量分析，由图 5(a)可知，整个光学系统的平均网格质量为0.6654，其中1表示理想和优化的网格，0代表退化网格元素。针对反射表面进行网格分析如图 5(b)所示，平均网格质量为0.9337，由此可知，高质量网格比例较高并且分布在光学敏感表面，其余区域通过大体积网格减少计算成本，从而实现一个较优的仿真模型网格。
2.3 多物理场
本模型涉及固体力学物理场、固体传热学物理场和几何光学物理场，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光学追迹判断结构热变形后的模型光学性能的变化。
1）固体力学物理场
固体力学物理场可以提供光机系统的力学性能仿真，为后续与热学仿真耦合实现热膨胀及热应力构建基础。本模型将系统的温度变化过程看作多个稳态过程的间断变化，所以固体力学模块的仿真是基于稳态的仿真。
固体力学模型的物体形变、位移是通过空间坐标(x, y, z)表示，空间坐标在初始条件下与材料坐标(X, Y, Z)完全重合，在模型发生形变和位移时，模型的变形和位移按照下述公式表示：
$$x=x(X, t)=X+u(X, t)$$ (1) 式中：x表示空间坐标的x分量；X表示材料坐标的X分量；u代表材料坐标在X方向上的变形量；t代表时间尺度。
由于本模型是一个小变形和有限变形的结构分析模型，所以其分析过程遵循拉格朗日动力方程，计算方程为：
$$ 0={\mathit{\nabla}} \cdot ({\mathit{\boldsymbol{FS}}})^{\text{T}}+{\mathit{\boldsymbol{F}}}v $$ (2) $$ F = I + \nabla u = I + \frac{{\partial u}}{{\partial X}} $$ (3) 式中：F表示模型的变形梯度；S表示模型的位移场；v表示速度；I表示模型张量。
由于整个光学系统并不存在运动和旋转，所以不需要包含惯性项，因此固体力学模块中的结构瞬态特性设置为准静态；由于光学系统需要有一个固定位置以保证系统的稳定性，所以通过边界固定约束的方式提供一个光学系统的固定位置。
2）固体传热学物理场
固体传热物理场可以提供光机系统的热学性能仿真，为后续与力学耦合实现热膨胀及热应力构建基础。
由于本模型仿真的是多个连续稳态的温度情况，即：
$$ T = {T_0} + \frac{{\int q \cdot {\rm{d}}t}}{k} $$ (4) $$ \rho {C_{\rm{P}}}u \cdot \nabla T + \nabla \cdot q = Q + {Q_{{\text{ted}}}} $$ (5) $$q=-k {\mathit{\nabla}} T$$ (6) 式中：T代表设定温度；T0代表初始温度；q代表热通量；t代表时间；k代表导热系数；ρ代表模型的密度；Q代表热源；Qted热弹性阻尼。由于本模型的传热过程是多个稳态过程，不存在热源，所以式(4)的后项的值为0。
本模型的初始温度设置为293.15 K，通过添加温度边界条件以实现光学系统处于不同环境温度的目的，温度的值设置temp，temp为一个全局温度变量，后续通过参数化扫描方式实现光机系统由－40℃~+60℃的温度变化。
3）几何光学物理场
几何光学物理场可以提供光机系统的光学性能仿真，实现光机系统的热变形前后的光学性能对比，以评估光机系统是否满足设计指标，并为后续的光机系统优化奠定基础。
几何光学的射线跟踪算法是通过几何光学界面求解单个射线的位置和波矢量，当光线与表面相互作用时，判断表面属性，具体有镜面反射、漫反射、折射和几种不同类型的吸收，计算方程如下所示：
$$ \frac{{{\rm{d}}q}}{{{\rm{d}}t}} = \frac{{\partial \omega }}{{\partial k}} $$ (7) $$ \frac{{{\rm{d}}k}}{{{\rm{d}}t}} = - \frac{{\partial \omega }}{{\partial q}} $$ (8) 式中：q代表射线的空间位置；t代表时间；k代表波矢量；ω代表角频率。
本模型仅模拟单色光成像性能，所以几何光学物理场的释放射线的波长分布设置为单色，然后针对四面反射镜表面添加全反射属性，由于本模型的研究内容忽略了光线传输过程中的杂散光，所以针对多自由曲面共体光学系统的表面（除了4个反射镜表面），添加壁属性并设置为消失，即光线到达该类表面就被全吸收。添加一个六边环形格栅光源，光源中心位置qc和圆柱周向rc可根据实际模型需要自行设置，用以控制入射光线的特点。
3. 仿真结果及分析
该光学系统的系统温度由－40℃逐渐变化到+60℃，由于材料的热胀冷缩原理并且光学系统的底部有强约束的存在，所以会在约束区域产生如图 6所示的应力集中情况，并且由于光学系统底部存在一个方形槽（用于放置后端成像光学系统），所以该区域会存在较为明显的应力集中情况，但是由于约束区域的强度足够，所以应力集中对于整个系统稳定性的影响很小。
图 7显示了该系统的热变形情况，由于光学系统整体变形量较小，为了较为清晰地看到光学系统的变形，图片针对变形结果做了一定比例的放大，其中线框图为光学系统变形前的结构。由图可知，在温度T=＝－40℃条件下光学系统以固定约束点为中心进行收缩，最大位移达到了0.336 mm；在温度T＝+60℃条件下光学系统以固定约束点为中心进行膨胀，最大位移达到了0.225 mm。
图 8显示了光学系统第一反射表面在高低温条件下的变形情况，黑色线框代表常温条件下的几何形状，彩色区域代表不同温度条件下的变形情况。以低温T＝－40℃为例，当温度降低时，第一反射镜表面整体向下，最大位移量达到0.54 mm，这一特性会导致低温条件下光学系统的光线传播发生改变，最终导致光学系统成像质量发生变化。后续优化可以此为依据，以减小温度变化带来的反射镜位置的变化。
图 9显示了光机系统在不同温度条件下的点列图分布情况，20℃默认为常温条件，光机系统点列图的均方差为5.0 μm，－40℃温度条件下，光机系统点列图的均方差为44.4 μm，+60℃温度条件下光机系统的点列图均方差为34.1 μm。该光学系统在低温条件下像面的漂移情况比高温下更严重，后续的结构优化可以将点列图的均方值作为一个优化目标，以实现更高热稳定性的光学系统的优化设计。
4. 结论
本文基于COMSOL有限元仿真软件，通过同时考虑固体传热物理场、固体力学物理场和几何光学物理场，开展了离轴四反光学系统在不同环境温度条件下的结构变形及光学性能变化情况的仿真研究，提出了一种适用于离轴四反光学系统的多物理场耦合仿真建模方法。通过仿真分析发现，环境温度的变化会引起光学支撑结构和光学表面发生形变，且形变量的大小与温差成正相关；光学系统的变形趋势皆以固定约束区域为中心进行膨胀或收缩，可以用过增加部分区域的刚度实现光学系统热稳定性的提高；该光学系统在不同温度下，最佳聚焦位置会产生漂移，可通过增加调焦机构对像面位置进行调节，以提升光学系统的成像质量；通过仿真分析证明了该仿真建模方法相较于传统仿真建模方法减少了不同软件之间的数据处理和数据传输，进一步简化了仿真过程并且提高了一体化仿真程度，为进一步深入了解光学系统在不同温度下的变形情况、成像性能以及光学系统性能优化提供了一种有效手段。
-
![]()
图 7 场景一不同算法的增强效果对比图
Figure 7. Enhanced comparison of scene one by different algorithms
![]()
图 9 场景三不同算法的增强效果对比
Figure 9. Enhanced comparison of scene three by different algorithms
![]()
图 10 场景四不同算法的增强效果对比
Figure 10. Enhanced comparison of scene four by different algorithms
表 1 各种语义分割模型在Cityscapes数据集上的参数、精度、运行时间分析
Table 1 Parameters, accuracy and time analysis of various semantic segmentation models Cityscapes dataset
Method Parameter(M) MIoU/(%) Time/ms SegNet 29.5 56.1 89.2 ENet 0.4 58.3 19.3 PSPNet 65.6 73.6 > 1000 RefineNet 118.4 78.4 > 1000 CGNet 0.5 64.8 56.8 
下载: 导出CSV
-
[1] 石川凌. 海陆场景的红外实时仿真研究[D]. 杭州: 浙江大学, 2016. SHI Chuanling. Study on Infrared Real-time Simulation of Sea-land Scene[D]. Hangzhou: Zhejiang University, 2016.
[2] 曾庆杰. 红外成像中图像质量提升算法研究[D]. 西安: 西安电子科技大学, 2021. ZENG Qingjie. Research on Image Quality Improvement Algorithm in Infrared Imaging[D]. Xi 'an: Xidian University, 2021.
[3] William K. Pratt. Introduction to Digital Image Processing[M]. Taylor and Francis: CRC Press, 2013.
[4] Jain A. Fundamentals of digital image processing[J]. Computer Vision, Graphics, and Image Processing, 1989, 46(3): 400-400.
[5] Yeong-Taeg Kim. Contrast enhancement using brightness preserving bi-histogram equalization[J]. IEEE Transactions on Consumer Electronics, 1997, 43(1): 1-8. DOI: 10.1109/30.580378
[6] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5): 889-96. DOI: 10.1109/83.841534
[7] YANG Maoxiang, TANG Guijin, LIU Xiaohua, et al. Low-light image enhancement based on Retinex theory and dual-tree complex wavelet transform[J]. Optoelectronics Letters, 2018, 14(6): 470-475. DOI: 10.1007/s11801-018-8046-5
[8] Zuiderveld K. Contrast limited adaptive histogram equalization[J]. Graphics Gems, 1994: 474-485.
[9] Suharyanto, Hasibuan Z A, Andono P N, et al. Contrast limited adaptive histogram equalization for underwater image matching optimization use SURF[J]. Journal of Physics, 2021, 1803(1): 012008.
[10] Ali M Reza. Realization of the contrast limited adaptive histogram equalization(CLAHE) for real-time image enhancement[J]. The Journal of VLSI Signal Processing, 2004, 38(1): 35-44. DOI: 10.1023/B:VLSI.0000028532.53893.82
[11] Arici Tarik, Dikbas Salih, Altunbasak Yucel. A histogram modification framework and its application for image contrast enhancement[J]. IEEE Transactions on Image Processing, 2009, 18(9): 1921-1935. DOI: 10.1109/TIP.2009.2021548
[12] Kim Wonkyun, You Jongmin, Jeong Jechang. Contrast enhancement using histogram equalization based on logarithmic mapping[J]. Optical Engineering, 2012, 51(6): 067002-1-067002-10. DOI: 10.1117/1.OE.51.6.067002
[13] WU T, TANG S, ZHANG R, et al. CGNet: a light-weight context guided network for semantic segmentation[J]. IEEE Transactions on Image Processing, 2021, 30: 1169-1179. DOI: 10.1109/TIP.2020.3042065
[14] Badrinarayanan Vijay, Kendall Alex, Cipolla Roberto. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495. DOI: 10.1109/TPAMI.2016.2644615
[15] CHEN Soong-Der, Ramli Abd Rahman. Contrast enhancement using recursive mean-separate histogram equalization for scalable brightness preservation[J]. IEEE Trans. Consumer Electronics, 2003, 49(4): 1301-1309. DOI: 10.1109/TCE.2003.1261233
[16] 刘程威. 红外成像系统架构及图像处理关键技术研究[D]. 南京: 南京理工大学, 2020. LIU Chengwei. Research on Infrared Imaging System Architecture and Image Processing Key Technologies[D]. Nanjing: Nanjing University of Science and Technology, 2020.
[17] Pizer S M, Amburn E P, Austin J D, et al. Adaptive histogram equalization and its variations[J]. Computer Vision, Graphics, and Image Processing, 1987, 39(3): 355-368. DOI: 10.1016/S0734-189X(87)80186-X
[18] LI C, XIA W, YAN Y, et al. Segmenting objects in day and night: edge-conditioned CNN for thermal image semantic segmentation[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 32(7): 3069-3082.
[19] Silva Eric A, Panetta Karen, Agaian Sos S. Quantifying image similarity using measure of enhancement by entropy[J]. Mobile Multimedia/Image Processing for Military and Security Applications, 2007, 6579: 65790U-65790U-12. DOI: 10.1117/12.720087
[20] ZHANG Yujin. Handbook of Image Engineering[M]. Singapore: Springer, 2021.
[21] GAO Ce, YUN Lijun, WANG Kun, et al. Infrared image enhancement method based on discrete stationary wavelet transform and CLAHE[C]//IEEE International Conference on Computer Science and Educational Informatization(IEEE CSEI 2019), 2019: 52: DOI: 10.1109/CSEI47661.2019.8938871.
[22] Gonzalez R C, Woods R E. Digital Image Processing[M]. Singapore: Pearson Prentice Hall, 2002: 75-215.
[23] KIM Yeong-Taeg. Contrast enhancement using brightness preserving bi-histogram equalization[J]. IEEE Transactions on Consumer Electronics, 1997, 43(1): 1-8. DOI: 10.1109/30.580378
[24] Turgay Celik. Two-dimensional histogram equalization and contrast enhancement[J]. Pattern Recognition, 2012, 45(10): 3810-3824. DOI: 10.1016/j.patcog.2012.03.019
计量
- 文章访问数: 342
- HTML全文浏览量: 99
- PDF下载量: 78
