Infrared Image Non-uniformity Correction Algorithm Based on Full Convolutional Network
-
摘要: 针对红外成像系统在经过两点校正后，随时间漂移仍然会出现的非均匀性噪声，提出一种基于全卷积深度学习网络的红外图像非均匀性校正算法，使用子网络与主网络相结合的方式进行非均匀性校正。该算法设计了非均匀性等级估计子网络，将含有非均匀性噪声的红外图像输入子网络后，输出非均匀性等级估计图，并和待校正红外图像一并输入校正主网络。子网络生成的非均匀性等级估计图作为一个参数输入校正主网络，避免了网络只针对同一等级非均匀性产生过拟合。经过实验验证，该算法克服了传统的基于场景的算法所产生的边缘模糊问题，对条纹状非均匀性噪声校正效果较好，经过校正后的红外图像清晰度高、细节丰富、边缘清晰、图像质量良好。
-
关键词:
- 非均匀性等级估计子网络 /
- 红外图像 /
- 非均匀性校正 /
- 深度学习
Abstract: The infrared imaging system will still exhibit non-uniform noise after two-point correction. An infrared image non-uniformity correction algorithm based on a fully convolutional deep learning network was proposed in response to this problem. This algorithm combines the subnetwork and main network for non-uniformity correction. The network contains a nonuniformity-level estimation subnetwork. After inputting the infrared image with non-uniform noise into the non-uniformity level estimation subnetwork, the outputted non-uniformity level estimation map is input into the main network together with the original noise infrared image. The non-uniformity level estimated map generated by the subnetwork prevents the network from overfitting only for the non-uniformity of the same grade. After experimental verification, the algorithm overcomes the problem of edge blur generated by the scene-based algorithm. The algorithm will not appear blurred, the images have high definition and rich details, and the quality of images is good. -
0. 引言
离轴四反光学系统具有多光合一的特点，符合机载观瞄系统未来发展的方向，已成为国内外相关领域研究的热点[1]。离轴反射式成像系统相较于传统成像系统更容易实现大口径、长焦距的设计目标，并且能实现多种波段的宽光谱范围的共口径多光合一成像，也不存在中心遮挡问题[2]，是一种较优的多光合一机载观瞄系统的解决方案[3]。黄辰旭等人设计了基于自由曲面的大视场离轴四反光学系统[4]，其成像质量接近衍射极限；操超等人设计了一种基于自由曲面的大视场离轴反射光学系统[5]，所采用的设计方法可以降低大视场自由曲面离轴反射光学系统的设计难度；丁学专等人设计了一种离轴四反射镜光学系统[6]，达到很好的光学性能。
然而离轴四反光学系统对其自由曲面反射面的面型精度和空间姿态要求较高，温度变化会导致其反射面的面型和空间姿态发生变化，最终导致光学系统的光学性能不能达到设计目标[7-8]。
因此针对离轴四反光学系统进行光机热仿真分析，可以预测光学系统在不同环境条件下的变形情况及光学性能，从而针对该系统进行结构优化，进一步提高光学系统在极端条件下工作的稳定性[9-10]。
然而传统的光机热仿真分析需要将光学系统的光学表面热变形结果进行面型拟合，将拟合结果导入光学仿真软件中，在光学软件中进行该光学系统的光学性能仿真。整个过程涉及多个软件间的数据传输和转换，导致仿真过程受到面型拟合误差和数据传输误差的影响，并且针对不同的软件编写接口程序也会进一步延长仿真分析时间和成本[11-16]。
本文基于多物理场有限元仿真软件COMSOL Multiphysics（以下称COMSOL），提出了一种光机热多物理场耦合建模方法，实现了光学系统的光机热一体化仿真分析。
1. 光机热仿真分析流程
本文的光机热仿真模型的分析流程如图 1所示，以一种离轴四反光学系统为例，根据光学设计与机械结构设计的结果，利用三维建模软件建立其三维光机模型。然后将模型导入有限元仿真分析软件COMSOL中进行模型的简化，以提高模型的收敛性和时效性。随后生成装配体有限元模型，并添加固体传热物理场、固体力学物理场和几何光学物理场进行多物理场耦合仿真，该仿真模型可以模拟不同温度条件下的光机结构的变形和应力分布情况，并且可进行热变形后的光学系统的光线追迹仿真，得到光学系统点列图和像差图的变化情况。
2. 多物理场耦合模型建模与仿真
2.1 几何模型与材料
由图 2可知，该光学系统主要包含离轴四反光学系统、可见光成像系统、短波成像系统以及中波成像系统，其中，离轴四反光学系统的设计主要是为了实现机载光学系统的多波段、大口径、小型化和轻量化方向的目标，并提高光学系统优化自由度以及像差平衡能力。
![]()
图 2 离轴四反共体三光合一光学系统Figure 2. Off-axis four-reflection catadioptric tri-light fusion optical system由于光学系统在仿真原理上具有相似性，所以本文仅以离轴四反光学系统为研究对象，意义在于提出一种新的光机热多物理场耦合仿真建模方法，为光机热一体化仿真提供一种新的解决思路，本团队后续会进行多轮的试验测试以验证该方法的有效性。
离轴四反光学系统的结构如图 3所示，该光学系统采用一体化加工技术进行制作，免去了反射镜的装调工作。该模型涉及到几何光学、固体力学以及固体传热学，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光线追迹判断结构热变形后的模型光学性能的变化。光学系统的材料采用材料库中的Aluminum 3003-H18材料，其属性为热膨胀系数23.2e-6 K−1、恒压热容893 J/(kg⋅K)、相对介电常数1、密度2730 kg/m3、导热系数155 W/(m⋅K)、杨氏模量69e9 Pa、泊松比0.33。该模型的默认初始温度为293.15 K。
2.2 网格
整个离轴四反光学系统在不同的区域采用了不同大小的四面体网格，用以平衡计算效率和精算精度，网格结果如图 4所示。
在几何光学仿真过程中，当光线接触到表面的边界网格中的网格元素时，它们会与表面相互作用。当光线需要关于它们所击中表面的信息时，例如控制反射和折射光线方向的表面法线方向，这些信息也会在边界网格上进行评估。因此，拥有一个高质量的网格是高精度模拟光学系统性能的重要前提。
由于本模型存在4个自由曲面，表面曲率不一致，所以不能通过粗网格进行表面模拟，需要针对自由曲面进行网格细化操作，以至于网格很好地贴合自由曲面。
本模型的网格通过针对自由曲面表面添加网格大小限制工具，对非规则的表面进行网格细化，最后添加自由四面体网格工机针对其余非敏感区域进行网格划分，从而实现了光学仿真精度和模型计算难度的平衡。
通过网格信息统计工具进行网格质量分析，由图 5(a)可知，整个光学系统的平均网格质量为0.6654，其中1表示理想和优化的网格，0代表退化网格元素。针对反射表面进行网格分析如图 5(b)所示，平均网格质量为0.9337，由此可知，高质量网格比例较高并且分布在光学敏感表面，其余区域通过大体积网格减少计算成本，从而实现一个较优的仿真模型网格。
2.3 多物理场
本模型涉及固体力学物理场、固体传热学物理场和几何光学物理场，通过固体力学提供一定位置约束，固体传热学提供模型的指定温度，并导致模型产生热膨胀变形，几何光学通过光学追迹判断结构热变形后的模型光学性能的变化。
1）固体力学物理场
固体力学物理场可以提供光机系统的力学性能仿真，为后续与热学仿真耦合实现热膨胀及热应力构建基础。本模型将系统的温度变化过程看作多个稳态过程的间断变化，所以固体力学模块的仿真是基于稳态的仿真。
固体力学模型的物体形变、位移是通过空间坐标(x, y, z)表示，空间坐标在初始条件下与材料坐标(X, Y, Z)完全重合，在模型发生形变和位移时，模型的变形和位移按照下述公式表示：
$$x=x(X, t)=X+u(X, t)$$ (1) 式中：x表示空间坐标的x分量；X表示材料坐标的X分量；u代表材料坐标在X方向上的变形量；t代表时间尺度。
由于本模型是一个小变形和有限变形的结构分析模型，所以其分析过程遵循拉格朗日动力方程，计算方程为：
$$ 0={\mathit{\nabla}} \cdot ({\mathit{\boldsymbol{FS}}})^{\text{T}}+{\mathit{\boldsymbol{F}}}v $$ (2) $$ F = I + \nabla u = I + \frac{{\partial u}}{{\partial X}} $$ (3) 式中：F表示模型的变形梯度；S表示模型的位移场；v表示速度；I表示模型张量。
由于整个光学系统并不存在运动和旋转，所以不需要包含惯性项，因此固体力学模块中的结构瞬态特性设置为准静态；由于光学系统需要有一个固定位置以保证系统的稳定性，所以通过边界固定约束的方式提供一个光学系统的固定位置。
2）固体传热学物理场
固体传热物理场可以提供光机系统的热学性能仿真，为后续与力学耦合实现热膨胀及热应力构建基础。
由于本模型仿真的是多个连续稳态的温度情况，即：
$$ T = {T_0} + \frac{{\int q \cdot {\rm{d}}t}}{k} $$ (4) $$ \rho {C_{\rm{P}}}u \cdot \nabla T + \nabla \cdot q = Q + {Q_{{\text{ted}}}} $$ (5) $$q=-k {\mathit{\nabla}} T$$ (6) 式中：T代表设定温度；T0代表初始温度；q代表热通量；t代表时间；k代表导热系数；ρ代表模型的密度；Q代表热源；Qted热弹性阻尼。由于本模型的传热过程是多个稳态过程，不存在热源，所以式(4)的后项的值为0。
本模型的初始温度设置为293.15 K，通过添加温度边界条件以实现光学系统处于不同环境温度的目的，温度的值设置temp，temp为一个全局温度变量，后续通过参数化扫描方式实现光机系统由－40℃~+60℃的温度变化。
3）几何光学物理场
几何光学物理场可以提供光机系统的光学性能仿真，实现光机系统的热变形前后的光学性能对比，以评估光机系统是否满足设计指标，并为后续的光机系统优化奠定基础。
几何光学的射线跟踪算法是通过几何光学界面求解单个射线的位置和波矢量，当光线与表面相互作用时，判断表面属性，具体有镜面反射、漫反射、折射和几种不同类型的吸收，计算方程如下所示：
$$ \frac{{{\rm{d}}q}}{{{\rm{d}}t}} = \frac{{\partial \omega }}{{\partial k}} $$ (7) $$ \frac{{{\rm{d}}k}}{{{\rm{d}}t}} = - \frac{{\partial \omega }}{{\partial q}} $$ (8) 式中：q代表射线的空间位置；t代表时间；k代表波矢量；ω代表角频率。
本模型仅模拟单色光成像性能，所以几何光学物理场的释放射线的波长分布设置为单色，然后针对四面反射镜表面添加全反射属性，由于本模型的研究内容忽略了光线传输过程中的杂散光，所以针对多自由曲面共体光学系统的表面（除了4个反射镜表面），添加壁属性并设置为消失，即光线到达该类表面就被全吸收。添加一个六边环形格栅光源，光源中心位置qc和圆柱周向rc可根据实际模型需要自行设置，用以控制入射光线的特点。
3. 仿真结果及分析
该光学系统的系统温度由－40℃逐渐变化到+60℃，由于材料的热胀冷缩原理并且光学系统的底部有强约束的存在，所以会在约束区域产生如图 6所示的应力集中情况，并且由于光学系统底部存在一个方形槽（用于放置后端成像光学系统），所以该区域会存在较为明显的应力集中情况，但是由于约束区域的强度足够，所以应力集中对于整个系统稳定性的影响很小。
图 7显示了该系统的热变形情况，由于光学系统整体变形量较小，为了较为清晰地看到光学系统的变形，图片针对变形结果做了一定比例的放大，其中线框图为光学系统变形前的结构。由图可知，在温度T=＝－40℃条件下光学系统以固定约束点为中心进行收缩，最大位移达到了0.336 mm；在温度T＝+60℃条件下光学系统以固定约束点为中心进行膨胀，最大位移达到了0.225 mm。
图 8显示了光学系统第一反射表面在高低温条件下的变形情况，黑色线框代表常温条件下的几何形状，彩色区域代表不同温度条件下的变形情况。以低温T＝－40℃为例，当温度降低时，第一反射镜表面整体向下，最大位移量达到0.54 mm，这一特性会导致低温条件下光学系统的光线传播发生改变，最终导致光学系统成像质量发生变化。后续优化可以此为依据，以减小温度变化带来的反射镜位置的变化。
图 9显示了光机系统在不同温度条件下的点列图分布情况，20℃默认为常温条件，光机系统点列图的均方差为5.0 μm，－40℃温度条件下，光机系统点列图的均方差为44.4 μm，+60℃温度条件下光机系统的点列图均方差为34.1 μm。该光学系统在低温条件下像面的漂移情况比高温下更严重，后续的结构优化可以将点列图的均方值作为一个优化目标，以实现更高热稳定性的光学系统的优化设计。
4. 结论
本文基于COMSOL有限元仿真软件，通过同时考虑固体传热物理场、固体力学物理场和几何光学物理场，开展了离轴四反光学系统在不同环境温度条件下的结构变形及光学性能变化情况的仿真研究，提出了一种适用于离轴四反光学系统的多物理场耦合仿真建模方法。通过仿真分析发现，环境温度的变化会引起光学支撑结构和光学表面发生形变，且形变量的大小与温差成正相关；光学系统的变形趋势皆以固定约束区域为中心进行膨胀或收缩，可以用过增加部分区域的刚度实现光学系统热稳定性的提高；该光学系统在不同温度下，最佳聚焦位置会产生漂移，可通过增加调焦机构对像面位置进行调节，以提升光学系统的成像质量；通过仿真分析证明了该仿真建模方法相较于传统仿真建模方法减少了不同软件之间的数据处理和数据传输，进一步简化了仿真过程并且提高了一体化仿真程度，为进一步深入了解光学系统在不同温度下的变形情况、成像性能以及光学系统性能优化提供了一种有效手段。
-
![]()
图 1 基于全卷积网络的特征算法实施流程
Figure 1. Algorithm of features based on fully convolutional network flow chart
表 1 子网络参数
Table 1 Parameters of the subnetwork
Layer Filters Input Output Conv 3×3×32 256×256×1 256×256×32 Conv 3×3×32 256×256×32 256×256×32 Conv 3×3×32 256×256×32 256×256×32 Conv 3×3×1 256×256×32 256×256×1 
下载: 导出CSV
表 2 校正主网络参数
Table 2 Parameters of main network
Layer Filters Input Output Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×64 256×256×64 256×256×64 Conv 3×3×1 256×256×1 256×256×1
下载: 导出CSV
表 3 各算法平均PSNR和SSIM
Table 3 PSNR and SSIM of each algorithm
Algorithm BFTH MHE DLS DMRN Ours PSNR/dB 32.93 33.92 34.39 34.86 35.90 SSIM 0.828 0.858 0.887 0.903 0.928
下载: 导出CSV
表 4 各算法平均粗糙度
Table 4 Roughness of each algorithm
Algorithm BFTH MHE DLS DMRN Ours ρ 0.107 0.072 0.064 0.058 0.049
下载: 导出CSV
-
[1] ZHOU Huixin, LI Qing, LIU Shangqian, et al. Nonuniformity and its correction principle of infrared focal plane arrays[J]. Laser & Infrared, 2003, 3(6): 46-48. http://www.researchgate.net/publication/293264376_Nonuniformity_and_its_correction_principle_of_infrared_focal_plane_arrays
[2] Scribner D A, Sarkady K A, Kruer M R, et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks[C]// International Society for Optics and Photonics, 1991: 100-109.
[3] ZUO C, CHEN Q, GU G, et al. New temporal high-pass filter nonuniformity correction based on bilateral filter[J]. Optical Review, 2011, 18(2): 197-202. DOI: 10.1007/s10043-011-0042-y
[4] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]. Optical Review, 2010, 17(1): 24-29. DOI: 10.1007/s10043-010-0005-8
[5] Harris J G, Chiang Y M. Nonuniformity correction using the constant-statistics constraint: analog and digital implementations[C]// Proceedings of SPIE - The International Society for Optical Engineering, 1997, 3061: 895-905.
[6] KUANG Xiaodong, SUI Xiubao, CHEN Qian, et al. Single infrared image stripe noise removal using deep convolutional networks[J]. IEEE Photonics Journal, 2017, 9(4): 1-13. http://www.onacademic.com/detail/journal_1000039958065210_b903.html
[7] 赵春晖, 刘振龙. 改进的红外图像神经网络非均匀性校正算法[J]. 红外与激光工程, 2013, 42(4): 1079-1083. DOI: 10.3969/j.issn.1007-2276.2013.04.044 ZHAO Chunhui, LIU Zhenlong. Improved infrared image neural network non-uniformity correction algorithm[J]. Infrared and Laser Engineering, 2013, 42(4): 1079-1083. DOI: 10.3969/j.issn.1007-2276.2013.04.044
[8] 张龙, 董峰, 傅雨田. 基于神经网络的红外图像非均匀性校正[J]. 红外技术, 2018, 40(2): 164-169. http://hwjs.nvir.cn/article/id/hwjs201802011 ZHANG Long, DONG Feng, FU Yutian. Non-uniformity correction for infrared image using neural networks[J]. Infrared Technology, 2018, 40(2): 164-169. http://hwjs.nvir.cn/article/id/hwjs201802011
[9] MOU Xingang, LU Junjie, ZHOU Xiao, et al. Single frame infrared image adaptive correction algorithm based on residual network[C]//The 11th International Symposium on Photonics and Optoelectronics(SOPO), 2018: 17-23.
[10] 牟新刚, 陆俊杰, 周晓. 基于残差编解码网络的红外图像自适应校正算法[J]. 红外技术, 2020, 42(9): 833-839. http://hwjs.nvir.cn/article/id/hwjs202009004 MOU Xingang, LU Junjie, ZHOU Xiao. Adaptive correction algorithm of infrared image based on encoding and decoding residual network[J]. Infrared Technology, 2020, 42(9): 833-839. http://hwjs.nvir.cn/article/id/hwjs202009004
[11] HE Zewei, CAO Yanpeng, DONG Yafei, et al. Single-image-based nonuniformity correction of uncooled long-wave infrared detectors: a deep-learning approach[J]. Applied Optics, 2018, 57(18): 155-164 DOI: 10.1364/AO.57.00D155
[12] ZHANG Kai, ZUO Wangmeng, ZHANG Lei. Ffdnet: Toward a fast and flexible solution for CNN based image denoising[C]//IEEE Transactions on Image Processing, 2017: 4608-4622.
[13] GUO Shi, YAN Zifei, ZHANG Kai, et al. Toward convolutional blind denoising of real photographs[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 1712-1722.
[14] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]//International Conference on Machine Learning, 2015: 448-456.
[15] QIAN W, CHEN Q, GU G. Space low-pass and temporal high-pass nonuniformity correction algorithm[J]. Optical Review, 2010, 17(1): 24-29. DOI: 10.1007/s10043-010-0005-8
[16] CHANG Y, YAN L, LIU L, et al. Infrared Aerothermal nonuniform correction via deep multiscale residual network[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(7): 1120-1124. DOI: 10.1109/LGRS.2019.2893519
计量
- 文章访问数: 327
- HTML全文浏览量: 97
- PDF下载量: 96
