An Algorithm for Low-Light Image Enhancement in Coal Mines Based on HSV Space
-
摘要: 针对煤矿井下采集到的图像对比度低、光照不均和细节信息弱等问题，提出一种基于色相-饱和度-明度（Hue-Saturation-Value，HSV）颜色空间的煤矿井下低光照图像增强方法。该方法基于图像的HSV空间，通过对低光照图像的亮度通道V通道的主要结构和边缘细节分别进行对比度增强，这样可以更好地抑制图像细节丢失，同时可以较好地再现原图中的轮廓和纹理细节。首先，将输入的煤矿井下低光照图像转换到HSV空间，利用相对全变分滤波（RTV）与改进的边窗滤波（SWF），分别对提取的V通道图像进行主要结构提取和轮廓边缘保留，对其非线性灰度拉伸后利用主成分分析融合技术（PCA）重构V通道图像，即融合V通道图像的主要结构和精细结构，最后合成图像，完成图像增强。通过实验验证，提出的基于HSV空间的煤矿井下低光照图像增强方法，在色彩和边缘模糊处理等方面表现良好，在煤矿井下工作面等环境中，对图像进行定量和定性实验，结果表明，与6种方法相比，增强图像的对比度、自然度和图像细节方面表现更好。Abstract: A low light image enhancement method based on HSV space is proposed to address the issues of low contrast, uneven lighting, and weak detail information in images collected underground in coal mines. This method is based on the Hue-Saturation-Luminance(HSV) color space of the image, and enhances the contrast of the main structure and edge details of the brightness channel V channel in low light images. This can better suppress image detail loss and reproduce the contour and texture details in the original image. Firstly, the input low light image of the coal mine underground is converted into HSV space, and the main structure and contour edges of the extracted V-channel image are extracted and preserved using relative total variation filtering (RTV) and improved side window filtering (SWF). After nonlinear grayscale stretching, principal component analysis fusion technology (PCA) is used to reconstruct the V-channel image, which fuses the main structure and fine structure of the V-channel image. Finally, the image is synthesized, Complete image enhancement. Through experimental verification, the proposed low light image enhancement method for coal mine underground based on HSV space performs well in color and edge blur processing. Quantitative and qualitative experiments were conducted on images in environments such as coal mine underground working faces. The results show that compared with the six algorithms, the proposed method performs better in improving image contrast, enhancing image naturalness, and restoring image details.
-
Keywords:
- image enhancement /
- HSV space /
- coal mine /
- low-light image /
- relative total variational /
- side window filtering
-
0. 引言
星敏感器是当前广泛应用的天体敏感器[1-2]，其工作环境必然会受到安装面温度变化等影响，光机结构的热变形会导致镜片面型变化，从而影响光学系统成像质量下降[3-4]，会对弥散斑产生较大的影响，为了保证系统的成像质量，需要对结构完成光机热集成分析，分析环境温度对镜头的影响[5]。
随着航天事业的发展，星敏感器已经广泛应用于多种场合[6]，由于我国星敏感器研究起步较晚，国内对长焦距大口径星敏感器的研究相对较少，孟祥月[7]等研制了焦距50 mm，入瞳直径40 mm的星敏感器。孙东起[8]等人研制了一种焦距200 mm，入瞳直径125 mm的双高斯光学系统的长焦距星敏感器。伍雁雄[9]等研制了焦距200 mm，入瞳直径100 mm的高精度星敏感器。
本文设计了一种大口径热不敏星敏感器，光学系统焦距900 mm，入瞳直径200 mm，光谱范围450~750 nm，通过光机热集成分析方法对系统进行热分析，通过将Nastran计算的主次镜表面节点刚体位移代入Sigfit光机热耦合软件进行Zernike多项式拟合，再将主次镜表面Zernike系数导入Zemax光学设计软件中，分析了由于温度变化导致的光机结构刚体位移等变化。
1. 光机设计
1.1 热不敏光学系统
光学系统参数：焦距范围为900 mm，入瞳直径D≥200 mm，光谱范围为470~900 nm，在热不敏光学系统安装面温度为20℃±5℃时，其光轴偏角优于1″，0.8视场下80%能量集中在9.2~18.4 μm之间。光学系统结构如图 1所示，0.8视场下各波段圈入能量曲线如图 2所示，可以看出满足80%能量集中时，弥散斑直径满足指标要求。
![]()
图 2 0.8视场各波段弥散斑包围能量曲线Figure 2. Surrounding energy curves of scattered spots in various bands of 0.8 field of view1.2 结构设计
本系统采用改进型卡式系统，为保证主镜和后接透镜组的同轴度，选用中心固定形式，主镜材料选用微晶玻璃，为达到热不敏效果，减少温度变化对结构的影响，主镜轴材料应选用与主镜材料热膨胀系数相近的殷钢，主镜通过胶层与主镜轴固定连接，主镜轴作为整个系统的连接构件，具有一定的刚性，而胶层的柔性能够很好的减少重力、温度等对主镜产生的变形影响，主镜结构如图 3所示。
次镜是非常敏感的光学构件，微小的变化都会带来很大影响，并且支架的大小直接影响光学系统的中心遮挡大小，为保证结构稳定、中心遮挡小以及减小加工难度等原因采用三片殷钢片连接主次镜，能够有效减少温度等因素引起的主次镜间距的变化，支撑结构如图 4所示。
透镜组通过压圈固定方式保证镜片间间距，镜筒材料采用A704能够减轻结构质量，并且在后端机械结构上留有两个接口方便后续探测器接入，系统整体结构如图 5所示。
2. 光机热集成分析
在本系统中，主次镜结构的稳定性对成像质量的影响最大，本次分析只对主次镜结构进行仿真，分析目的是验证主次镜结构在20±5℃范围内是否满足光学系统设计指标要求。
2.1 建立有限元模型
通过MSC.Patran建立模型如图 6所示，整个模型采用手工划分网格的方法，控制网格疏密，使得计算结果更加精确，模型主要六面体单元及少量的五面体建模，共有单元数12172个，节点数18707个，结构有限元建模计算中主次镜及支撑结构的材料及其属性参数如表 1所示。
表 1 选用材料属性参数Table 1. Selected material property parametersMaterial Elasticity modulus Ea/MPa Poisson ratio μ Density ρ/(103 kg/m3) CTE α/
(10－6mm/℃)Invar 141000 0.25 8.1 0.2 TC4 114000 0.29 4.4 8.9 Microcrystalline glass 90600 0.24 2.53 0.5 D04 RTV 850 0.40 1.15 236 按照指标要求的环境温度25℃，对主次镜模型施加温度载荷，利用Nastran软件计算得到刚体位移结果，主次镜刚体位移云图如图 7所示，可以看出主镜最大轴向位移为0.228 μm，次镜最大轴向位移为0.986 μm，目前来看热变形结果还在可控范围内。
利用光机热耦合工具Sigfit输入系统主次镜的曲率半径、主次镜表面节点位置数据、热变形后主次镜表面节点变化数据等进行拟合。温度为25℃时，Sigfit拟合得到的Zernike多项式系数[10]如表 2所示。
表 2 Zernike系数Table 2. Zernike coefficientSerial number Expression Value (The main mirror) Value(The secondary mirror) 1 1 1.53E-05 7.30E-06 2 ρcosθ 6.47E-10 1.15E-08 3 ρsinθ 4.36E-10 1.09E-11 4 2ρ2－1 -1.07E-04 1.26E-05 5 ρ2cos2θ -8.13E-08 -1.41E-10 6 ρ2sin2θ 4.33E-08 2.76E-10 7 (3ρ2－2ρ)cos2θ 3.62E-09 1.74E-11 8 (3ρ2－2ρ)sin2θ 5.39E-09 -1.85E-08 9 6ρ4－6ρ2+1 3.63E-06 -3.7E-08 将主次镜的Zernike多项式系数导入Zemax光学设计软件中，即可得到系统弥散斑直径以及光轴的变化，图 8给出了在环境温度25℃，0.8°视场下各波段的圈入能量曲线图，由图中信息可知，各波段80%能量弥散斑直径集中在9.2~18.4 μm之间，与图 2对比可知在温度的影响下，各波段的弥散斑直径也会增大。同时由图 9得到波前RMS（Root-Mean-Square）值为0.035λ＜1/12λ，成像质量良好，调用评价函数RAID指令，在0°视场入射光线与像面法线夹角可以近似为光轴偏角约为0.033″优先于1″。
2.2 装调测试
为检验光机热集成分析的准确性以及光机设计的合理性，设置实验室20±5℃的温度条件下，进行光学系统主镜、次镜以及透镜组系统装调，主镜及透镜组利用三坐标进行检测装调，保证其位置精度，然后利用干涉仪进行次镜的装调工作，系统整体装调结构如图 10所示。
在实验室室温25℃下，系统装调后的轴上视场波像差如图 11所示，RMS值为0.08λ，所测得RMS值与有限元分析结果相差很小，分析实例验证了本系统分析方法的有效性。
2.3 系统性能测试
本次测试温度环境分别设为15℃、20℃、25℃，采用平行光管照射，镜头放置在精密旋转的调整台上，通过对镜头的成像光斑与能量分布进行分析获得弥散斑，检测图如图 12所示，记录3组数据取平均值最终结果如图 13所示，由此可见各波段均符合在0.8视场下集中80%能量时，弥散斑直径在9.2~18.4 μm区间的指标要求。
在20±5℃温度范围内，通过对0°视场像点观测，由公式(1)可知：
$$ \frac{a}{f} \times \frac{{180^\circ }}{{\text{π }}} \times 3600 < 1'' $$ (1) 式中：像元大小a为4.6 μm，焦距f为900 mm，经过计算只要像点偏移小于一个像元即可认为光轴偏角优于1″。经过观察，像点最大位移小于一个像元，故可以判断光轴偏角优于1″，满足指标要求。通过对弥散斑直径以及光轴漂移量的检测结果与仿真分析结果对比发现光机热集成分析具有可靠性，所以有必要对系统进行光机热集成分析以快速检验设计的系统是否满足指标。
3. 结论
本文通过对热不敏光学系统进行结构设计，并对结构进行有限元分析，结合光机热集成分析方法，通过sigfit计算出在20±5℃下主次镜RMS值为0.13λ，将拟合得到的Zernike系数代入光学设计软件Zemax中进行仿真模拟，设计结果表明光轴偏角为0.023″优于1″，波前RMS值为0.035λ，圈入能量80%集中度弥散斑直径在9.2~18.4 μm之间，最终进行装调检测，结果显示系统轴上视场波像差RMS值为0.08λ，实现弥散斑能量80%集中度的直径在9.2~18.4 μm内，像点最大位移小于一个像元，光轴偏角优先于1″，满足项目设计指标要求。该分析方法能够准确地验证系统是否满足指标要求，极大地缩短了研制周期，能够对系统性能进行有效的评估，同时可以将该方法运用到其他光学系统光机热集成分析中。
-
![]()
图 1 基于HSV空间的煤矿下低光照图像增强方法整体框架
Figure 1. Overall framework of low-light image enhancement method under coal mine based on HSV space
![]()
图 2 SWF滤波8个方向的侧窗定义图
Figure 2. SWF filter side window 8 direction side window definition
![]()
图 5 煤矿井下低光照图像增强效果
Figure 5. Enhancement effect of low light image in coal mine underground
![]()
图 6 煤矿井下低光照图像的NIQE值折线图
Figure 6. The NIQE value line of low light images in coal mine underground
![]()
图 8 Mine-data测试图像各方法增强结果的PSNR和SSIM
Figure 8. PSNR and SSIM of the enhancement results of various methods for Mine-data test images
表 1 Mine-data矿井下图像质量指标数据比较
Table 1 Comparison of mine-data image quality index data in underground mines
Metrics Dong BIMEF LIME Retinex-Net MBLLEN Zero-DCE Ours PSNR↑ 19.84 14.73 13.31 18.38 20.25 20.55 20.73 SSIM↑ 0.76 0.42 0.43 0.77 0.76 0.88 0.91 NIQE↓ 4.06 3.78 3.65 4.42 4.87 3.84 3.57 Note：Bold data is optimal. Blue data is suboptimal. 
下载: 导出CSV
-
[1] 钱鸣高, 许家林, 王家臣. 再论煤炭的科学开采[J]. 煤炭学报, 2018, 43(1): 1-13. QIAN M, XU J, WANG J. Further on the sustainable mining of coal[J]. Journal of China Coal Society, 2018, 43(1): 1-13.
[2] 王满利, 张航, 李佳悦, 等. 基于深度神经网络的煤矿矿井下低光照图像增强算法[J/OL]. 煤炭科学技术: 1-13. [3-03-27]. https://doi.org/10.13199/j.cnki.cst.2022-1626. WANG M, ZHANG H, LI J, et al. Deep neural network-based image enhancement algorithm for low-illumination images underground coal mines [J/OL]. Coal Science and Technology: 1-13. [2023-03-27]. https://doi.org/10.13199/j.cnki.cst.2022-1626.
[3] 田子建, 王满利, 张元刚. 基于双域分解的图像增强算法[J]. 电子学报, 2020, 48(7): 1311-1320. DOI: 10.3969/j.issn.0372-2112.2020.07.009 TIAN Z, WANG M, ZHANG Y. Image enhancement algorithm based on dual domain decomposition[J]. Acta Eletronica Sinica, 2020, 48(7): 1311-1320. DOI: 10.3969/j.issn.0372-2112.2020.07.009
[4] 李少荣. 基于改进直方图均衡化的红外图像增强技术的研究[J]. 工业控制计算机, 2022, 35(12): 52-53, 56. LI S. Infrared image enhancement technology based on improved histogram equalization[J]. Industrial Control Computer, 2022, 35(12): 52-53, 56.
[5] 黄辉先, 陈凡浩. 基于注意力机制和Retinex的低照度图像增强方法[J]. 激光与光电子学进展, 2020, 57(20): 53-60. HUANG H, CHEN F. Low-illumination image enhancement method based on attention mechanism and retinex[J]. Laser & Optoelectronics Progress, 2020, 57(20): 53-60.
[6] 吕侃徽, 张大兴. 基于自适应直方图均衡化耦合拉普拉斯变换的红外图像增强算法[J]. 光学技术, 2021, 47(6): 747-753. LV K, ZHANG D. Infrared image enhancement algorithm based on adaptive histogram equalization coupled with Laplace transform[J]. Optical Technique, 2021, 47(6): 747-753.
[7] HUANG H X, CHEN F H. Low-illumination image enhancement method based on attention mechanism and Retinex[J]. Laser & Optoelectronics Progress, 2020, 57(20): 53-60.
[8] GUO X J, LI Y, LING H B. LIME: Low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2016, 26(2): 982-993.
[9] WANG S H, ZHANG J, HU H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548. DOI: 10.1109/TIP.2013.2261309
[10] YING Z Y, LI G, GAO W. A bio-inspired multi-exposure fusion framework for low-light image enhancement[EB/OL]. arXiv preprint arXiv: 1711.00591, 2017. https://arxiv.org/abs/1711.00591.
[11] LI M D, LIU J Y, YANG W H, et al. Structure-revealing low-light image enhancement via robust Retinex model[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2828-2841. DOI: 10.1109/TIP.2018.2810539
[12] DONG X, GUAN W, YI P, et al. Fast efficient algorithm for enhancement of low lighting video[C]//IEEE International Conference on Multimedia & Expo, 2011: 1-6.
[13] Kin Gwn Lore, Adedotun Akintayo, Soumik Sarkar. LLNet: a deep autoencoder approach to natural low-light image enhancement[J]. Pattern Recognition, 2017, 61: 650-662. DOI: 10.1016/j.patcog.2016.06.008
[14] TAO L, ZHU C, XIANG G Q, et al. LLCNN: A convolutional neural network for low-light image enhancement[C]//IEEE Visual Communications & Image Processing, 2017: 10-13.
[15] WEI C, WANG W J, YANG W H, et al. Deep Retinex decomposition for low-light enhancement[C]//British Machine Vision Conference, 2018: 1-12.
[16] CHEN Y S, WANG Y C, KAO M H, et al. Deep photo enhancer: unpaired learning for image enhancement from photographs with GANs[C]// IEEE/CVF Conference on Computer Vision & Pattern Recognition, 2018: 6306-6314.
[17] ZHANG Y H, GUO X J, MA J Y, et al. Beyond brightening low-light images[J]. International Journal of Computer Vision, 2021, 129: 1013-1037. DOI: 10.1007/s11263-020-01407-x
[18] CUI J X. Image style migration algorithm based on HSV color model[C]//IEEE International Conference on Advances in Electrical Engineering and Computer Applications (AEECA), 2022: 111-114.
[19] XU L, YAN Q, XIA Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 1-10.
[20] YIN H, GONG Y H, QIU G P. Side window filtering[J]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019: 8750-8758.
[21] LV F F, LU F, WU J H, et al. MBLLEN: low-light image/video enhancement using CNNs[C]//British Machine Vision Conference, 2018: 220-233.
[22] LI C Y, GUO C L, Chen C L. Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(8): 4225-4238.
[23] Mahmou A. Single image super-resolution algorithm using PSNR in the wavelet domain[J]. Journal of Advanced Research in Dynamical and Control Systems, 2020, 12: 677-691.
[24] 朱新山, 姚思如, 孙彪, 等. 图像质量评价: 融合视觉特性与结构相似性指标[J]. 哈尔滨工业大学学报, 2018, 50(5): 121-128. ZHU X, YAO S, SUN B, et al. Image quality assessment: Combining the characteristics of HVS and structural similarity index[J]. Journal of Harbin Institute of Technology, 2018, 50(5): 121-128.
[25] 孙彦景, 杨玉芬, 刘东林, 等. 基于内在生成机制的多尺度结构相似性图像质量评价[J]. 电子与信息学报, 2016, 38(1): 127-134. SUN Y, YANG Y, LIU D, et al. Multiple-scale structural similarity image quality assessment based on internal generative mechanism[J]. Journal of Electronics & Information Technology, 2016, 38(1): 127-134.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 155
- HTML全文浏览量: 52
- PDF下载量: 36
- 被引次数: 1
