A Low Illumination Image Acquisition and Processing System Based on FPGA
-
摘要: 针对低照度图像亮度低、噪声高和边缘模糊等问题，基于Xilinx公司的Artix-7系列FPGA芯片，通过驱动微光性能良好的XQE-1310图像传感器，对探测器采集的视频信号进行滤波和边缘检测，完成了低照度图像的采集和处理等一系列操作，最后将处理过的视频信号通过CameraLink视频格式实时显示，设计了一套微光夜视系统。实验结果表明，该系统的最低工作照度可达10－2 lx量级，滤波算法在保持图像边缘信息的同时有效滤除了图像中的椒盐噪声，自适应边缘检测算法可以根据照度水平实时调整阈值，凸显了低照度环境下物体的轮廓信息。系统充分利用了FPGA（Field Programmable Gate Array）速度快、效率高的优势，最后的成像结果清晰稳定，便于人眼观察。Abstract: In terms of the problems of low brightness, high noise and blurred edges in low-illumination images, based on Xilinx's Artix-7 series FPGA chip, the XQE-1310 image sensor with good low-light performance is driven to filter and edge the video signal collected by the detector. After the detection, a series of operations such as acquisition and processing of low-light images were completed, and the processed video signals were displayed in real time through the CameraLink video format. Finally, a low-light night vision system was designed. The experimental results show that the minimum working illuminance of the system can reach the order of 10-2 lx. The filtering algorithm can effectively filter the salt and pepper noise in the image while maintaining the edge information of the image. The adaptive edge detection algorithm can adjust the threshold in real time according to the illuminance level. It highlights the contour information of objects in low-light environments. The system makes full use of the advantages of fast speed and high efficiency of FPGA (Field Programmable Gate Array), and the final imaging result is clear and stable, which is convenient for human eyes to observe.
-
Keywords:
- low-illumination image /
- filter /
- edge detection /
- FPGA
-
0. 引言
近年来，以美国AGM-183A为代表的空射式高超声速武器快速发展[1]，利用飞机在低空（＜30 km）发射，全程在50 km以下飞行，巡航速度达到5 Ma以上，可以有效躲避地面雷达早期探测[2]，具备大范围机动变轨[3]，突防能力极强。
目前针对这类目标的早期预警大多采用低轨卫星红外探测器，其视野不受地球曲率限制，探测距离远，覆盖面积大，探测波段灵活，还可以组网接力探测，实现对高超声速目标的全程跟踪[4]。作为反制措施，高超声速飞行器红外抑制技术也日臻成熟[5-6]，通过烧蚀、发汗、喷射冷却等手段，可以有效减少飞行器表面与周围空气剧烈压缩和摩擦带来的气动热，降低辐射的光谱信号强度，增大探测器发现和识别难度[7]。
目前公开报道的文献中，较少有针对已有的天基红外预警系统（例如美国的STSS）性能，分析其在不同探测条件下，对于采用红外抑制手段的高超声速目标的实际探测性能，从而给出有针对性的建议。而这正是未来临近空间国土防空反导的重要研究方向[8]。
1. 目标建模
1.1 气动热模型
以美国AGM-183A作为分析目标，其外形如图 1所示，其战斗部为乘波体构型，模型如图 2所示。
据文献[1]报道，AGM-183A在头体分离后巡航速度为5~6 Ma，巡航高度约30 km。用CFD软件对头部乘波体进行不同姿态下的气动热分析，其空气速度场和表面温度场如图 3和图 4所示。
从图 4看出，攻角对目标表面温度分布影响不大，目标温度约为850~1450 K。利用网格面积进行加权平均计算，得到速度5 Ma、高度30 km、攻角0°、10°和20°条件下，目标等效辐射温度分别1170 K、1260 K和1280 K。
1.2 红外辐射模型
图 5是半球形探测空间内飞行器与卫星探测平台之间的相对位置关系，其中底部平面O为目标飞行平面，其法线方向定义为Z轴，目标飞行方向定义为X轴，角度θ为Z轴与探测器光轴方向之间角度，定义为俯仰角，取值范围[0, π/2]。角度ψ为X轴与探测器光轴在目标飞行平面XOY投影之间的角度，定义为方位角，取值范围[0, π]。
根据图 4温度场数据，结合文献[1]给出的AGM -183A头部乘波体结构尺寸，计算目标本体的光谱辐射强度（见图 6），其峰值辐射强度集中在2~5 μm，因此以该波段作为LEO星座的红外探测波段。
取目标等效辐射温度1200 K，2~5 μm波段大气光谱透过率取平均值0.95[9]，对目标光谱辐射强度在2~5 μm波段上积分，计算目标在图 5所示坐标系的红外辐射能量分布，结果如图 7所示。
从计算结果看，目标在不同探测方向上的红外辐射能量分布有较大差异，俯仰角θ越小，方位角ψ越接近90°（即星下点探测模式），辐射能量越大；俯仰角θ越大，方位角ψ越接近0°（即临边+迎头探测模式），辐射能量越小。目标2~5 μm在波段的整体辐射能量为3.2~4.3×104 W/sr。
1.3 探测器模型
文献[10]给出低轨卫星红外探测器像元信噪比SNR的计算公式：
$$ {\rm{SNR}} = \frac{{\Delta {V_{\rm{t}}}}}{{{V_{\rm{n}}}}} = \frac{{{D^*}}}{{{{\left( {{A_{\rm{d}}} \cdot \Delta f} \right)}^{1/2}}}}\frac{{{\tau _0} \cdot {\tau _{\rm{a}}}\left( \lambda \right) \cdot \left( {{\rm{ \mathsf{ π}}} \cdot \Delta I} \right) \cdot {A_{\rm{d}}}}}{{4 \cdot {F^2} \cdot {{\left( {1 + {M_{{\rm{optic}}}}} \right)}^2} \cdot {A_{{\rm{DAS}}}}}} $$ (1) 式中：ΔI为目标与背景的红外辐射强度差（W⋅sr－1）；ΔVt为目标在探测器像元位置产生的信号电压（V）；Vn为低轨预警卫星探测器噪声电压峰值（V）；F代表光学系统F数，F＝f/D，f代表光学系统焦距（m）；D代表光学系统入瞳直径（m）；Moptic为光学系统放大率，Moptic＝R2/R1，R1代表目标与低轨红外预警卫星成像系统的距离（m）；R2代表光学系统入瞳中心到探测器焦平面像元位置的距离（m）；ADAS为低轨红外预警卫星探测器的视觉立体角在物空间的投影，ADAS=AdR1/R2；Ad为探测器像元面积（m2）。
该像元信噪比模型综合考虑了目标本体辐射信号、背景噪声信号、大气扰动以及光学系统特性的影响。可以在给定波段下，分析不同探测距离、角度以及目标特性（飞行速度、高度、姿态、尺寸）条件下，探测器焦平面每个像元对目标辐射信号的响应。
表 1给出了文献[11-12]对美国STSS低轨验证卫星（LEO Demo）的红外探测器性能参数的估计值。
表 1 STSS LEO Demo卫星红外探测器参数估计Table 1. Performance estimation of STSS LEO Demo's infrared detectorField of view/° 1.76 Optical aperture D/mm 250 Focal length f/mm 300 Optical transmittance 0.7 Detection band/μm 3.1 to 4.7 Pixel number 512×512 Pixel size/μm 30×30 Specific detectivity D*/(m·Hz1/2·W-1) 1.48×1012 Equivalent noise bandwidth Δf /Hz 50 Integral time tint /ms 15 Noise equivalent power density/ (W·cm-2) 10-17 2. 探测模型
2.1 探测模式
图 8给出了LEO星座对低空飞行的高超声速目标的常见探测模式。
图 8中，最内层实线圆代表地表，其中：RE代表地球平均半径（6371 km），H代表LEO星座轨道高度（1600 km）。最外层短虚线圆代表空射式高超声速飞行器飞行高度（约30 km），中间长虚线圆代表民航飞机飞行高度（约10 km）。红色长虚线代表临边探测模式（以冷黑空间为背景），红色短虚线代表对地探测模式（以地表为背景）。
按照LEO探测器1.76°视场角测算，在临边探测模式下（即中心视轴与30 km圆弧相切），其边缘视轴不与10 km圆弧相切或相交。即在临边探测模式下，LEO视场内不存在其他干扰源，此时探测器与目标之间的俯仰角θ为55°，方位角ψ为0°~180°。
在对地探测模式下，有可能出现高超声速目标和干扰目标（如高速飞行的战斗机）共存于LEO探测器视场的情况（见图 8）。假设有2架飞行高度10 km、相距57 km的战斗机，与飞行高度30 km的高超声速飞行器同处于LEO探测视场内，3个目标在红外探测器焦平面的模拟成像效果如图 9所示。红色框图代表高超声速飞行器（探测目标），绿色框图代表战斗机（干扰目标）。
![]()
图 9 对地探测模式下多目标模拟成像Figure 9. Simulated imaging of multi-targets in ground detection mode由于战斗机发动机尾焰中心温度高达1800~2500 K[13]，高于以5 Ma巡航的高超声速目标蒙皮温度（~1300 K）[14]，其在红外探测器焦平面的亮度往往大于目标亮度，会严重降低探测器的识别精度，因此近地轨道星座大多采用临边探测模式[15-16]，以排除战斗机、民航客机等相似信号源的干扰。
2.2 目标可探测性
2.2.1 星下点模式
根据文献[12]的估计，STSS Demo探测器的极限输出信噪比大约为6。探测器像元总数为512×512，像元信噪比阈值取6，地表等效辐射温度取250 K。在图 10所示星下点模式（θ＝0°，ψ＝90°），探测距离最短（1600 km），假定视场内没有其他干扰源，此时探测器焦平面对目标（1200 K）响应的信噪比超过阈值的像元数量最多（见图 11），焦平面上共有54×54个像元输出超过了信噪比阈值6，信噪比峰值为335，认为此时目标的可探测性最强。
![]()
图 10 星下点模式下探测器焦平面模拟成像Figure 10. Simulated imaging of detector focal plane in sub-stellar point mode![]()
图 11 星下点模式下焦平面像元信噪比分布Figure 11. SNR distribution of focal plane pixels in sub-stellar point mode2.2.2 临边模式
在临边探测模式下（θ＝55°，ψ＝90°），根据图 8所示几何关系计算，此时极限探测距离（切线段长度RMAX）约为4800 km。此时高超声速目标（1200 K）在LEO探测器焦平面的模拟成像如图 12所示，焦平面像元对目标响应的信噪比分布如图 13所示。此时焦平面上信噪比超过阈值6的像元数量下降为18×18，信噪比峰值下降为276。
![]()
图 12 临边模式下探测器焦平面模拟成像（1200 K）Figure 12. Simulated imaging of detector focal plane in edge detection mode(1200 K)![]()
图 13 临边模式焦平面像元信噪比分布（1200 K）Figure 13. SNR distribution of focal plane pixels in edge detection mode (1200 K)可以看出，依据文献[13]给出的比较准则，当以星下点模式下的探测器最大响应像元数（54×54＝2916）作为基准，用其余探测模式下响应像元数与该最大像元数的比值可以表征其可探测性的相对值，且具备可比较性，那么在临边模式下探测器对目标的可探测性为11%（18×18/2916＝0.11）。
当目标采用主动冷却等红外抑制手段时，目标表面气动温度下降，红外辐射强度降低，在探测器焦面的响应也随之下降。比如，当目标采用发汗相变散热手段，将蒙皮等效辐射温度从1200 K降低到900 K时，其在LEO探测器焦平面成像效果以及焦平面像元信噪比响应分别如图 14和图 15所示。
![]()
图 14 临边模式下探测器焦平面模拟成像（900 K）Figure 14. Simulated imaging of detector focal plane in edge detection mode(900 K)![]()
图 15 临边模式焦平面像元信噪比分布（900 K）Figure 15. SNR distribution of focal plane pixels in edge detection mode (900 K)可以看出，在临边探测模式下（θ＝55°，ψ＝90°），当目标温度从1200 K下降到900 K时，LEO探测器峰值信噪比从276降低到168，同时焦平面响应信噪比超过阈值6的像元数量从18×18下降到14×14，目标可探性从11%下降到6.7%。
当目标可探测性下降到0.4%以下（即焦平面输出信噪比大于阈值6的像元数少于3×3），此时认为目标不具备可探测性。
2.2.3 目标可探测性分布
以AGM-183A头部乘波体为探测目标，表 2给出了STSS低轨LEO星座在图 8所示坐标系下，在目标不同温度T和不同方位角度ψ下的可探测性数值。
表 2 LEO星座临边可探测性（R＝4800 km，θ＝55°）Table 2. LEO Detectability in edge detection mode (R=4800 km, θ=55°)ψ/° T/K 800 900 1000 1100 1200 10 0.006 0.009 0.009 0.017 0.017 30 0.017 0.028 0.042 0.049 0.058 50 0.028 0.049 0.058 0.077 0.088 70 0.034 0.058 0.077 0.088 0.110 90 0.042 0.067 0.088 0.099 0.112 110 0.034 0.058 0.077 0.088 0.110 130 0.028 0.049 0.058 0.077 0.088 150 0.017 0.028 0.042 0.049 0.058 170 0.006 0.009 0.009 0.017 0.017 基于表 2结果，通过插值计算给出了如图 16和图 17所示的LEO星座临边模式下对AGM-183A目标可探测性数值分布。
![]()
图 17 目标可探测性数值影响因素分析Figure 17. Analysis of influencing factors on target detectability从图 16可以看出，STSS LEO星座在临边探测模式下（极限探测距离4800 km，探测俯仰角55°），对低空飞行（~30 km）的高超声速目标（~5Ma）的可探测性受目标温度T和方位角度ψ的影响最大。从图 17可以看出，在探测距离R和探测俯仰角θ相同的条件下，相比方位角ψ，目标温度T对可探测性的影响更为显著。
当目标温度接近800 K且探测方位角ψ小于10°（或者大于170°）时，已经接近探测器的极限探测能力（0.4%），此时认为目标的可探测性非常低，或者说目标逃脱LEO星座临边探测的概率很高。
2.2.4 干扰目标识别
当探测器视场中出现干扰源时，此时目标与干扰源的信噪比计算模型是类似的，可以依据干扰源的尺寸、数量、表面热物性、本体温度、背景噪声以及与探测器的相对位置关系等基础信息，分别计算在同一时刻下，探测器焦平面各个像元对干扰源信号的响应分布，从而计算干扰源的信噪比。在此基础上，通过比对在该探测模式下的目标信噪比置信区间（例如，在星下点探测模式下，对于典型温度为1200 K的AGM-183A战斗部目标，考虑其在不同飞行姿态、相对探测角度以及地表背景噪声下，在STSS LEO探测器上的信噪比置信区间为297~335，超过这个区间的信号就可以认为大概率是干扰源），按照上述最大置信概率算法即可提取目标，该算法的分析结果如图 9所示。
3. 结论
从以上分析可得到如下结论：
① LEO探测器对AGM-183A类低空高超声速目标的可探测性可量化为焦平面像元信噪比超过阈值6的像元数量（最大数值54×54，最小数值3×3）；
② LEO星座对目标的可探测性与探测器性能、探测距离、探测角度、目标尺寸、表面温度、大气扰动以及光学系统参数等因素相关；
③ 在临边探测模式下，LEO探测器对目标的可探测性主要取决于目标温度T和探测方位角ψ两个因素；
④ 从目标突防的角度看，采用主动冷却手段降低表面等效辐射温度所获得的收益，要高于调整飞行姿态以减小与探测器之间的方位角所带来的收益；
⑤ LEO星座对AGM-183A类目标全程维持较高的临边可探测性（＞2%），要避免在方位角小于10°或者大于170°时探测，同时要提高探测器像元对表面温度低于800 K目标的探测性能（信噪比阈值响应的像元数量不低于8×8）。
-
![]()
图 12 FPGA中值滤波和边缘检测模块仿真波形
Figure 12. Simulation waveform of median filter and edge detection module
表 1 软件和硬件中值滤波算法结果比较
Table 1 Comparison of the results of software and hardware median filtering algorithms
Parameters NMSE PSNR/dB MATLAB 0.0706 39.3956 FPGA 0.0710 39.3653 
下载: 导出CSV
-
[1] 方明, 李洪娜, 雷立宏, 等. 低照度视频图像增强算法综述[J]. 长春理工大学学报: 自然科学版, 2016, 39(3): 56-64, 69. DOI: 10.3969/j.issn.1672-9870.2016.03.013 FANG Ming, LI Hongna, LEI Lihong, et al. Overview of low-light video image enhancement algorithms[J]. Journal of Changchun University of Science and Technology: Natural Science Edition, 2016, 39(3): 56-64, 69. DOI: 10.3969/j.issn.1672-9870.2016.03.013
[2] 赵红伟, 刘凯丽, 张伟, 等. 基于FPGA的光电成像与显示电路设计[J]. 光电子技术, 2019, 39(3): 205-209. https://www.cnki.com.cn/Article/CJFDTOTAL-GDJS201903010.htm ZHAO Hongwei, LIU Kaili, ZHANG Wei, et al. Design of photoelectric imaging and display circuit based on FPGA[J]. Optoelectronic Technology, 2019, 39(3): 205-209. https://www.cnki.com.cn/Article/CJFDTOTAL-GDJS201903010.htm
[3] 朱虹. 数字图像处理基础[M]. 北京: 科学出版社, 2005. ZHU Hong. Fundamentals of Digital Image Processing[M]. Beijing: Science Press, 2005.
[4] 韩团军. 快速中值滤波算法研究及其FPGA硬件实现[J]. 电子器件, 2017, 40(3): 697-701. DOI: 10.3969/j.issn.1005-9490.2017.03.036 HAN Tuanjun. Research on Fast Median Filter Algorithm and Its FPGA Hardware Implementation[J]. Electronic Devices, 2017, 40(3): 697-701. DOI: 10.3969/j.issn.1005-9490.2017.03.036
[5] 黄梦涛, 胡永才. 改进自适应中值滤波的低照度烟雾图像去噪[J]. 计算机工程与设计, 2018, 39(6): 1659-1663. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201806028.htm HUANG Mengtao, HU Yongcai. Improved adaptive median filter denoising in smoking image of low illumination[J]. Computer Engineering and Design, 2018, 39(6): 1659-1663. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201806028.htm
[6] Gonzalez R C, Woods R E. Digital Image Processing[M]. 3rd Edition, Beijing Publishing House of Electronics Industry, 2011: 445-465.
[7] 叶惠娇, 冉全, 成果. FPGA图像边缘检测系统的设计与实现[J]. 计算机应用与软件, 2018, 35(12): 237-240, 302. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201812044.htm YE Huijiao, RAN Quan, CHENG Guo. Design and Implementation of FPGA Image Edge Detection System[J]. Computer Applications and Software, 2018, 35(12): 237-240, 302. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201812044.htm
[8] 杨帆, 张皓, 马新文, 等. 基于FPGA的图像处理系统[J]. 华中科技大学学报: 自然科学版, 2015, 43(2): 119-123. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG201502025.htm YANG Fan, ZHANG Hao, MA Xinwen, et al. Image processing system based on FPGA[J]. Journal of Huazhong University of Science and Technology: Natural Science Edition, 2015, 43(2): 119-123. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG201502025.htm
[9] 林源晟. 基于FPGA的图像边缘检测系统设计[D]. 西安: 西安电子科技大学, 2014. LIN Yuansheng. FPGA-Based Image Edge Detection System Design[D]. Xi'an: Xidian University, 2014.
[10] 毛栋. 基于FPGA的高速CMOS成像系统设计[D]. 西安: 中国科学院大学(中国科学院西安光学精密机械研究所), 2019. MAO Dong. Design of High-speed CMOS Imaging System Based on FPGA[D]. Xi'an: University of Chinese Academy of Sciences (Xi'an Institute of Optics and Fine Mechanics, Chinese Academy of Sciences), 2019.
[11] 磨少清. 边缘检测及其评价方法的研究[D]. 天津: 天津大学, 2011. MO Shaoqing. Research on Edge Detection and Its Evaluation Method[D]. Tianjin: Tianjin University, 2011.
[12] 陈炳文, 王文伟, 梅天灿, 等. 利用比例分解和嵌套窗口进行彩色图像边缘提取[J]. 武汉大学学报: 信息科学版, 2011, 36(6): 695-698. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201106016.htm CHEN Bingwen, WANG Wenwei, MEI Tiancan, et al. Using scale decomposition and nested windows for color image edge extraction[J]. Journal of Wuhan University: Information Science Edition, 2011, 36(6): 695-698. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201106016.htm
[13] 黄德天, 刘雪超, 吴志勇, 等. 基于CameraLink的高速图像采集处理系统设计[J]. 吉林大学学报: 工学版, 2013, 43(S1): 309-312. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY2013S1066.htm HUANG Detian, LIU Xuechao, WU Zhiyong, et al. Design of high-speed image acquisition and processing system based on Camera Link[J]. Journal of Jilin University: Engineering and Technology Edition, 2013, 43(S1): 309-312. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY2013S1066.htm
计量
- 文章访问数: 268
- HTML全文浏览量: 103
- PDF下载量: 79
