A Low Illumination Image Acquisition and Processing System Based on FPGA
-
摘要: 针对低照度图像亮度低、噪声高和边缘模糊等问题，基于Xilinx公司的Artix-7系列FPGA芯片，通过驱动微光性能良好的XQE-1310图像传感器，对探测器采集的视频信号进行滤波和边缘检测，完成了低照度图像的采集和处理等一系列操作，最后将处理过的视频信号通过CameraLink视频格式实时显示，设计了一套微光夜视系统。实验结果表明，该系统的最低工作照度可达10－2 lx量级，滤波算法在保持图像边缘信息的同时有效滤除了图像中的椒盐噪声，自适应边缘检测算法可以根据照度水平实时调整阈值，凸显了低照度环境下物体的轮廓信息。系统充分利用了FPGA（Field Programmable Gate Array）速度快、效率高的优势，最后的成像结果清晰稳定，便于人眼观察。Abstract: In terms of the problems of low brightness, high noise and blurred edges in low-illumination images, based on Xilinx's Artix-7 series FPGA chip, the XQE-1310 image sensor with good low-light performance is driven to filter and edge the video signal collected by the detector. After the detection, a series of operations such as acquisition and processing of low-light images were completed, and the processed video signals were displayed in real time through the CameraLink video format. Finally, a low-light night vision system was designed. The experimental results show that the minimum working illuminance of the system can reach the order of 10-2 lx. The filtering algorithm can effectively filter the salt and pepper noise in the image while maintaining the edge information of the image. The adaptive edge detection algorithm can adjust the threshold in real time according to the illuminance level. It highlights the contour information of objects in low-light environments. The system makes full use of the advantages of fast speed and high efficiency of FPGA (Field Programmable Gate Array), and the final imaging result is clear and stable, which is convenient for human eyes to observe.
-
Keywords:
- low-illumination image /
- filter /
- edge detection /
- FPGA
-
0. 引言
现代导弹的制导模式多种多样，具有单模、双模和多模3种制导模式，每种制导模式主要使用雷达、毫米波、主动/半主动激光、电视、红外等制导技术，各种制导技术根据自身的技术特点具有特定的使用范围。红外制导技术具有精度高、隐蔽性好、抗干扰能力强、能昼夜作战，在精确制导武器中备受青睐[1]。红外导引头分为热点式导引头和红外成像导引头[2]。红外成像导引头是红外制导导弹的关键部件之一，而红外导引头光学系统是红外成像导引头的“眼睛”[3]。红外成像导引头技术从单像元、线阵发展到面阵成像，其空间分辨率和抗干扰能力得到不断提高[4-5]。
制冷型红外探测器由于具有较高的灵敏度和较短的热响应时间，在早期的红外成像导引头中得到广泛的应用。随着非制冷型红外探测器制造技术的快速发展，热响应时间和灵敏度性能的不断提升，非制冷型红外探测器在红外成像导引头中逐渐得到应用。非制冷型红外成像导引头由于摒弃了体积大、重量重且价格昂贵的制冷机，与制冷型红外成像导引头相比具有体积小、重量轻、价格低的优点，可大大地减小导引头的尺寸和重量，实现了导引头的小型化，并且已成为红外成像导引头的重要成员之一。经过多年的发展，非制冷型红外成像导引头已广泛用于反坦克导弹、精确攻击导弹、小直径炸弹、反舰导弹等[6]。
基于以上分析，本文设计了一款适用于152mm中口径弹径的非制冷型、红外导引头的光学系统，并以仿真及试验结果说明此款红外成像导引头的性能。
1. 红外导引头系统组成
红外成像导引头主要由位标器及电子舱所组成，位标器主要包含红外成像组及伺服系统；电子舱主要包含伺服控制电路及图像处理电路。根据红外成像组与弹体耦合方式的不同，位标器可分为捷联式、万向支架式及陀螺式。捷联式位标器的红外成像组与弹体直接固定，不具备视场扫描能力；万向支架式位标器的红外成像组固定在万向支架上，可随万向支架转动形成扫描视场；陀螺式位标器的红外成像组全部或部分随陀螺转动形成扫描视场。捷联式红外成像导引头不具备视场扫描能力，只能跟踪固定大型目标或者运动速度较慢的目标，系统结构简单、制导精度低；万向支架式红外成像导引头具备视场扫描能力，可跟踪中速运动的目标，系统结构较复杂、制导精度较高；陀螺式红外成像导引头也具备视场扫描能力，可跟踪速度高的运动目标，系统结构更复杂、制导精度高。
成都鼎屹信息技术有限公司已经开发出采用384×288非制冷型长波红外机芯的万向支架式红外成像导引头，此款导引头在保证探测距离的条件下，瞬时视场比较小，需要辅助一定的框架角以提高搜索、跟踪的视场范围。红外成像导引头为了得到更远的探测距离、更大的瞬时视场，需要采用更长的光学焦距、更高分辨率的红外机芯，例如常用的640×512非制冷型长波红外机芯。
本文所设计的用于152mm中口径弹径红外导引头光学系统要求跟踪移动的中型坦克目标，其速度中等，可选用万向支架式的结构型式，此结构型式复杂度中等，精度也能满足要求，同时可降低制造的成本。
2. 红外导引头光学系统设计
2.1 设计指标
为了提高红外成像导引头的搜索、跟踪距离及瞬时视场，本文采用640×512非制冷型长波红外机芯；为了提高红外成像导引头的搜索、跟踪能力，采取了万向支架式的结构型式。红外成像导引头着重于搜索、跟踪远距离的目标，此目标所成图像为一个具有一定尺寸、一定对比度的热点图像。通过增大红外导引头光学系统的有效口径（减小光学系统的F/#），可增加接收的目标辐射能量，增大目标成像对比度及探测概率。640×512面阵、非制冷型红外导引头光学系统设计参数如表 1所示。
表 1 红外导引头光学系统设计参数Table 1. Design parameters of optical system for infrared seekerFocal length 50mm Field 12.4°×9.94° F/# 0.9 Wavelength 8-12μm Detector type UFPA 640×512, 17μm Frame angle ≥-30°~+30°（Pitch）
≥-20°~+20°（Level）Maximum blind area (target size 2.3m×2.3m) ≤50m Stable tracking range ≥2.5km 2.2 红外导引头光学系统性能优化分析
红外导引头光学系统由整流罩及红外成像组所组成。整流罩的面型大小及外形尺寸受红外制导导弹的气动特性及框架角的大小所决定。整流罩材料选用透过率高、工艺性比较好的热压ZnS材料。红外制导导弹在飞行过程中需要搜索、跟踪运动的目标，红外成像组在俯仰及偏航方向具有一定的转动角量。为了保证转动时光学成像特性不变，则整流罩需要做成同心、等厚的球冠，并且使红外成像组的转动中心与整流罩的球心相重合。本文所设计的整流罩内、外半径分别为72mm、76mm，厚度为4mm，外径为ϕ126mm。
红外制导导弹在发射前随季节及地理位置的变化环境温度变化较大，发射后飞行段弹体的温度也会发生比较大的变化，工作温度的变化使红外导引头光学系统的焦面发生一定量的位移并且不易人为调节补偿，造成成像模糊、不利于搜索、跟踪，因此红外导引头光学系统需要进行光学被动式消热差设计。
光学被动式消热差光学设计的基本原理在孙爱平[7]等相关论文中已有详细论述。红外成像组采取三片式设计型式，配合整流罩进行像差优化。在设计过程中加入衍射面，衍射光学元件其特殊的光学特性可单独作为一种特殊的光学材料参与像差优化。红外导引头光学系统选用线膨胀系数较小的Ge材料（α＝5.8×10－6/K）、线膨胀系数较大的IG6材料（α＝21.2×10－6/K）、整流罩热压ZnS材料（α＝6.6×10－6/K）及衍射元件配合镜筒Al材料（α＝23.6×10－6/K）进行光学被动式消热差设计。根据光学被动式消热差的基本原理，需要3种以上的红外材料进行消热差设计，本文采用3种光学材料及一种特殊的光学材料——衍射光学元件，足以满足光学被动式消热差设计的要求。红外导引头光学系统为大孔径光学系统（F/#＝0.9），相应的孔径像差比较难校正，它需要校正轴向球差、垂轴球差、轴向色差、垂轴色差、慧差、场曲、畸变7种像差及对应的高级像差。由于红外材料比较昂贵，在设计时需要遵循使用最少透镜的原则。本文4个透镜所提供的变量不足以校正7种像差及对应的高级像差，因此在设计时加入非球面以增加变量个数，实现比较好的像差校正效果。
红外导引头光学系统的衍射元件为基诺衍射光学元件，此衍射面理论上可放置在除球罩外的任何表面上，经过光学的优化设计结果比对，衍射面放置在第一透镜的第二表面上，像质效果最优。
红外导引头光学系统衍射面的基底面型为偶次非球面，对应衍射效率计算公式如下：
$${\eta _m} = {[\frac{{\sin [{\rm{ \mathsf{ π} }}(m - \frac{{n - 1}}{\lambda }d)]}}{{{\rm{ \mathsf{ π} }}(m - \frac{{n - 1}}{\lambda }d)}}]^2}_{}$$ (1) 红外导引头光学系统衍射面衍射级次为第一级（m＝1），中心波长为9.6μm，基底材料为IRG206（对应9.6μm波长的折射率为2.77908），对应刻蚀深度计算如下：
$$d = \frac{\lambda }{{n - 1}} = \frac{{9.6}}{{2.77908 - 1}}\,{\rm{ \mathsf{ μ} m = 5}}{\rm{.39605}}\;{\rm{ \mathsf{ μ} m}}$$ (2) 则中心波长处的衍射效率为100%。
基诺衍射面可由金刚石车床车削加工，基底可为平面、球面及非球面，其最小尺寸受刀具半径的限制。此衍射面的最小环带半径Δr间隔为1.055953mm，能满足加工厂家最小刀具的要求。基诺衍射面加工的理想面型如图 1所示。衍射面可使用轮廓仪进行检测，由峰-谷值和均方根值来判断衍射面的加工质量。基诺衍射面检验结果如图 2所示。
红外导引头光学系统的光学布局型式如图 3所示。使用ZEMAX软件进行像质优化，在常温（20℃）、低温（－40℃）、高温（60℃）特定工作条件下，中心频率点30lp/mm处的MTF曲线对比度大部分在0.5以上；通过判读点列图及能量包围曲线，约有85%的能量集中在一个像素内；通过场曲及畸变曲线可知畸变值均小于0.4%。通过以上分析，红外导引头光学系统消热差效果好，能够满足设计要求。图 4、图 5、图 6分别为常温（20℃）、低温（－40℃）、高温（60℃）条件下的MTF曲线、点列图、能量包围曲线、场曲与畸变曲线。
![]()
图 4 在20℃工作条件下红外导引头光学系统的MTF曲线、点列图、能量包围曲线、场曲与畸变曲线Figure 4. MTF curves, point diagram, energy enclosing curves, field curve and distortion curve of infrared seeker optical system at 20℃![]()
图 5 在－40℃工作条件下红外导引头光学系统的MTF曲线、点列图、能量包围曲线、场曲与畸变曲线Figure 5. MTF curves, point diagram, energy enclosing curves, field curve and distortion curve of infrared seeker optical system at -40℃![]()
图 6 在60℃工作条件下红外导引头光学系统的MTF曲线、点列图、能量包围曲线、场曲与畸变曲线Figure 6. MTF curves, point diagram, energy enclosing curves, field curve and distortion curve of infrared seeker optical system at 60℃红外导引头光学系统的焦深为±2λ(F/#)＝±2×9.6μm×0.92≈±17.7μm，所设计的光学系统工作在－40℃~60℃范围内时，离焦量在一个焦深以内，如表 2所示，则此光学被动消热差系统在整个工作温度内均能清晰成像。
表 2 红外导引头光学系统离焦量表Table 2. Infrared seeker optical system defocus gaugeTemperature Defocusing Depth of focus Remarks -40℃ 3.7μm 17.7μm Minimum temperature -20℃ 1.9μm - 0℃ 0.5μm - 20℃ 0μm Nominal temperature 40℃ -1.7μm - 60℃ -2.6μm Maximum temperature 2.3 框架角分析
随着红外制导导弹及目标的运动轨迹、运动速度的不同，在导弹飞行过程中出现目标移出瞬时视场的现象，造成目标丢失，此时需要红外导引头光学系统随目标移动方向转动形成一定的扫描视场，使目标始终处于红外导引头的瞬时视场内。红外导引头光学系统转动的角量对应着框架角值。
红外导引头光学系统转动角量为0°时，此时上边缘光线与球罩的交点到光轴的距离为h1，对应圆心角为α；当转动角度为β时，上边缘光线与球罩最外边缘相重合，并且与光轴距离为h2，此时对应圆心角为β；r为球罩外圆半径，如图 7所示。则框架角β计算如下：
$$\beta = \gamma - \alpha = \arcsin (\frac{{{h_2}}}{r}) - \arcsin (\frac{{{h_1}}}{r})$$ (3) 本文所设计红外导引头光学系统对应的h1＝29.5mm、h2＝63mm、r＝76mm，代入上式可得β＝33.1°，如图 8所示。由于红外导引头光学系统为球对称系统，故其框架角能够满足俯仰±30°、偏航±20°的要求。
![]()
图 8 导引头框架角在0°、33.1°工作时光学位置示意图Figure 8. Optical schematic diagram when seeker frame angle is 0° and 33.1°2.4 盲区分析
红外制导导弹是依据目标所成图像的轮廓特征实现搜索、跟踪。当目标充满成像机芯任意一个方向时，形成跟踪盲区，后续阶段依据导弹的惯性制导攻击目标。盲区距离越小，惯性制导段越短，攻击成功率就越高。
成像机芯分辨率为640×512，像元间距为17μm，对应的靶面尺寸为10.88mm×8.704mm，2.3m×2.3m的中型坦克目标充满水平、竖直向的条件下对应的盲区距离计算如下：
水平向盲区距离计算：
$$\frac{{10.88\,{\rm{mm}}}}{{50\,{\rm{mm}}}} = \frac{{2.3\,{\rm{m}}}}{{{L_1}}} \Rightarrow {L_1} = 10.6\,{\rm{m}}$$ 竖直向盲区距离计算：
$$\frac{{8.704\,{\rm{mm}}}}{{50\,{\rm{mm}}}} = \frac{{2.3\,{\rm{m}}}}{{{L_2}}} \Rightarrow {L_2} = 13.2\,{\rm{m}}$$ 综上所述，2.3m×2.3m的中型坦克目标充满成像机芯的短边时，盲区距离最远（13.2m），此距离值小于50m的要求。
2.5 公差分析
红外导引头光学系统按表 3分配零件公差，焦面位移作为补偿，以平均概率分布方式分配实际装配及加工时的公差值，并采用蒙特卡罗分析方法模拟加工装配后的虚拟镜头的MTF变化，依此判断实际镜头的成像效果。表 4的蒙特卡罗分析结果表明90%的镜头在奈奎斯特频率处具有不小于0.239的MTF值，焦面补偿在±0.5mm以内。此镜头加工及装配工艺比较成熟，且整个镜头的成像质量较好，即公差分配合理。
表 3 零件公差表Table 3. Part tolerance tableParameter Tolerance Parameter Tolerance Sphere error ±3 aperture Surface tilt ±50" Surface irregularity ±0.7 aperture Air thickness ±0.05 mm Aspheric error ±7×10-5 mm Element tilt 0.075mm Thickness ±0.03 mm Element eccentricity 3.6′ Focal plane
displacement compensation±0.5 mm - - 表 4 蒙特卡罗虚拟镜头分析结果Table 4. Analysis results of Monte Carlo virtual lensField Average 1 2 3 4 5 Nominal MTF 0.563 0.598 0.599 0.497 0.599 0.497 Optimum MTF 0.461 0.563 0.544 0.421 0.480 0.394 Worst MTF 0.217 0.224 0.222 0.190 0.251 0.198 Average MTF 0.343 0.358 0.355 0.314 0.366 0.300 Standard deviation 0.078 0.096 0.088 0.069 0.073 0.067 Compensation parameter statistics（Change of back focal plane） Maximum 0.074 Minimum -0.101 Nominal 0.009 Standard deviation 0.043 MTF analysis of Monte Carlo virtual lens（Nyquist frequency） MTF of Monte Carlo virtual lens（90%）≥0.239 MTF of Monte Carlo virtual lens（80%）≥0.272 MTF of Monte Carlo virtual lens（50%）≥0.345 3. 红外成像导引头实际效果
图 9是调试时截取观察到的高架桥上的私家车辆的图片，可清晰分辨出小尺寸的私家车辆目标；图 10是红外成像导引头外场打靶试验视频截图。通过以上试验可得出此红外成像导引头成像质量好，跟踪捕捉精度高，能够满足使用要求。
4. 结论
本文设计了一款适用于152mm弹径的非制冷型、红外导引头成像系统。详细介绍了红外导引头各种设计方案的优劣，提出使用万向支架式的设计方案。根据此方案对红外导引头光学系统进行像质优化及分析，得到比较好的成像效果，并对框架角及盲区开展分析计算。通过红外成像导引头调试试验截图、外场调试试验截图及挂飞试验截图的分析，得出成像质量良好，能够实现搜索、跟踪目标的功能。此红外导引头光学系统的设计，可以后类似系统的开发提供参考。
-
![]()
图 12 FPGA中值滤波和边缘检测模块仿真波形
Figure 12. Simulation waveform of median filter and edge detection module
表 1 软件和硬件中值滤波算法结果比较
Table 1 Comparison of the results of software and hardware median filtering algorithms
Parameters NMSE PSNR/dB MATLAB 0.0706 39.3956 FPGA 0.0710 39.3653 
下载: 导出CSV
-
[1] 方明, 李洪娜, 雷立宏, 等. 低照度视频图像增强算法综述[J]. 长春理工大学学报: 自然科学版, 2016, 39(3): 56-64, 69. DOI: 10.3969/j.issn.1672-9870.2016.03.013 FANG Ming, LI Hongna, LEI Lihong, et al. Overview of low-light video image enhancement algorithms[J]. Journal of Changchun University of Science and Technology: Natural Science Edition, 2016, 39(3): 56-64, 69. DOI: 10.3969/j.issn.1672-9870.2016.03.013
[2] 赵红伟, 刘凯丽, 张伟, 等. 基于FPGA的光电成像与显示电路设计[J]. 光电子技术, 2019, 39(3): 205-209. https://www.cnki.com.cn/Article/CJFDTOTAL-GDJS201903010.htm ZHAO Hongwei, LIU Kaili, ZHANG Wei, et al. Design of photoelectric imaging and display circuit based on FPGA[J]. Optoelectronic Technology, 2019, 39(3): 205-209. https://www.cnki.com.cn/Article/CJFDTOTAL-GDJS201903010.htm
[3] 朱虹. 数字图像处理基础[M]. 北京: 科学出版社, 2005. ZHU Hong. Fundamentals of Digital Image Processing[M]. Beijing: Science Press, 2005.
[4] 韩团军. 快速中值滤波算法研究及其FPGA硬件实现[J]. 电子器件, 2017, 40(3): 697-701. DOI: 10.3969/j.issn.1005-9490.2017.03.036 HAN Tuanjun. Research on Fast Median Filter Algorithm and Its FPGA Hardware Implementation[J]. Electronic Devices, 2017, 40(3): 697-701. DOI: 10.3969/j.issn.1005-9490.2017.03.036
[5] 黄梦涛, 胡永才. 改进自适应中值滤波的低照度烟雾图像去噪[J]. 计算机工程与设计, 2018, 39(6): 1659-1663. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201806028.htm HUANG Mengtao, HU Yongcai. Improved adaptive median filter denoising in smoking image of low illumination[J]. Computer Engineering and Design, 2018, 39(6): 1659-1663. https://www.cnki.com.cn/Article/CJFDTOTAL-SJSJ201806028.htm
[6] Gonzalez R C, Woods R E. Digital Image Processing[M]. 3rd Edition, Beijing Publishing House of Electronics Industry, 2011: 445-465.
[7] 叶惠娇, 冉全, 成果. FPGA图像边缘检测系统的设计与实现[J]. 计算机应用与软件, 2018, 35(12): 237-240, 302. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201812044.htm YE Huijiao, RAN Quan, CHENG Guo. Design and Implementation of FPGA Image Edge Detection System[J]. Computer Applications and Software, 2018, 35(12): 237-240, 302. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ201812044.htm
[8] 杨帆, 张皓, 马新文, 等. 基于FPGA的图像处理系统[J]. 华中科技大学学报: 自然科学版, 2015, 43(2): 119-123. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG201502025.htm YANG Fan, ZHANG Hao, MA Xinwen, et al. Image processing system based on FPGA[J]. Journal of Huazhong University of Science and Technology: Natural Science Edition, 2015, 43(2): 119-123. https://www.cnki.com.cn/Article/CJFDTOTAL-HZLG201502025.htm
[9] 林源晟. 基于FPGA的图像边缘检测系统设计[D]. 西安: 西安电子科技大学, 2014. LIN Yuansheng. FPGA-Based Image Edge Detection System Design[D]. Xi'an: Xidian University, 2014.
[10] 毛栋. 基于FPGA的高速CMOS成像系统设计[D]. 西安: 中国科学院大学(中国科学院西安光学精密机械研究所), 2019. MAO Dong. Design of High-speed CMOS Imaging System Based on FPGA[D]. Xi'an: University of Chinese Academy of Sciences (Xi'an Institute of Optics and Fine Mechanics, Chinese Academy of Sciences), 2019.
[11] 磨少清. 边缘检测及其评价方法的研究[D]. 天津: 天津大学, 2011. MO Shaoqing. Research on Edge Detection and Its Evaluation Method[D]. Tianjin: Tianjin University, 2011.
[12] 陈炳文, 王文伟, 梅天灿, 等. 利用比例分解和嵌套窗口进行彩色图像边缘提取[J]. 武汉大学学报: 信息科学版, 2011, 36(6): 695-698. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201106016.htm CHEN Bingwen, WANG Wenwei, MEI Tiancan, et al. Using scale decomposition and nested windows for color image edge extraction[J]. Journal of Wuhan University: Information Science Edition, 2011, 36(6): 695-698. https://www.cnki.com.cn/Article/CJFDTOTAL-WHCH201106016.htm
[13] 黄德天, 刘雪超, 吴志勇, 等. 基于CameraLink的高速图像采集处理系统设计[J]. 吉林大学学报: 工学版, 2013, 43(S1): 309-312. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY2013S1066.htm HUANG Detian, LIU Xuechao, WU Zhiyong, et al. Design of high-speed image acquisition and processing system based on Camera Link[J]. Journal of Jilin University: Engineering and Technology Edition, 2013, 43(S1): 309-312. https://www.cnki.com.cn/Article/CJFDTOTAL-JLGY2013S1066.htm
计量
- 文章访问数: 268
- HTML全文浏览量: 103
- PDF下载量: 79
