Real-Time Infrared Image Generation of Battlefield Environment Based on JRM
-
摘要: 为了满足新一代红外成像目标仿真系统的性能需求,生成逼真的战场环境红外图像供红外成像制导武器进行半实物仿真试验,研究了一种基于JRM的战场环境红外图像生成方法。首先利用3DSMAX建立目标的三维模型,并从导引头视场需求出发,结合目标地区的卫星影像数据与高程数据建立背景区域的三维模型;然后利用JRM的GenesisMC工具、SigSim工具和SenSim工具分别对物理材质特性及目标热源、场景红外特性、传感器特性进行建模;最后使用OSV工具实时渲染生成红外图像。实验结果表明,该方法可满足红外成像目标仿真系统的红外图像实时生成要求,具有灵活性强,效果良好等优点。Abstract: A method for generating infrared images in battlefield environments based on JRM was developed to satisfy the performance requirements of a new generation of infrared-imaging target simulation systems and generate realistic infrared images of battlefield environments for infrared-imaging-guided weapons to conduct hardware-in-the-loop simulation tests. First, a three-dimensional model of the target was established using 3DSMAX. The satellite image data and elevation data of the target area were combined to establish a three-dimensional model of the background area to satisfy the requirements of the seeker's field of view. Next, JRM's Genesismc, Sigsim, and Sensim tools were used to model the physical material characteristics, target heat source, environmental characteristics, and sensor characteristics. Finally, the OSV tool was used to render the infrared image in real time. The experimental results show that the method satisfies the requirements of real-time generation of infrared images in an infrared-imaging target simulation system and has the advantages of strong flexibility and good effectiveness.
-
Keywords:
- IR imaging simulation /
- hardware-in-the-loop /
- JRM /
- 3DSMAX /
- real-time
-
0. 引言
电子倍增电荷耦合器件(Electron Multiply Charge Couple Device,EMCCD),是对传统CCD的功能升级,在信号电荷转移读出时,利用碰撞电离的物理机制,实现雪崩放大,从而越过读出噪声的门槛,降低等效读出噪声。这种方法解决了传统CCD在高速读出速率下,电荷检测放大器噪声降低至亚电子量级的技术难题,在1000倍增益下,等效读出噪声<1e-,理论上可以达到单光子的探测灵敏度,实现了对微弱光的高帧率和高信噪比成像探测。
2001年,TI公司的Hynecek[1]在虚相CCD工艺基础上增加了CCM(Charge Carrier Multiplier,电荷载流子倍增)结构,提出了栅分立虚相CCD(Split-Gate Virtual-Phase CCD,SGVPCCD)技术。同年,e2v公司Jerram[2]采用更为传统的CCD电极,提出了LLL CCD(Low-Light-Level CCD,低照度CCD)技术。这两条技术途径中,LLL CCD避免了SGVPCCD虚相电极倍增杂散电荷过多的问题,并且通过流水线的倍增形式,降低了倍增方差带来的非均匀性,成为EMCCD的主流技术,并发展了近20年。e2v公司从CCD65这第一款采用该技术的EMCCD开始,围绕前照、背照、减小噪声、减小时钟感生电荷、提高分辨率、提高读出速率等维度发展出了CCD97、CCD216、CCD201、CCD351(30 MHz读出速率)、CCD220(1300 fps)、CCD282(4 k×4 k)等多款器件。
EMCCD超高的探测灵敏度,使其在成像科学仪器领域中获得应用,比如超分辨[3-5]、单分子[6-8]、离子成像[9]、共聚焦显微镜[10-11]、量子[12]、荧光成像[13-14]等。此外,在激光主动成像[15]、高灵敏度星敏感器[16]、微光夜视等领域中也有较多研究与应用。
针对由华东光电集成器件研究所研制生产的一款640×512分辨率,帧转移结构的EMCCD器件,设计了一款相机。该款相机支持Camera Link和PAL视频输出、帧率25 fps、支持手动和自动电子倍增增益控制、TEC恒温控制、实时成像、尺寸55 mm×55 mm×70 mm。本文重点论述了相机工作时序和对应的代码,基于FPGA完成了对EMCCD的驱动、EMCCD输出信号的模数转换、PAL模拟视频编码和Camera Link数字视频编码的时序设计与实现,并完成了相关的成像测试工作。
1. EMCCD器件与相机结构
1.1 EMCCD器件结构
器件结构如图 1所示,包含有感光区、存储区、水平移位寄存器、增益寄存器和浮置扩散放大器(Floating Diffusion Amplifier,FDA)。其中,感光区有640×512个有效像素,上下各8个暗参考行,左右各12个暗列。存储区有664×528个存储单元,在感光区完成曝光后,存储转移下来的信号电荷。水平移位寄存器包含664组水平转移栅电极(RФ1、RФ2、RФ3),经过16组转角单元后进入664组增益寄存器(RФ1、RФDC、RФ2HV、RФ3),再经过16组过扫单元将信号电荷转移至浮置扩散区,将电荷转换成电压,最后经片上源跟随器电路放大读出。
1.2 EMCCD相机结构
640×512 EMCCD相机的设计目标是能在1×10-3 lx照度下,实现25 fps的动态连续成像,输出8 bit的PAL模式视频流和12 bit的Camera Link数字视频流。相机硬件电子学的部分由驱动电路、信号处理电路和电源电路构成。本文重点介绍产生工作时序的信号处理电路部分,这部分由FPGA、SRAM、Flash、PAL编码芯片组成,产生了EMCCD的工作时序、ADC的采样时序、SRAM帧缓存时序、BT.656编码时序和Camera Link编码时序。
2. 相机工作时序分析与实现
2.1 EMCCD工作时序
EMCCD的工作时序如图 2所示。器件首先进行曝光,此时IФ1、IФ2、SФ1、SФ2拉低,感光区的像素单元(掩埋型MOS电容器)对光子进行积分,完成光电转换。在一定曝光时间后,IФ1、IФ2、SФ1、SФ2高低电平交替528个周期,将感光区的信号电荷转移至存储区。在信号电荷水平读出之前,用一定的时间(一般大于行读出时间的两倍)来清空水平转移栅极下势阱内的残余电荷。接着,SФ1、SФ2高低交替1次,构成一行读出的起始,将存储区的信号电荷转移至水平移位寄存器(MOS电容器)中。经过680个RФ1、RФ2、RФ2HV、RФ3转移周期后,一行中每个像素的信号电荷按顺序到达FD,此处的PN结二极管电容在接收信号电荷前,由ФR进行复位,再将信号电荷转成电压,由后级源跟随器读出。
当前帧在水平读出时,感光区可以同时进行曝光,这种流水线操作的读出模式,使得成像延迟在1帧时间。
这里为了实现25 fps的成像帧频,曝光时间是帧频的倒数即40 ms,根据靶面分辨率和其它动作的时间要求,设置水平读出的像素时钟频率为11 MHz。根据图 2,EMCCD的工作时序包含多个状态,分别是空闲(IDLE)、第一个10 μs脉冲(FIRST_PULSE)、垂直转移(FRAME_READOUT)、最后一个脉冲(LAST_PULSE)、水平读出寄存器清空(LINE_REG_CLEAN)、行读出(LINE_READOUT)和曝光控制(EXPOSURE_CTRL),通过使能信号和结束信号来控制状态间的跳转。
2.2 模拟前端(Analog Front End,AFE)工作时序
EMCCD输出的模拟信号需通过AFE按顺序进行直流重建、相关双采样、增益控制、光学暗电平钳位和模数转换,以实现在数字域的处理和编码。涉及到的时序控制有相关双采样(SHP/SHD信号)、光学暗电平嵌位(CLPOB信号)、帧头行头的数据锁存。其中图 3中的SHP和SHD信号分别对复位信号和EMCCD输出信号进行采样,可以有效消除FD处复位带来的复位噪声(kTC噪声)[17]。此外,AFE为了能够在相对快速的同时获得高分辨率(10~13位),采用pipeline结构的ADC,图 3表明了当前采样值需要经过10个数据时钟后读出,所以在数据锁存时需要响应的延迟以保证像素数据的准确。
光学暗电平钳位在每行光学暗像素的间隔内,ADC的输出与设定的暗电平参考进行比较,其结果经滤波后移除信号链上的残余偏移,追踪CCD暗电平中的低频变量。
这段时序的代码与EMCCD的驱动时序同步,通过计数器与标志位标明帧同步、行同步和有效数据信号。
2.3 BT.656编码时序
模拟电视系统具有方便实时显示的优势,所以针对640×512分辨率,这里采用PAL制式作为模拟电视的输出,通过逐行变隔行和插值拉伸,输出720×576的模拟视频信号,方便调试与外场成像测试工作。
根据ITU-R BT.656标准,一个完整的PAL视频帧分为两场(表 1),共625行,每行1728个27 MHz像素时钟。每行(表 2)则由4个部分组成,EAV码、水平消隐、SAV码和有效数据(4:2:2 YCbCr数据)。对于顶场,有效数据行就是一帧图像的所有偶数行,而底场,有效数据行就是一帧图像的所有奇数行。
表 1 PAL视频帧的格式定义Table 1. PAL frame definitionLines Line Description 1~22 Field1-First Vertical Blanking(Top) 23~310 Field1-Active Video 311~312 Field1-Second Vertical Blanking(Bottom) 313~335 Field2-First Vertical Blanking(Top) 336~623 Field2-Active Video 624~625 Field2-Second Vertical Blanking(Bottom) 表 2 每行的数据结构Table 2. Line data structureEAV code Blanking Video SAV code Active Video FF 0 0 EAV Cb Y Cr Y 255 0 0 SAV Cb Y Cr Y 4 bytes 280 bytes 4 bytes 1440 bytes 水平消隐包含280个字节,Cb和Cr以0x80填充,Y以0x10填充。有效数据的顺序是Cb、Y、Cr、Y,其中Y是亮度信号,Cb、Cr是同地址的色差信号,YCbCr与RGB的转换公式如下:
$$ Y=16+0.527R+0.504G+0.098B $$ (1) $$ C_{\rm{b}}=128-0.148R-0.291G+0.439B $$ (2) $$ C_{\rm{r}}=128+0.439R-0.367G-0.071B $$ (3) 将R(0~255),G(0~255),B(0~255)转换至Y(16~235),Cb(16~240),Cr(016~240)。由于EMCCD输出灰度图像,对应RGB值均相同,所以有效数据中Y的填充对应AFE输出的高8位数据,Cb、Cr则为0x80。按照BT.656编码后的数字信号视频流经过ADV7391转换成模拟视频信号。
640×512逐行扫描EMCCD的输出信号按BT.656编码,需要进行逐行到隔行的转换,并按照每8行插值1行,一行中每8个像素插值1个像素的插值方法对图像进行拉伸。通过一片片外的SRAM将一帧图像进行缓存。代码设计在27 MHz的时钟下,每经过一个像素时钟,像素计数(pixel_cnt)加1,计数满1727后清零,行计数(line_cnt)加1,计数满624后清零。按照ITU-R BT.656的数据要求,对每个像素进行赋值,当需要写入Y数据时,SRAM读地址(sram_rd_addr)相应加1,读取SRAM中对应的数据。由于仅有一片SRAM,所以需要对其地址总线和数据总线进行分时的读写操作,在不读SRAM的时候,AFE的数据通过FIFO根据SRAM写地址(sram_ wr_addr)写入SRAM。
SRAM地址总线赋值如下,assign sram_addr = sram_rd_en? sram_rd_addr:sram_wr_addr。
2.4 Camera Link编码时序
Camera Link是专门针对机器视觉应用领域的串行通信协议,使用LVDS(低压差分信号)进行数据的传输和通信[18]。这里为了实现对相机原始数据的采集,分析器件的性能,图像信噪比等参数,采用Camera Link作为数字视频信号的接口,经采集卡在上位机软件上进行图像显示。
Camera Link协议的本质是Channel Link协议。主要包括5对差分信号线,其中4对为视频数据线,1对为同步的时钟信号。相机将28位并行数据信号按照7:1的比例将数据转换为4对差分对。Channel Link总线上除了传输视频数据外,还包括视频有效信号FVAL(帧有效)、LVAL(行有效)、DVAL(数据有效)。
一个Channel Link只支持28位数据,所以对于更多的信号,需要多个并行的Channel Link来拓展带宽。据此Camera Link分为Base、Medium和Full三种配置,分别对应1路、2路和3路,每8位(一个Byte)作为一个端口,Full配置对应了A~H个端口。由于这里研制的相机输出12 bit的数字信号,所以只需要Base配置,对应port A[0:7]和port B[0:3]。LVAL、FVAL、DVAL、Spare,以及12 bit数字信号与Camera Link 28位数据的映射关系如表 3所示,其中没有用到的信号位拉低。
表 3 Camera Link位分配Table 3. Camera Link Bit AssignmentTx Input Signal Name Pin Name LVAL TX/RX 24 FVAL TX/RX 25 DVAL TX/RX 26 Spare TX/RX 23 Port A0 TX/RX 0 Port A1 TX/RX 1 Port A2 TX/RX 2 Port A3 TX/RX 3 Port A4 TX/RX 4 Port A5 TX/RX 6 Port A6 TX/RX 27 Port A7 TX/RX 5 Port B0 TX/RX 7 Port B1 TX/RX 8 Port B2 TX/RX 9 Port B3 TX/RX 12 在硬件设计上直接利用FPGA的IO口实现LVDS的输出。同时,通过补零将12 bit的数字信号凑齐至28位,并增加一路7 bit的数据1100011来模拟时钟信号。由于Camera Link采集卡上的接收芯片只支持20~85 MHz的数据信号,而AFE的数据信号同步在11 MHz的时钟上,所以需要一个异步FIFO完成数据的同步。
datain3 < = {1'b0, 1'b0, 1'b0, 1'b0, 1'b0, data[7], data[6]};
datain2 < = {dval, fval, lval, 1'b0, 1'b0, 1'b0, 1'b0};
datain1 < = {1'b0, 1'b0, 1'b0, 1'b0, data[11:9]};
datain0 < = {data[8], data[5:0]};
clkin < = {1'b1, 1'b1, 1'b0, 1'b0, 1'b0, 1'b1, 1'b1};
待转换的28位数和7位时钟数据为txdata = {datain3, datain2, datain1, datain0, clkin},最后利用ALTLVDS_TX的IP核按照7:1对数据进行串行化构成Channel Link的输出格式。
3. 实验与分析
在实验室进行低照度条件下的实时成像,用色温2856 K的积分球光源模拟环境照度1×10-3 lx,采用USAF-1951目标靶,镜头25 mm/f1.4,EMCCD增益倍数1000倍,器件内部TEC制冷温度0℃。
相机实物与成像效果如图 4所示,通过模拟监视器和Cameralink采集软件显示视频图像。图 4右图中模拟视频和数字视频同步显示,PAL输出720×576分辨率,25 fps的8 bit视频流。图 5中CameraLink输出640×512分辨率,25 fps的12 bit视频流,选定区域内的空域信噪比为21.8 dB。
4. 结论
本文介绍了支持PAL视频输出和Camera Link输出的640×512分辨率EMCCD相机的关键时序设计与实现,通过对EMCCD驱动,AFE数据同步采集,帧缓存PAL编码和Camera Link串并转换,实现了EMCCD器件在1×10-3 lx照度条件下的25 fps动态连续成像,实验证明该相机能同时输出PAL模拟视频和Camera Link数字视频,并且尺寸较小,低照度条件下信噪比优势突出,能满足微光条件下对目标成像的应用需求。
-
表 1 基本环境参数设置
Table 1 Basic environment parameter settings
Parameter type Value Atmospheric model Winter mid-latitude Season Winter Aerosol model Village(visual range 5 km) Daily minimum temperature/℃ −10 Daily maximum temperature /℃ 10 Relative humidity 0.5 Wind speed/(m/s) 0 Simulation time 12:00 am 表 2 各场景渲染帧频
Table 2 The rendering frame rates of each scenes
Type No sensor added Add sensor Undisturbed environment 243.90 Hz 232.02 Hz Rain 173.83 Hz 163.09 Hz Snow 172.85 Hz 159.70 Hz Fog 181.02 Hz 167.22 Hz Cloud 159.81 Hz 140.99 Hz Tank dust 178.47 Hz 162.09 Hz Battlefield fire, smoke screen 112.29 Hz 107.32 Hz -
[1] 方有培, 钱建平. 对红外成像制导导弹的干扰技术研究[J]. 红外与激光工程, 2000(3): 7-10. FANG Y P, QIAN J P. Jamming technology research to the imaging IR guidance missile[J]. Infrared and Laser Engineering, 2000(3): 7-10.
[2] 杨俊彦, 吴建东, 宋敏敏. 红外成像制导技术发展展望[J]. 红外, 2016, 37(8): 1-6. YANG J Y, WU J D, SONG M M. Prospect of infrared imaging guidance technology[J]. Infrared, 2016, 37(8): 1-6.
[3] 周莉莉, 李海凤, 佟佳慧, 等. 红外成像制导半实物仿真技术研究[J]. 上海航天, 2019, 36(4): 51-55. ZHOU L L, LI H F, DONG J H, et al. Research of hardware-in-the-loop technology for IR imaging guidance and control system[J]. Aerospace Shanghai, 2019, 36(4): 51-55.
[4] 郑小宝, 王仕成, 廖守亿, 等. 基于Creator和Vega的红外图像实时生成软件设计[J]. 红外技术, 2008, 30(10): 575-579. DOI: 10.3969/j.issn.1001-8891.2008.10.005 ZHENG X B, WANG S C, LIAO S Y, et al. The design of real time infrared image generation software based on Creator and Vega[J]. Infrared Technology, 2008, 30(10): 575-579. DOI: 10.3969/j.issn.1001-8891.2008.10.005
[5] 张健, 张建奇, 邵晓鹏. 基于Vega Prime的红外场景生成技术在成像制导仿真系统中的应用[J]. 红外技术, 2005(2): 124-128. DOI: 10.3969/j.issn.1001-8891.2005.02.007 ZHANG J, ZHANG J Q, SHAO X P. Application of IR scene generation technique based on Vega prime in IR imaging guidance simulation[J]. Infrared Technology, 2005(2): 124-128. DOI: 10.3969/j.issn.1001-8891.2005.02.007
[6] Latger J, Cathala T, Douchin N, et al. Simulation of active and passive infrared images using the SE-WORKBENCH[C]//Infrared Imaging Systems: Design, Analysis, Modeling, and Testing XVIII, SPIE, 2007, 6543: 11-25.
[7] 张繁, 王通, 黄可蒙, 等. 基于Unity3D的改进实时红外仿真系统[J]. 计算机辅助设计与图形学学报, 2018, 30(7): 1177-1186. ZHANG F, WANG T, HUANG K M, et al. One improved real-time infrared simulation system based on unity3D[J]. Journal of Computer-Aided Design & Computer Graphics, 2018, 30(7): 1177-1186.
[8] 黄曦, 张建奇, 张绍泽, 等. 目标高真实感红外图像生成方法[J]. 红外与激光工程, 2013, 42(4): 1084-1088. HUANG X, ZHANG J Q, ZHANG S Z, et al. Realistic infrared image generation method of target[J]. Infrared and Laser Engineering, 2013, 42(4): 1084-1088.
[9] 张作宇, 廖守亿, 张金城, 等. 基于物理模型的战场烟幕实时红外仿真[J]. 红外与激光工程, 2016, 45(4): 116-123. ZHANG Z Y, LIAO S Y, ZHANG J C, et al. Real-time battlefield smoke IR simulation based on physical model[J]. Infrared and Laser Engineering, 2016, 45(4): 116-123.
[10] 胡海鹤, 郭长庚, 胡海燕. 基于数据库查找表技术的实时红外场景仿真[J]. 红外技术, 2013, 35(6): 329-333, 344. http://hwjs.nvir.cn/article/id/hwjs201306004 HU H H, GUO C G, HU H Y. Real time infrared scene simulation system based on database lookup table technology[J]. Infrared Technology, 2013, 35(6): 329-333, 344. http://hwjs.nvir.cn/article/id/hwjs201306004
[11] 陈衡. 红外物理学[M]. 北京: 国防工业出版社, 1985. CHEN H. Infrared Physics[M]. Beijing: National Defense Industry Press, 1985.