Direct Coupling of Low Light Image Intensifier with Large Size CMOS
-
摘要: 通过将直径为40 mm的像增强器与全画幅尺寸CMOS直接耦合，对大尺寸直耦工艺进行了研究。针对使用透镜耦合制成的大尺寸ICCD/ICMOS体积大、光能损失大以及光锥耦合的器件莫尔条纹较多等问题提出采用直接耦合的工艺制作ICCD/ICMOS。文中研制的大尺寸ICMOS可获取更大视场内的信息，整机分辨率可达3800×1900 LW/PH，画面清晰，无明显莫尔条纹，结构紧凑，整机仅为手持数码相机大小，隐蔽性强，有利于在复杂环境中更准确、快速地获取目标信息。Abstract: The large size direct coupling technology was studied by coupling a 40 mm diameter image intensifier with a full-frame CMOS. To solve the problems of large-size ICCD/ICMOS made by lens coupling, such as large volume, large light energy loss, and large number of moiré fringes in optical cone coupling devices, a direct coupling process is proposed to make ICCD/ICMOS. The large-size ICMOS developed in this study can obtain more information in the field of view. The resolution of the entire device is up to 3600×1800, the picture is clear, there is no obvious moiré fringe, and the structure is compact. The entire device has the size of a handheld digital camera and has strong concealability, which is conducive to obtaining target information more accurately and quickly in a complex environment.
-
Keywords:
- direct coupling /
- ICMOS /
- light cone coupling /
- low light level enhancement
-
0. 引言
将红外图像应用在枪械瞄准具时，可以实现夜间观察、辅助作战、远距离侦查等，这样的红外瞄准具安装在枪械上，要求图像质量好、体积小巧、重量轻、功耗低，可以长时间稳定工作，例如文献[1-4]，基于FPGA（field programmable gate array）的红外图像处理平台是目前首选的工程实现的硬件方案。
在FPGA的嵌入式系统中完成红外图像的采集，降噪滤波、非均匀性校正、锐化增强、AGC（automatic gain control）动态调光等等红外图像处理，最后将处理好的红外图像输出显示在小型OLED（organic light-emitting diode）显示屏幕上。如果未经过零位校准的瞄具，直接从OLED显示屏上观测目标靶标，并进行射击，是很难命中靶标的。因为我们的瞄具是通过支座卡槽连接、固定在枪械上的，所以相对于枪管的平行中心在垂直方向是有偏移的，在对准目标靶标进行瞄准时，瞄具上的OLED显示屏显示的靶标中心并不是枪管对准目标的真正中心，并且由于重力作用，打出去的子弹会经过抛物线落到目标靶面上，随着目标距离越远，抛物线运动越明显。所以红外瞄准具安装在枪械上时，每经过一段距离就需要进行一次系统的零位标定和校准，以保证枪械瞄准的准确度。目前在红外瞄具初次使用时，传统的零位校准方法有激光定标测距方法和图像冻结计算方法，这两种方法要么需要借助其他设备辅助测量，要么校准过程复杂，繁琐，准确度难以保证。而本文提出的零位校准方法，在校准过程中不需要额外的辅助设备，操作简单，一键触发、自动计算，校准准确度高。
1. 传统的校准算法
1.1 激光定标测距法
激光定标测距法需要专用的校准靶标，以及激光测距仪、标尺，协作测量才能完成红外瞄准具的校准，比较费时费力。在空旷训练靶场，用枪械红外瞄具的十字分化线瞄准目标靶标中心进行实弹射击后，子弹打出去在靶标附近留下弹孔，先用激光测距仪测出靶标与红外瞄具之间的距离，然后利用标尺测出靶标中心与弹孔之间的实际距离，并根据红外瞄具所用镜头的焦距，利用如图 1所示倒三角光路映射关系，文献[5-8]中提出该种三角测距法，将弹孔偏移靶标中心的距离映射至红外图像上像素偏移数值。将该偏移数值作为红外瞄准具进行校准调整十字分化线的依据。
该种方法需要的测量工具较多，测量过程复杂，测量时间长导致校枪的效率低下。
1.2 图像冻结计数法
图像冻结计数法需要用枪瞄的十字分划线瞄准靶标射击后，再一次用十字分化线重新瞄准同一靶标，进行准心校准。文献[9-15]中提出了该种零位偏移计数方法。由于在实弹射击过程中，子弹打出的瞬间产生冲击力，导致枪支晃动或者移动，所以在打出子弹后，需要再一次用十字分化线重新瞄准该靶标中心，进行校准。如图 2(a)所示为实弹射击之前瞄具目标靶标中心的画面，图 2(b)所示为实弹射击之后瞄具目标靶标中心的冻结画面。冻结画面即将图像画面定住，不再因为目标场景的变化而变化。在子弹打出后，由于子弹穿透过靶标，子弹与靶标摩擦发热，产生的弹孔在红外图像中显示为一个高亮的点或者块，红外图像中对应的目标越热越亮。随着时间的延长，弹孔处的热量也会消失，冻结图像的目的就是保持该弹孔处热源高亮的状态。
由图 2(b)可知，弹孔在目标靶标中心的右上方（也有可能在左上方、左下方、右下方等情况），表明实际的准心位于瞄准具的十字分化线的中心偏右上的位置。图 2(b)相对于图 2(a)目标靶标相同，距离相同，只是多了一个子弹弹孔高亮的痕迹。并在该冻结画面中，弹孔处高亮的热度不会消失，在该画面下，进行十字分化线偏移数值的调整，即往右上方偏移，让十字分划线的交叉点与弹孔热源的中心重合，并保存该状态，即完成了热瞄准心的校正过程。在该校准过程中，需要两次瞄准目标靶标中心，而且需要手动一个像素一个像素地调整十字分化线的中心，过程相对繁琐，并且在前后两次瞄准该靶标中心的位置是需要完全一样，不能偏移一个像素，否则调整完的十字分化线的中心即准心也是有偏差。这个由于人眼观察误差、瞄准误差，所以较难做到前后两次瞄准的目标中心是完全一致的。
2. 一键自匹配校准算法
为了实现操作简单、校准精度高、校准效率高的要求，本文在传统校准算法的基础上进行了改进和提升。如图 3所示为视频处理基本流程框图。
在FPGA嵌入式系统中，用逻辑部分来进行ISP（image signal processing）图像处理，用软核构建CPU（central processing unit）来做OSD（on-screen display），比如十字分划线的画线、调整、按键处理都可以在OSD中做。在本文中，ISP部分将图像传感器输出的视频图像按视频流形式一帧一帧地进行ISP处理，同时针对各算法模块的需求进行视频图像数据的缓存，存储器为外挂的DDR（double data rate SDRAM）。同时对OSD部分要显示的字符、图片等信息写入外部DDR的特定地址空间，ISP模块将该信息读出并与图像信息进行叠加输出在OLED屏幕上显示。在一键自匹配校准算法中，用到自匹配算法和热点追踪算法以及偏移量自动校正算法。
2.1 自匹配算法
用来解决上述传统的图像冻结计数法过程中，前后两次较难瞄准靶标中心的一致性问题。本文采用SSD（sum of squared differences）误差平方和算法进行模板匹配，考虑模板匹配消耗的硬件资源巨大，并结合一般枪支瞄准具的准心偏移不是特别大的情况，可适当缩小模板的大小，并可在软核构建的CPU中完成模板的采集和匹配过程，为了减少存储容量和计算带宽，在ISP处理完成后的Y8灰度图像上实现计算过程。如图 4所示为模板采集与匹配过程，即用十字分划线完成目标靶标中心的瞄准后，初始的十字分划线的坐标位置通常处于图像区域的中心位置(x1, y1)，启动自匹配算法时，以十字分划线中心的周围区域采集一帧模板，模板的大小为M×N，可在CPU的软核开辟一个M×N大小的二维数组用来存储该模板图像。
并在射击完成后，再一次用十字分划线来瞄准目标靶标中心，这里其实不用完全瞄准靶标中心，只需要将目标靶标的中心移入图 4(b)外框中即可，图 4的外框尺寸大小为2M×2N，在该区域内进行模板匹配计算，其中匹配的相似度计算公式如(1)式：
$$ D\left( {i, j} \right) = \sum\limits_{s = 1}^M {\sum\limits_{t = 1}^N {{{\left[ {S\left( {i + s - 1, j + t - 1} \right) - T\left( {s, t} \right)} \right]}^2}} } $$ (1) 式中：T(s, t)是图 4(a)模板中的Y8灰度值，(s, t)是其坐标。S(i, j)为图 4(b)待侧区域的Y8灰度值，并且将模板从该区域内逐次移动，从上到下，从左到右，移动遍历求解对应的相似度。并对相似度进行排序，得到最小的相似度对应坐标所在区域即为匹配成功，并将该坐标位置(x2, y2)记录下来。
2.2 热点追踪算法
热点追踪算法，对于图像冻结后，在冻结图像画面中寻找弹孔热点，在子弹刚刚射击出去那一瞬间，子弹穿透靶标，留下的弹孔温度高，相对于靶标上其他区域，在灰度图像上显示为更亮的点或者斑块，如图 5所示。
在该冻结画面中找出最热的点或者最热的斑块的中心，可以先将该块最热的区域定位出来，然后进行二值化处理，在二值化后的图像上求质心即可得到最热的斑块的中心坐标。具体步骤为：
第一步：先对整幅图像进行初步搜索，找最大灰度值，从左至右，从上至下，依次遍历每个像素点，如果是最大值，将该最大灰度值GRAY1以及对应坐标(i, j)记录下来。
第二步：再对整幅图像进行搜索，并排除第一步得到的坐标的搜索，同理得到最大灰度值GRAY2以及对应坐标(p, q)，并对第一步与第二步得到的最大灰度值以及对应坐标判别，如下公式(2)、(3)、(4)所示：
$$ {\rm{Abs(GRAY_{1}－GRAY_{2})＜TH_{1}}}$$ (2) $$ {\rm{Abs}}(i－p)＜{\rm{TH}}_{2}$$ (3) $$ {\rm{Abs}}(j－q)＜{\rm{TH}}_{3}$$ (4) 式中：TH1、TH2、TH3为设定阈值，依据多场景测试经验所得，本文中设计为20、10、10。如果同时满足上述公式，将坐标(i, j)记录下来。该坐标位置只是初步定位出了弹孔斑块处的大概位置，并不是中心位置，为了精准地得到弹孔斑块处的中心位置。
第三步，以坐标(i, j)处为中心，设定一块矩形区域大小为W×H，本文中设计为64×64，在该块矩形区域内，对区域内的像素点进行二值化处理，二值化的阈值为GRAY1×0.7，判断区域内的像素灰度值若大于阈值GRAY1×0.7，则置为0xff，否则置为0x00。
第四步，对二值化后的图像区域进行质心的求解，如式(5)、(6)所示。
$$ {X_0} = \frac{{\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {{X_i}{\text{gra}}{{\text{y}}_{ij}}} } }}{{\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {{\text{gra}}{{\text{y}}_{ij}}} } }} $$ (5) $$ {Y_0} = \frac{{\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {{Y_j}{\text{gra}}{{\text{y}}_{ij}}} } }}{{\sum\limits_{i = 1}^W {\sum\limits_{j = 1}^H {{\text{gra}}{{\text{y}}_{ij}}} } }} $$ (6) 得到区域内的质心坐标后，将该质心坐标转换映射至全局图像上的坐标(x3, y3)。
2.3 偏移量自动校正算法
上述方法在实弹射击之前，用瞄具十字分化线的中心坐标(x1, y2)瞄准目标靶标中心，射击后，在冻结图像上特定区域进行模板匹配得到匹配坐标(x2, y2)，最后经过热点追踪算法，得到热源弹孔高亮斑块的中心坐标为(x3, y3)，所以匹配的坐标相对于原十字分化线中心坐标的第一级偏移如下式(7)所示：
$$ {\rm{offset1}}_{x}＝x_{2}－x_{1}\qquad {\rm{offset1}}_{y}＝y_{2}－y_{1}$$ (7) 热源弹孔处高亮的斑块的中心坐标相对于匹配之后图像的中心坐标的第二级偏移为下式(8)所示：
$$ {\rm{Offset2}}_{x}＝x_{3}－x_{2}\qquad{\rm{offset2}}_{y}＝y_{3}－y_{2}$$ (8) 所以最后求得弹孔处中心坐标相对原十字分化线中心的偏移量为下式(9)、(10)所示：
$$ {\rm{Δoffset}}_{x}＝{\rm{offset1}}_{x}+{\rm{offset2}}_{x}$$ (9) $$ {\rm{Δoffset}}_{y}＝{\rm{offset1}}_{y}+{\rm{offset2}}_{y}$$ (10) 在该算法中经过两级偏移量修正计算后，得到最终的修正偏移量，按最终偏移量去调整十字分划线的位置，可以将瞄具的准心自动地纠正过来。
2.4 一键自匹配校准算法执行流程
红外瞄具安装在枪支上，进行实弹射击校枪，按下触发按键启动一键自匹配校枪流程。因为是一键执行操作，所以在OLED显示屏上会进行人机交互，按照显示屏上出现提示信息进行操作。如图 6所示为执行流程图。
按下按键启动一键开始，OLED显示屏出现检测框和提示信息如图 7所示。第一步：倒计时15 s用十字分化线瞄准目标靶标中心，瞄准完成后保持枪支不动，在15 s结束后，开始冻结图像，并以十字分划线交叉点为中心区域采集模板，模板大小为M×N，可根据实际情况设定，采集模板完成后，解冻图像。第二步：进入下一个倒计时8 s，在该倒计时内，完成单发子弹射击。第三步：进入另一个8 s倒计时，将靶标中心移入检测框内进行检测。第四步：冻结图像，并启动模板匹配算法，找出靶标中心相对射击之前的靶标中心的偏移量。第五步：启动热点追踪算法，在冻结图像上找出弹孔热源处的中心，得到弹孔位置相对于十字分划线中心的偏移量。第六步：启动偏移量自动修正算法，将两级偏移量相加得到最终的偏移量，并以最终偏移量去调整原始的十字分化线的位置，完成准心的校正。
3. 分析讨论
本文针对红外图像应用在枪械的瞄具上，对红外瞄具的零位准心的校准操作进行了说明，针对传统的校准算法、流程和工具进行了介绍，传统的激光定标测距法，需要激光测距仪、校准靶标、标尺、协作测量才能完成，费时费量、成本高、效率低下。而图像冻结计算法，需要前后两次瞄准目标靶标中心，并且在前后两次瞄准该靶标中心的位置是需要完全一致，不能偏移一个像素，否则调整完的十字分化线的中心即准心也是有偏差，在实际操作过程中难以保证，而且十字分划线位置的调整，需要手动一个像素一个像素地调节，操作过程繁琐、效率低。最后基于单键触发的自匹配校准算法，是一键触发，按提示操作，自动计算，计算完成后，自动修正准心偏移量的过程，非常方便、快捷、高效，非常适合于工程应用。并且在模板尺寸大小、检测框尺寸大小以及弹孔斑块矩形区域尺寸大小都可以根据子弹大小、射程距离、以及靶标上留下弹孔的大小来适配修改的。可适应于不同的枪支、不同距离、不同靶标的零位准心校准。
4. 算法验证
基于红外瞄具的一键自动校枪方法与系统算法的验证过程是将红外瞄具固定安装在光轴一致性校准平台底座上如图 8所示，瞄准前方圆形支架上的十字靶标，该圆形支架在平台上可前后移动，模拟距离的变化。
固定安装好红外瞄具后，开机观测目标，发现红外瞄具的十字分化中心与前方圆形支架上的十字靶标中心其实不重合的，如图 9所示，单键按下启动一键校枪匹配算法，经过上述2.4节算法计算后，红外瞄具的十字分化中心自动进行修正了，修正后的十字分化中心几乎与十字靶标中心重合，如图 10所示，经过放大后观测、并测量修正后的十字分化中心与实际十字靶标中心误差在1个像素以内。其次我们移动圆形支架距离红外瞄具安装点位距离3 m、10 m、20 m、50 m等位置，同时将红外瞄具的十字分化中心调整为与十字靶标中心不重合。再启动算法，观测进行算法修正后的十字分化中心与十字靶标中心的重合度，经过多次调整与测量，发现修正后的十字分化中心与实际十字靶标中心误差都在1个像素以内。所以整体来看，该算法校正精度是很高的，完全满足国军标GJB5815-2006射效矫正的精度要求。
![]()
图 9 红外瞄具十字分化与十字靶标不重合示意图Figure 9. Schematic diagram of infrared sight cross differentiation not overlapping with cross target![]()
图 10 红外瞄具十字分化与十字靶标重合度示意图Figure 10. Overlap between infrared sight cross differentiation and cross target5. 结论
本文对红外瞄具安装在枪支上的准心校准方法进行了介绍，对传统的零位校准方法以及本文提出的新的校准方法的原理、算法、计算过程进行了详细的介绍和对比，本文提出的一键自匹配校准算法解决了传统激光测距定标法的校准过程复杂、校准成本高、效率低的问题，同时也解决了传统图像冻结计数法的前后两次瞄准一致性难的问题。在FPGA的红外图像处理平台上添加了自匹配校准算法，既能完成红外图像的夜视、远距离观测目标，同时又能安装在枪支、枪械等精确瞄准的应用场景，一键自动零位校准，辅助精确打击，具有一定的工程实际应用价值。
-
![]()
图 1 光锥耦合ICCD/ICMOS成像系统中的莫尔条纹以及干涉条纹
Figure 1. Moire fringes and interference fringes in ICCD/ICMOS fiber optic taper coupling imaging systems
![]()
图 2 像增强器与CCD/CMOS耦合方式示意图
Figure 2. Schematic diagram of coupling mode between image intensifier and CCD/CMOS
表 1 耦合器件的主要参数
Table 1 The main parameters of the coupler
Main parameters of CMOS Chip size Silent frame
(35.6 mm×23.8 mm)Effective pixels 24 million Video-capture 4K/60P, 50P Main parameters of image intensifier Screen diameter 40 mm Radiation sensitivity(2856K) 790 mA/W Signal noise ratio 23 Central resolution 60 lp/mm Luminance gain 9782 cd/m2/lx Maximum output brightness 6.4 cd/m2 Equivalent background brightness 1.4×10-9 lx 
下载: 导出CSV
-
[1] 白廷柱. 光电成像技术与系统[M]. 北京: 电子工业出版社, 2016. BAI Tingzhu. Photoelectric Imaging Technology and System[M]. Beijing: Electronic Industry Press, 2016.
[2] PROXITRONIC Detector Systems GmbH. Image- intensifier- general- information[EB/OL][2011-07-21]. www.proxitronic.de.
[3] 金伟其, 陶禹, 石峰, 等. 微光视频器件及其技术的进展[J]. 红外与激光工程, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm JIN Weiqi, TAO Yu, SHI Feng, et al. Progress of low-light video device and its technology[J]. Infrared and Laser Engineering, 2015, 44(11): 3167-3176. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201511001.htm
[4] 王红球. 用于生物探测的制冷型ICCD系统[D]. 北京: 清华大学, 2007. WANG Hongqiu. Refrigerated ICCD System for Biological Detection[D]. Beijing: Tsinghua University, 2007.
[5] 闫晓梅, 王志社. 基于光锥耦合的X射线像增强器[J]. 光学学报, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm YAN Xiaomei, WANG Zhishe. X-ray image intensifier based on optical cone coupling[J]. Acta Opticasinica, 2010(5): 1478-1482. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201005051.htm
[6] 崔志刚. ICCD光锥耦合技术研究及性能分析[D]. 北京: 北京理工大学, 2008. CUI Zhigang. Research and Performance Analysis of Optical Cone Coupling Technology of ICCD[D]. Beijing: Beijing Institute of Technology, 2008.
[7] PROXITRONIC Detector Systems GmbH. Intensified CCDs with Direct Fiber Optical Coupling[EB/OL][2011-07-21]. www.proxitronic.de.
[8] 朱广亮. ICCD系统耦合工艺研究与结构设计[D]. 北京: 北京理工大学, 2016. ZHU Guangliang. Research and Structure Design of ICCD System Coupling Process[D]. Beijing: Beijing Institute of Technology, 2016.
[9] 张宇. ICCD/ICMOS莫尔效应及其影响研究[D]. 北京: 北京理工大学, 2018. ZHANG Yu. Study on ICCD/ICMOS Mohr Effect and its Influence[D]. Beijing: Beijing Institute of Technology, 2018.
[10] 俞斯乐, 郭福云, 李桂苓, 等. 电视原理[M]. 北京: 国防工业出版社, 1984. YU Sile, GUO Fuyun, LI Guiling, et al. Television Principles[M]. Beijing: National Defense Industry Press, 1984.
计量
- 文章访问数: 513
- HTML全文浏览量: 183
- PDF下载量: 118
