Infrared and Visible Binocular Registration Algorithm Based on Region Search Under Geometric Constraints
-
摘要: 针对相对位置固定的红外和可见光双目相机配准任务，现有算法没有考虑到两者相对位置固定的先验知识，存在配准精度低、几何定位差异大等问题，适用性差。提出一种基于几何约束下区域搜索的红外可见光双目图像配准方法。首先借助红外和可见光双目相机的标定信息对红外和可见光图像进行立体校正使二者处于同一高度之上。接着借助于相位一致性计算红外与可见光的边缘特征图，然后在红外边缘图上提取特征点，最后提出两阶段的同名特征点搜索方法，以红外特征点为基准在可见光边缘图局部区域内搜索同名特征点。在第一阶段以归一化互相关（Normalized cross-correlation，NCC）为相似性度量计算两边缘图的整体水平偏移，预测同名特征点初始位置，在第二阶段提出多尺度加权NCC作为相似性度量，在初始同名特征点位置周围精确搜索同名特征点。在构造的真实环境数据集上进行实验，实验结果表明相对于其他对比算法，在特征点匹配数量和准确率以及主观视觉上的配准效果都优于其他对比算法。Abstract: For the registration task of infrared and visible binocular cameras with fixed relative positions, existing algorithms do not consider the prior fixed relative positions of the two cameras, resulting in problems, such as low registration accuracy, large differences in geometric positioning, and poor applicability. An infrared and visible binocular image registration method based on region search under geometric constraints. First, stereo correction was performed on the infrared and visible images using the calibration information of the infrared and visible binocular cameras, such that they were at the same height. Second, infrared and visible edge maps were obtained using phase congruency and feature points were extracted from the infrared edge map. Finally, a two-stage feature point search method is proposed to search for feature points with the same name in the local area of the visible edge map based on the infrared feature points. In the first stage, normalized cross-correlation (NCC) was used as a similarity metric to calculate the overall horizontal offset of the two edge maps, and the initial positions of feature points with the same name were predicted. In the second stage, a multiscale-weighted NCC was proposed as a similarity metric to accurately search for feature points with the same name around the initial location of feature points of the same name. Then, experiments were performed on the constructed real-environment dataset. The experimental results show that compared with other comparison methods, the number and accuracy of matching points and registration results in subjective vision are better.
-
Keywords:
- image registration /
- infrared image /
- visible image /
- phase congruency /
- binocular camera
-
0. 引言
微光夜视技术和红外热成像技术是军用夜视技术两个支柱。狭义微光夜视技术是指利用目标景物对夜天光反射率差异探测成像，将人眼不能或不易看见的微弱光信号，通过微光像增强器光电转换、图像增强、图像显示，变成人眼易看、清晰明亮的可见光图像，使得人眼在黑夜中获得如同白昼一样的观察效果。
在军事领域，微光夜视技术支撑的微光夜视装备已经成为军用夜视装备重要组成，在现代高新夜视夜战中作用和地位越来越重要。在现代战争中，国外军事强国为了实现夜间“单向透明”到“独享黑夜”的飞跃提升，都在大力发展微光夜视装备。
自20世纪40年代起，世界各国开始对微光夜视技术进行研究。在20世纪40年代至50年代，美国陆军与美国无线电公司（RCA）两家合作一起开展微光夜视技术研究。从20世纪70年代开始，微光夜视技术得到了快速发展，且在战争中作用越来越重要。经过多年发展，美国、俄罗斯、日本、欧洲等国家相继拥有了具备研究微光夜视技术或大规模生产微光像增强器能力的机构和公司，美国拥有微光夜视技术研究的“先遣队”——陆军夜视实验室（NVL）和Intevac公司，Intevac于2022年将其光子学业务部门出售给私营光学技术公司EOTEC（EOTEC是2020年3月从美国主要国防承包商L3 Harris公司分拆出来，主要是经营步枪瞄准镜和类似军事应用的全息光学器件制造商）；三代微光像增强器生产厂商ITT公司、诺斯罗普-格鲁曼公司、ITT多年前成为ITT/Exelis，然后是Harris/Exelis。1932年，最初Litton公司是制造导航、通信和电子战设备的电子公司，1998年首先研制成功无膜MCP微光像增强器，2001年该公司被诺斯罗普-格鲁曼公司收购，成为利顿电子设备公司。不久后的2002年，诺斯罗普公司将利顿卖给了L3公司，后者将其更名为L3 Electron Devices。Harris于2019年与L3合并成立L3 Harris，Harris（Exelis）的夜视部分业务卖给了Elbit Systems of America。所以现在美国两家三代微光像增强器制造商是L3 Harris（又名L3H）和Elbit Systems of America（又名ESA）。俄罗斯有Katod公司，日本有Hamamatsu Photonics、NIL Nakanishi image lab公司等，欧洲有Photonis公司、Siemens AG公司还有许多依托像增强器生产厂商的微光夜视整机制造商。Photonis Group是在2005年由DEP、Burle和Photonis组成的，Photonis目前在4个国家拥有生产设施，2022年12月以来，Photonis Group收购了Xenics、Proxivision、Telops和Elmul四家公司，并改名为Exosens，Exosens除了电子、离子、中子和伽马探测器外，还提出覆盖从紫外线到长波红外全光谱的光电器件及装备，面向生命科学、工业控制、核能和国防四大市场，目前保留了4个产品品牌：Photonis（增强型产品、核质谱探测器）、Xenics（红外传感器和相机）、Elmul（电子探测器）和Telops（高光谱和制冷红外相机）。本文对近年来美国、俄罗斯、法国等国家微光夜视装备发展现状进行了梳理，并提出了我国微光夜视技术的发展思路。
1. 美国微光夜视装备
微光夜视装备核心部件是微光像增强器，据此研究微光夜视装备前需先研究微光像增强器现状。美国微光像增强器均是三代微光像增强器，以GaAs光阴极、防离子反馈膜、双面冷铟封和自动门控高压电源为技术特征。经过多年发展，美国三代微光像增强器外形和尺寸已逐步实现标准化，主流使用的有3个标准型号，分别为：MX10130型、MX10160型、MX11769型。其中MX10130型三代微光像增强器常用于PVS-5、PVS-7、LUCIE等微光装备，目前基本上已经淘汰；MX10160型三代微光像增强器常用于PVS-15、PVS-18、PSQ-20、PVS-14以及建立在PVS-14基础上的双筒视仪的微光装备；MX11769型三代微光像增强器与MX-10160型尺寸和结构类似，只是多了一个增益手动调节（manual gain）功能，常用于PVS-14、PVS-31等微光装备。
为了提高三代微光像增强器的性能，美国从1975年开始启动了“Omnibus计划”（多用途夜视装置采购计划）三代微光技术发展和装备采购计划，该计划分为几个发展阶段，平均4~5年上一个台阶，该计划有力推动了三代微光像增强器和装备的发展。同时，在计划实施过程中，三代微光像增强器的3种标准型号结构和外形尺寸保持不变，根据产品性能等级不同，分别完成了系列化微光装备生产，为不同用户提供了不同性价比的产品。如美国Elbit Systems of America公司，分别以MX-10160型、MX-10130型和MX-11769型为基础，完成F9800、F9810和F9815这3大系列产品生产，产品照片如图 1[1]所示。表 1[1-2]列出了美国Elbit Systems of America公司三代微光像增强器系列产品技术指标。从图 1和表 1可见：应根据微光设备接口不同，对三代微光像增强器外形结构和接口应进行统型，逐步实现标准化，采用尽量少的型号规格；微光设备应该根据统型后的三代微光像增强器结构实现接口标准化，最好能够实现三代微光像增强器安装到微光设备时达到“插拔式即插即用”效果，极大地压缩三代微光像增强器的更换时间，降低微光夜视设备维护成本；在同一型号规格下，应根据产品性能指标高低和功能不同，对三代微光像增强器进行等级分类，以便供用户合理选用，实现性价比最佳。
![]()
Performance parameters F9810 series
YHF9810 series
VHF9800 series
M22HF9800 series
M24HF9815 series
M22HF9815 series
M24HSensitivity/(µA·lm-1) ≥1800 ≥2000 ≥2200 ≥2200 ≥2200 ≥2200 Radiation sensitivity/(mA·W-1)@880 nm ≥80 ≥100 ≥120 ≥120 120 ≥120 ultimate resolution/(lp·mm-1) ≥64 ≥64 ≥64 ≥64 ≥64 ≥64 High illumination resolution/(lp·mm-1)（@200 lx） ≥36 ≥36 ≥40 ≥40 ≥40 ≥40 Signal-to-noise ratio ≥25 ≥25 31.2−34.3 34.4−37.5 31.2−34.3 34.4−37.5 Quality factor - - 2200 2400 2200 2400 Power supply automatic gate control automatic gate control automatic gate control automatic gate control automatic gate control automatic gate control Effective cathode diameter/mm ≥17.5 ≥17.5 ≥17.5 ≥17.5 ≥17.5 ≥17.5 Reliability ≥10000 ≥10000 ≥10000 ≥10000 ≥10000 ≥10000 1.1 美国航空系统用微光夜视装备
美国航空系统用微光夜视装备主要有AN/AVS-6[3]（F4212/F4210）和AN/AVS-9（F4949）。其功能和性能分述如下：
1.1.1 AN/AVS-6双目夜视镜
AN/AVS-6（F4212/F4210）飞行员夜视镜主要用于旋翼飞机飞行员在夜间或低能见度条件下，低空飞行和超低空（NOE）飞行时辅助驾驶使用。飞行员佩戴AN/AVS-6双目望远镜，可在大动态范围光照条件下，获得很高图像分辨率和清晰度，在低照度下也具有良好性能。它采用MX-10160型三代微光像增强器，物镜镀有与飞机机舱兼容的滤光膜可减弱来自驾驶舱仪表盘照明产生的眩光；AN/AVS-6（F4212）产品照片如图 2所示。其主要性能参数分辨力大于0.76 cy/mr，视场角达到了40°[3]。
1.1.2 AN/AVS-9（F4949）双目夜视镜
AN/AVS-9（F4949）飞行员夜视镜是AN/AVS-6改进型，主要用于飞行员在夜间或低能见度条件下飞行时辅助驾驶使用。随着Elbit Systems of America F4949系列已在60多个国家/地区服役，它已成为美国空军和海军的标准夜间飞行系统，能为飞行员提供夜视图像。它具有高分辨率、高增益、近红外响应高、可靠性好、焦距调整方式顺畅、与飞机夜间照明系统完全兼容、更舒适并且还提供各种物镜滤光膜和各种飞行头盔安装配置等特点[4]。另外，它采用白色荧光粉三代微光像增器使图像光晕更小，并减少飞行员眼睛疲劳，AN/AVS-9（F4949）售价约4495美元[5]。产品照片如图 3所示，AN/AVS-9（F4949）其主要性能参数分辨力大于1.3 cy/mr[6]。
1.1.3 美国航空系统用微光夜视设备发展分析
从美国航空系统用两型微光设备对比分析可见，共同特点是均采用了柱面触钉式结构的MX-10160型三代微光像增强器，且都要考虑头盔夜视眼镜与机舱兼容问题[4]。从两种望远镜的发展来看，要求具有更大动态范围、更高分辨力、更高增益和更高可靠性，更好舒适度。分析发展趋势可见，要实现装备性能和功能的提升，需要核心器件三代微光像增强器性能有所提升，即三代微光像增强器不断提高分辨力、增益和舒适度。从而三代微光像增强器由原来传统的单一绿光荧光粉，出现了白光荧光粉，与人眼感光效果更加匹配，舒适度更好。
1.2 美国地面作战系统用微光夜视装备
美国地面作战系统用微光夜视装备主要有3种基本型号，分别为：AN/PVS-23、AN/PVS-7、AN/PVS-14，另外，AN/PVS- 15A/15C大约于2000年开始服役，作为专门为地面作战的双目夜视设备，配发给美军和北约成员国的特种部队成员使用，采用三代微光像增强器，主要由L3公司生产，以上四种夜视装备的核心部件仍是三代微光像增强器。设备功能及特点分述如下：
1.2.1 AN/PVS-23双目夜视镜（F5050）
地面作战系统AN/PVS-23 Night Vision Binocular（F5050），可为越野驾驶提供先进的深度感知。典型产品是坚固耐用的Elbit Systems of America F5050双筒望远镜，结构比AN/AVS-6 ANVIS更结实，并且配备了标准航空级别的光学元件和MX-10160三代像增强器，具有独立的眼距调节和立体视觉手持式或头盔式操作，可以使用无线电和智能手机启用数据提供共享态势感知能力[7]，AN/PVS-23（F5050）售价约8549~12136美元[8]。产品照片如图 4所示，其性能方面表现为分辨力大于1.3 cy/mr，亮度增益大于6000 cd/m2/lx[9]。
1.2.2 AN/PVS-7双目夜视镜（F5001）
地面系统AN/PVS-7 Night Vision Biocular（F5001），主要用于地面作战部队实现高难度任务。具有亮度保护以及IR辅助照明功能，系统中包括IR-on指示灯和MX-10130型像增强器自动强截止保护功能，可手持式、头盔式或头带式，实现免提操作。产品照片如图 5所示，其主要性能参数分辨力大于1.15 cy/mr，亮度增益大于3000 cd/m2/lx[10]。
1.2.3 AN/PVS-14单目夜视镜（F6015）
AN/PVS-14 Night Vision Monocular（F6015），于2000年开始服役，是美军和北约成员国大量装备的一种单目夜视镜。采用三代微光像增强器，主要由L3公司和Elbit Systems of America生产。它可通过吊带套件戴在用户头上或直接安装在加有适配器的战术头盔上，也可通过皮卡丁尼导轨安装在武器上作为夜视瞄具使用。
AN/PVS-14单目夜视镜主要用于美国各军种特种部队以及警方特种战术小组，其具备的多种功能可使士兵能够在夜间条件下快速有效地移动，而无需携带多种类型专用设备。典型产品是Elbit Systems of America F6015，它是美军继AN/PVS-7后的夜间观察装备，不同于其他夜视镜之处在于，该夜视镜既可头戴，也可安装与枪械，专为手持、武器安装和相机适配使用而设计，内置增益可调的MX-11769三代微光像增强器，可帮助用户远距离观测潜在的威胁和目标，具有轻便小巧、增益可调节特点，具备IR照明、输入和输出智能视频、静态照片等功能[5]，售价约4295美元[11]。产品照片如图 6所示，AN/PVS-14单目夜视镜放大倍率为1倍，可实现25 mm到无穷远对焦[12]。
1.2.4 美国地面作战系统用微光夜视装备发展分析
从美国地面作战系统用3型微光夜视装备来看，它们采用了上文提及的3种不同结构三代微光像增强器（MX-10130、MX-10160和MX-11769）。这3种不同结构三代微光像增强器，除了外形结构不同，性能指标也有所提升，功能也有所变化，如MX-11769型增加了增益外部调节功能，从而使相对应的微光夜视设备具备内置增益调节功能。另外这3型微光夜视装备在人机工程性能方面都有很大提升。从这3型微光夜视设备技术指标可见，增加了无线电和智能手机启用数据提供共享态势感知和能力输入、输出智能视频、静态照片等功能。可以得到一个启示，对于直视型微光夜视装备可通过现场快速拆卸目镜，将目镜快速更换为CCD/CMOS组件实现荧光屏输出图像的共享与传输，满足联合作战需求。
1.3 美国地面和航空系统兼容微光夜视装备
美国地面作战和航空系统兼容微光装备主要有7种型号，分别为ANVIS-10四筒双目夜视镜、AN/PSQ-20（ENVG）单目增强型夜视镜、ENVG-B双目增强型夜视镜、AN/PVS-21加固式折叠双目夜视镜、AN/PVS-31双目夜视镜、BNVD-1531双目夜视镜和基于EBAPS数字微光系统。
1.3.1 ANVIS-10四筒双目夜视镜
如图 7所示，ANVIS-10四筒双目夜视镜也被称为“全景夜视镜”（panoramic night vision goggles），最初是作为航空夜视仪使用，主要装备美国空军A-10“雷电Ⅱ”攻击机飞行员，通过4个通道拼接，使夜视仪视场可达97°，为飞行员提供更好的夜视效果[5]。
1.3.2 AN/PSQ-20（ENVG）增强型单筒夜视镜
2008年最引人注目的观瞄装置是美军AN/PSQ-20（enhanced night vision goggle，ENVG），是一款由ITT Exelis为美军开发的第三代单筒夜视镜，它融合了微光像增强器和红外技术，让佩戴者在光线非常少的环境下看得见。这两种模式可同时启用或单独使用。ENVG于2004年被美国陆军选定为未来部队勇士项目的辅助装备，该装备图如图 8[13]所示，正式定名为“AN/PSQ-20”，并将有可能取代AN/PVS-7和AN/PVS-14等旧式单筒夜视镜。尽管相比旧型号成本更昂贵和更重，美国特种作战部队最早已于2008年开始采用AN/PSQ-20，生产商也对ENVG做出各种改良，包括减轻重量及新增数字图像传送功能。
1.3.3 ENVG-B双目增强型夜视镜
2021年5月8日，美国陆军第2步兵师第2斯崔克旅级战斗队（SBCT）开始换装“双筒增强型夜视镜（ENVG-B）”，它具有轮廓融合模式，红外轮廓叠加微光影像上，红外图像显示为明亮的白色轮廓，使目标更醒目，图像的上部还能看到一个数字指南针，帮助士兵确认方位。
ENVG-B双筒增强型夜视镜，是AN/PSQ-20（ENVG）改进版，它是目前美国陆军开发和部署的最先进的夜视镜，相比单筒AN/PSQ-20（ENVG）夜视镜，它包括一个高分辨率显示器和一个嵌入式士兵无线个人局域网，可以进行快速目标捕获和增强现实算法，让佩戴者获得立体视觉。产品照片及应用示意如图 9所示[14]。
1.3.4 AN/PVS-21加固式折叠双筒夜视镜
AN/PVS-21夜视镜是美国STS公司生产的一种加固式折叠双筒夜视镜，目前美国、英国、加拿大以及意大利等多个国家的特种部队都装备了这种夜视镜。它具有可见光和红外光照明和变焦功能，可以在恶劣的天气条件下提供传感器融合能力，它搭载HUD显示器、陀螺仪、电子地图显示等，HUD上可以叠加各种战场数据信息，具备独特的通视能力，士兵或直升机驾驶员可以用直视光学系统观看前方场景，也可同时观看与增强后影像叠加后的场景。示意如图 10所示[15]。
1.3.5 AN/PVS-31双目夜视镜
AN/PVS-31是L3公司生产的一款紧凑、轻巧的双目夜视镜，是陆军新型微光夜视装备，结构上基本就是双目的AN/PVS-14，可用于士兵观察、侦察使用、行军以及车辆驾驶，较单筒夜视镜更有距离感，它采用L3公司标准绿色荧光屏技术，具有符合人体工程学低轮廓设计，与单管护目镜相比提供了优越的态势感知能力，具有轻巧人体工学设计，可与燕尾式头盔支架配合使用，可手动调节系统增益，旋转式双目夜视镜设计可使其作为单目夜视镜使用，收起时电源自动关闭，展开时电源恢复[16]，产品照片如图 11所示。
1.3.6 BNVD-1531双目夜视镜
BNVD-1531双目夜视仪是L3公司生产的，它结合了AN/PVS-15和AN/PVS-31的特性，更加轻小型化，可作为头戴式或手持式系统进行操作。配备了L3 Harris制造的高性能自动门控三代微光像增强器，荧光粉有绿色（P43）或白色（P45）两种。L3 Harris白荧光技术为作战人员提供了更好目标检测和识别能力。夜间操纵时黑白两种颜色显得更加自然，在形状和阴影中增加了对比细节，可为操作员提供更多视觉信息[17]，产品照片如图 12所示。
1.3.7 基于EBAPS的数字微光系统
基于Intevac公司EBAPS器件，美国先后开发了4款EBAPS相机产品，分别为Night Vista VISNIR，Gated SWIR，Apache和Digital Night Vision Goggles（DNVG），如图 13所示[18]。
Night Vista VISNIR相机可从极度黑暗环境到黄昏条件下提供清晰图像；Gated SWIR相机可覆盖从白天到黑夜场景，适用于各种远程目标定位和识别需求场景；Apache相机应用在攻击直升机和其他战场上应用；DNVG可融入到适合头盔或手持设备使用[19]。
目前，Intevac正对ISIE19 EBAPS传感器进行研究，增强型EBAPS将在利用Intevac的ISIE19 EBAPS技术显著提高低光性能[20]。
Intevac新开发ISIE19 EBAPS传感器，受到关注，如图 14所示[21]。
1.4 美国微光夜视装备发展分析
根据美国微光夜视装备发展历程，绘制了路线图[22-27]，如图 15所示。
![]()
图 15 美国微光夜视装备发展路线Figure 15. Development roadmap of low-light night vision equipment in United States从图 15可见，①微光夜视夜战装备是一个持续发展过程，随着核心器件性能不断提升，微光夜视装备性能不断提升；②同一款微光夜视装备在整机型号不变条件下，随着其核心器件——三代微光像增强器性能提升，将产生性能等级不同的微光夜视镜并分批次服役于部队。如AN/PVS-7，从1985年开始服役，1993年左右又开始升级，1995年又初次部署，2003年性能升级后又开始服役。③从AN/PVS-1到ENVG-B发展过程可见，大约是每3~5年完成一个升级换代，如AN/PVS-7服役时间为2003年，GPNVG-18研发时间为2000年，AN/PVS-7服役时间为2003年，AN/PSQ-20（ENVG）服役时间为2008年，再者，结合微光夜视装备性能提升，可以推测，三代微光像增强器性能提升大约也是3~5年一个台阶。到目前为止ENVG-B微光设备功能在不断增加，从资料报道可知：2021年5月8日，美国陆军第2步兵师第2斯崔克旅级战斗队（SBCT）开始换装“双筒增强型夜视仪（ENVG-B）”。从图 15中可见，ENVG-B所示2008年第一批装备到2021年已经间隔13年，分析可知，在近10年微光夜视装备发展处于相对平缓期，结合三代微光像增强器和微光装备性能、功能指标发展对比可推测，近10年美国微光夜视装备技术指标已处于高端小幅提升期，微光装备发展重点在于利用多种技术实现双色融合、优化人机工程、提升图像识别能力、增加定位等功能性提升，发展思路实现了“高性能”向“高性能+多功能”转化。
2. 俄罗斯微光夜视装备
2.1 MNV-K单目夜视镜
MNV-K单目夜视镜主要用于军事和特种作战，夜间巡逻和现场保护，夜间空中和海上航行，在救援和紧急行动中，也可用于夜间无光照明越野导航[15]。它能够实现士兵在星光条件下进行夜间目视观察、夜间陆地导航、夜间海上导航。夜视镜MNV-K可选配多种倍率物镜，与头盔上单眼使用或与通用相机接口相匹配，红外照明光源可保障视场内照明均匀性，设备如图 16[28]所示。
MNV-K夜视镜内置红外照明器，包含超二代或三代微光像增强器。这款单筒夜视镜是JSC Katod单筒夜视基础版本。
2.2 MNV-KR单目夜视镜
MNV-KR单目夜视镜是一款高品质商用夜视镜，相比于MNV-K夜视镜，其在功能上加入了亮度手动控制功能，操作人员可以根据个人喜好调节夜视镜亮度（增益）以获得更舒适观察效果。MNV-KR主要优点包括：重量轻、易于使用、在手动增益调节下可在不同光照条件下获得更优观察对比度。产品如图 17[29]所示。
2.3 MNV-S单目夜视镜
夜视镜MNV-S可用于军事夜间巡逻和现场保护以及夜间空中航行，能够在星光条件下进行夜间观察、陆地导航、海上导航。在夜间没有照明情况下，可使用单目镜进行越野导航，相比于早期夜视镜MNV-K、MNV-KR，不仅完全具备了两种夜视镜性能优势，还在结构上进行了优化，采用了集成化设计思想，可进一步保证了夜视镜小型化优势，在系统光学性能上，夜视镜接收端使用了F数等于1.2物镜，充分利用了弱光环境下光能量，为夜视镜夜间观察及夜间探测提供了有力保障。产品如图 18[30]所示。
3. 法国微光夜视装备
法国微光夜视装备主要有手持型双筒望远镜TacFusion如图 19[31]所示。TacFusion双筒望远镜内置Photonis低照度相机和热成像传感器，集合了先进微光、热成像和融合功能，不受周围环境和光照影响。TacFusion双筒望远镜支持视频实时传送。它有着良好系统成像探测功能，可实现对人目标（1.8 m×0.7 m）：1000 m探测、400 m识别、150 m确认，对车辆目标（2.3 m×2.3 m）：3000 m探测、1200 m识别、450 m确认。
Photonis作为首个提供4G 16 mm微光像增强器的产品，16 mm直径微光像增强器使OEM能够制造更轻便微光夜视设备，其性能水平与18 mm微光像增强器的微光设备相同，4G已成为Photonis近10年来表现最出色产品，如今已成为所有主要欧洲陆军项目标杆。据2024年7月报道，法国Photonis作为Exosens公司一部分，向澳大利亚陆军提供尖端4G P45微光像增强器，制成NYX双筒夜视镜。
4. 国内外市场发展
现代战争全天候性，使得微光夜视装备成为全球海、陆、空军主要武器平台的各类夜视观察器材之一，在军事领域发挥着越来越重要和不可替代的作用。
4.1 国际市场情况分析
国际市场方面，美国、法国、德国、俄罗斯、荷兰等国家投入了几亿美元用于为本国军队购买微光夜视装备，与Photonis、L3-Harris、Intevac等公司签订了一系列关于微光夜视镜，微光像增强器的合同。
Intevac在2021年10月获得了一份价值1630万美元的五年期定量定价合同，继续为美国陆军的阿帕奇直升机生产现代化飞行员夜视传感器（M-PNVS）摄像头。用于提升美国陆军飞行员夜视传感器（M-PNVS）的性能。Photonis公司主要提供4G像增强器，并推出了一款微光红外融合手持式双目夜视镜——TacFusion。L3Harris公司主要提供产品为其白光荧光粉微光像增强器及ENVG-B夜间战斗系统，它包括双目夜视镜、高分辨率显示器和嵌入式士兵无线个人局域网，可快速进行目标捕获和增强现实算法，可与美国陆军奈特用手系统（Nett Warrior）进行交互。
可见，世界各国对微光夜视技术极为重视，为了提高本国军队夜战能力，投入了大量资金购买先进微光夜视设备，以下是近年来微光夜视装备及微光像增强器采购情况。
4.1.1 微光像增强器与微光夜视镜
美国和北约等国家近年来持续采购三代微光强增强器、4G像增强器以及EBAPS数字传感器这3类微光器件为核心的微光夜视装备，2021年-2022年两年间，共签订金额约8亿美元夜视眼镜采购合同。上述3类微光器件共计约10万支，可见微光夜视装备仍是国外军队夜视装备重点[31]。详述如下：
1）Elbit Systems of America于2022年10月12日宣布获得美国陆军1.07亿美元订单。该订单将供应约5000具增强型双目（ENVG-B）夜视镜及1万支高性能三代微光像增强器，并将在弗吉尼亚州罗阿诺克完成测试和检测，交付期为2023-2024年。ENVG-B配备白光荧光粉微光像增强器，增强场景对比度和态势感知能力，适用于黑暗、雾霾和烟尘环境，并支持与枪械红外成像模块无线连接，提升目标捕获效率和战场感知。
2）L3 Harris获得澳大利亚2.33亿美元合同支持军队现代化。其中1.18亿美元用于提供先进夜视镜技术，提升士兵定位、威胁应对和态势感知能力。L3Harris将交付融合夜视系统（FNVS），集成微光夜视与红外热成像技术，为各种战场条件下的士兵提供增强的感知、瞄准和识别能力。结合电视显示传输模块，FNVS可将关键战场信息直接传输至士兵视野。
3）L3 Harris为美国陆军交付1500多套ENVG-B夜视镜。2021年3月16日，第82空降师接收了这批系统，以提升士兵态势感知、机动性和保护能力。L3Harris已累计交付4500多套ENVG-B，满足作战需求。公司总裁Lynn Bollengier称，ENVG-B是美国陆军最先进的夜视镜，支持士兵在弱光或无光条件下执行任务。
4）L3Harris获美国陆军1亿美元ENVG-B夜视镜订单。该订单于2021年9月16日签订，用于提升士兵态势感知、机动性和生存能力。这是ENVG-B项目的第二份订单，总值达4.42亿美元。自2018年以来，L3Harris已向陆军交付6000多套ENVG-B系统。
5）Elbit Systems获美国海军陆战队4100万美元订单。该订单于2021年4月20日签订，用于在2022年3月前用双目夜视镜（SBNVG）替换现役单目夜视镜PVS-14。SBNVG配备高性能白光荧光粉微光像增强器，提供更高深度感知、清晰度和超长待机时间，显著提升海军陆战队战场优势。
6）Photonis为荷兰军队提供4300具4G微光像增强器。该公司于2021年3月22日宣布，将支持国防材料组织（DMO）与Elbit签署的7年合同。该合同供应XACT32NV单筒夜视镜，采用小型高性能16 mm 4G微光像增强器，具备高性能、小体积、轻量化特点。Photonis的4G系列在欧洲武装部队中广受青睐，延续了其在微光夜视设备领域的领先地位。
7）Photonis与北约采购局（NSPA）签订合同。2021年2月15日，该公司为北约欧洲国家升级配备4G微光像增强器的夜视镜，供应1400多件，用于升级约700架航空系统的双筒夜视镜，服务于飞行员和直升机机组。此合同巩固了Photonis在欧洲高性能微光像增强器市场的地位。
8）2024年2月，Photonis向Theon Sensors的Mikron夜视双筒夜视镜提供40000个4G 16 mm微光像增强器，将供应给德国和比利时武装部队。
9）2024年7月，Photonis向Theon Sensors提供了高性能4G白光荧光粉18 mm微光像增强器，供合作伙伴Force Ordnance（澳大利亚）集成到澳大利亚陆军使用的120个NYX双筒夜视镜中。
4.1.2 EBAPS数字微光夜视装备
EBAPS数字微光夜视传感器基于电子轰击有源像素传感器（EBAPS ®）技术，是一种数字化微光夜视装备，能够实现图像显示、传输及共享。
1）Intevac获得价值500万美元EVA数字夜视传感器合同。2020年12月14日，Intevac宣布已收到500万美元开发合同，支持美国海军资助现实增强（EVA）计划。将有助于美国海军和陆战队飞行员在弱光条件下更有效地执行任务。Intevac将提供他们最新的ISIE19 EBAPS ®数夜视传感器。
2）Intevac获得1630万美元EBAPS采购合同。2021年10月4日，Intevac宣布获得了一份为期5年、固定价格、无限期交货/无限期（IDIQ）合同，订单金额1630万美元，用于为美国陆军Apache Helicopter现代化飞行员夜视传感（M-PNVS）计划继续生产微光夜视装备。
Intevac于2020年9月完成了美国Apache舰队、备件和初始FMS客户订单交付。该合同规定美国陆军能够在2026年8月前，可以预先协商价格采购更多产品。
4.2 国内市场情况分析
2021年我国十三届全国人大四次会议通过《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》中提到，十四五期间武器装备放量，这将是我国武器装备建设战略窗口期，军工行业将迎来多重产业拐点，政策红利。
在建设世界一流军队目标指引下，我国军工行业需求旺盛。随着微光夜视装备在城市夜间安防、野外夜间科学考察、夜间安全驾驶、矿井抢险救灾等民用市场拓展，国内微光夜视器件市场前景可观，市场规模将维持增长态势。
5. 结束语
通过对美国、俄罗斯、法国微光夜视装备发展历程分析、微光装备性能对比、微光夜视装备和微光像增强器市场调研，可见，微光夜视技术是发展持久的技术，将牵引着微光夜视装备在今后相当长一段时间内持续发展。特别是从近年来国外微光夜视装备市场情况可知，当前一段时期内，高性能微光夜视装备仍是以美国为首军事强国军队采购列装重点；从微光夜视装备性能、功能指标发展变化情况可知，在今后一段时间内，美国微光夜视装备发展已处于高端小幅提升期，微光夜视装备发展思路将从单一“高性能”提升，向“高性能+多功能”同步提升转化。发展重点将聚焦在：采用新技术赋能实现双色融合、优化人机工程、提升图像识别能力、增加定位等功能。鉴于此，我国微光夜视装备发展策略可以采取核心器件微光像增强器性能提升与微光夜视装备功能增加两方面兼容性设计、同步实施、集成验证，力争在较短时间内实现高性能、多功能微光夜视装备服务军队。
-
![]()
图 1 基于几何约束下区域搜索的红外可见光图像配准方法框架
Figure 1. Pipeline of infrared and visible image registration based region search under geometric constraints
![]()
图 9 第一组图像各算法特征点匹配结果
Figure 9. The matching results of the feature points of each algorithm in the first group of images
![]()
图 11 第二组图像各算法特征点匹配结果
Figure 11. The matching results of the feature points of each algorithm in the second group of images
![]()
图 13 第三组图像各算法特征点匹配结果
Figure 13. The matching results of the feature points of each algorithm in the third group of images
表 1 实验结果对比
Table 1 Comparison of experimental results
Image Group Algorithm NUM CMR First Group SURF-PIIFD-RPM 5.7 66.0% CAO-C2F 6.3 76.8% RIFT 42.2 83.7% ReDFeat 107.3 80.0% OURS 67.6 91.1% Second Group SURF-PIIFD-RPM 2.8 59.2% CAO-C2F 7.3 69.5% RIFT 26.4 83.2% ReDFeat 127.4 76.8% OURS 34.0 91.6% Third Group SURF-PIIFD-RPM 1.8 28.3% CAO-C2F 4.6 27.5% RIFT 10.8 82.5% ReDfeat 22.3 62.2% OURS 37.3 88.1% 
下载: 导出CSV
-
[1] LI Y, YU F Y, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]. Cluster Computing the Journal of Networks Software Tools and Applications, 2019, 22(4): 9435-9443.
[2] 付添, 邓长征, 韩欣月, 等. 基于深度学习的电力设备红外与可见光图像配准[J]. 红外技术, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a FU T, DENG C, HAN X, et al. Infrared and visible image registration for power equipments based on deep learning[J]. Infrared Technology, 2022, 44(9): 936-943. http://hwjs.nvir.cn/article/id/1f007d8f-ee0d-4cd3-b609-1084e911d70a
[3] 黄颖杰, 梅领亮, 王勇, 等. 基于红外与可见光图像融合的无人机探测研究[J]. 电脑知识与技术, 2022, 18(7): 1-8. https://www.cnki.com.cn/Article/CJFDTOTAL-DNZS202207001.htm HUANG Y, MEI L, WANG Y, et al. Research on unmanned aerial vehicle detection based on fusion of infrared and visible light images[J]. Computer Knowledge and Technology, 2022, 18(7): 1-8. https://www.cnki.com.cn/Article/CJFDTOTAL-DNZS202207001.htm
[4] 王戈, 钟如意, 黄浩, 等. 基于轻量级人脸识别的智慧地铁云支付系统搭建[J]. 湖北大学学报: 自然科学版, 2021, 43(4): 437-442. https://www.cnki.com.cn/Article/CJFDTOTAL-HDZK202104012.htm WANG G, ZHONG R, HUANG H, et al. Construction of intelligent metro cloud payment system based on lightweight face recognition[J]. Journal of Hubei University: Natural Science, 2021, 43(4): 437-442. https://www.cnki.com.cn/Article/CJFDTOTAL-HDZK202104012.htm
[5] Banuls A, Mandow A, Vazquez-Martin R, et al. Object detection from thermal infrared and visible light cameras in search and rescue scenes[C]// IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR), 2020: 380-386.
[6] JIANG X, MA J, XIAO G, et al. A review of multimodal image matching: Methods and applications[J]. Information Fusion, 2021, 73: 22-71. DOI: 10.1016/j.inffus.2021.02.012
[7] 李云红, 刘宇栋, 苏雪平, 等. 红外与可见光图像配准技术研究综述[J]. 红外技术, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7 LIU Y, LIU Y, SU X, et al. Review of Infrared and visible image registration [J]. Infrared Technology, 2022, 44(7): 641-651. http://hwjs.nvir.cn/article/id/77ef812e-5018-435f-a023-771b550bedc7
[8] YU K, MA J, HU F, et al. A grayscale weight with window algorithm for infrared and visible image registration[J]. Infrared Physics & Technology, 2019, 99: 178-186.
[9] Yedukondala D C, Pejhman G, Pfefer T, et al. Free-Form deformation approach for registration of visible and infrared facial images in fever screening[J]. Sensors, 2018, 18(2): 125. DOI: 10.3390/s18010125
[10] WANG G, WANG Z, CHEN Y, et al. Robust point matching method for multimodal retinal image registration[J]. Biomedical Signal Processing and Control, 2015, 19: 68-76. DOI: 10.1016/j.bspc.2015.03.004
[11] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359. DOI: 10.1016/j.cviu.2007.09.014
[12] CHEN J, TIAN J, Lee N, et al. A partial intensity invariant feature descriptor for multimodal retinal image registration[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(7): 1707-1718. DOI: 10.1109/TBME.2010.2042169
[13] JIANG Q, LIU Y, YAN Y, et al. A contour angle orientation for power equipment infrared and visible image registration[J]. IEEE Transactions on Power Delivery, 2020, 36(4): 2559-2569.
[14] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]. IEEE Transactions on Image Processing, 2019, 29: 3296-3310.
[15] WANG L, GAO C, ZHAO Y, et al. Infrared and visible image registration using transformer adversarial network[C]// 25th IEEE International Conference on Image Processing (ICIP). IEEE, 2018: 1248-1252.
[16] Arar M, Ginger Y, Danon D, et al. Unsupervised multi-modal image registration via geometry preserving image-to-image translation[C]//Proceedings of the IEEE/CVF conference on Computer Vision and Pattern Recognition, 2020: 13410-13419.
[17] DENG Y, MA J. ReDFeat: Recoupling detection and description for multimodal feature learning[J/OL]. IEEE Transactions on Image Processing, 2022: 591-602. https://arxiv.org/abs/2205.07439.
[18] ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. DOI: 10.1109/34.888718
[19] Fusiello A, Trucco E, Verri A. A compact algorithm for rectification of stereo pairs[J]. Machine Vision & Applications, 2000, 12(1): 16-22.
[20] Peter Kovesi. Phase congruency detects corners and edges[C]//Digital Image Computing: Techniques and Applications, 2003: 309-318.
[21] Edward R, Tom D. Machine learning for high-speed corner detection[C]//Computer vision - ECCV, 2006: 430-443.
[22] Neubeck A, Van Gool L. Efficient non-maximum suppression[C]//Pattern Recognition, ICPR, 2006: 850-855.
[23] YE Y, SHAN J, Bruzzone L, et al. Robust registration of multimodal remote sensing images based on structural similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(6): 2941-2958.
计量
- 文章访问数: 133
- HTML全文浏览量: 23
- PDF下载量: 45
