Object Detection Algorithm Based on Infrared and Visible Light Images
-
摘要: 针对现有基于可见光的目标检测算法存在的不足，提出了一种红外和可见光图像融合的目标检测方法。该方法将深度可分离卷积与残差结构相结合，构建并列的高效率特征提取网络，分别提取红外和可见光图像目标信息；同时，引入自适应特征融合模块以自主学习的方式融合两支路对应尺度的特征，使两类图像信息互补；最后，利用特征金字塔结构将深层特征逐层与浅层融合，提升网络对不同尺度目标的检测精度。实验结果表明，所提网络能够充分融合红外和可见光图像中的有效信息，并在保障精度与效率的前提下实现目标识别与定位；同时，在实际变电站设备检测场景中，该网络也体现出较好的鲁棒性和泛化能力，可以高效完成检测任务。Abstract: A target detection method based on infrared and visible image fusion is proposed to overcome the shortcomings of the existing target detection algorithms based on visible light. In this method, depth separable convolution and the residual structure are combined to construct a parallel high-efficiency feature extraction network to extract the object information of infrared and visible images, respectively. Simultaneously, the adaptive feature fusion module is introduced to fuse the features of the corresponding scales of the two branches through autonomous learning such that the two types of image information are complementary. Finally, the deep and shallow features are fused layer by layer using the feature pyramid structure to improve the detection accuracy of different scale targets. Experimental results show that the proposed network can completely integrate the effective information in infrared and optical images and realize target recognition and location on the premise of ensuring accuracy and efficiency. Moreover, in the actual substation equipment detection scene, the network shows good robustness and generalization ability and can efficiently complete the detection task.
-
Keywords:
- object detection /
- infrared and visible light image /
- deep learning /
- adaptive fusion
-
0. 引言
太阳X射线-极紫外成像仪是风云三号卫星上的重要遥感仪器之一，它的任务和功能是利用太阳辐射的X射线波段和极紫外光线，用来监测和预报影响空间天气变化的主要太阳活动，成像资料为更准确地预报空间天气提供参考[1-2]。为保证对太阳指向跟踪的精度以及稳定性，设计高精度太阳导行镜指向跟踪系统，系统核心之一是四象限光电探测器[3]。航天任务中，对使用电子元器件的质量等级要求很高，真空特性、温度特性、抗辐照特性均要满足系统要求，需要对所选用的低等级器件进行筛选。通过筛选试验揭示探测器的质量缺陷及其他潜在缺陷，剔除早期失效的器件，确保器件在高可靠性领域的空间应用需求[4-5]。
长期以来国外对于各类光电二极管的性能参数测试方法做大量的研究，如采用动态谱分析仪测量以及CCD读出电路测量等方法[6]，例如，美国萨诺夫公司研制了一套CCD/CMOS相机性能参数系统。在国内，四象限探测器测量精度[7-9]的研究较多, 筛选四象限探测器的报道较少，多数筛选工作围绕图像探测器进行。金伟等[10]提出一种有利于空间外差光谱仪光谱复原的探测器筛选方法，通过影响空间外差光谱仪光谱复原的探测器响应参数进行相应试验测试，筛选出性能最优的探测器。朱双双[11]等是将星载红外探测器组件进行温度循环、力学及高温老炼等环境试验考核，分析组件试验前后相对光谱响应率变化，分析组件的环境适应性。多片线性CCD进行高温老练试验，观察数字图像的信噪比获取性能最优的探测器。姚萍萍等[12]通过测量面阵探测器筛选试验前后暗电流，像元响应非一致性，量子效率以及非线性误差等参数变化，选择参数最优探测器作为遥感仪器的装机器件。
本文中太阳导行镜指向跟踪系统选用进口四象限探测器作为导行镜探测器。为保证四象限探测器能够满足航天的严酷要求，提出四象限探测器筛选方法。筛选方法如下：对同批次四象限探测器依次进行温度贮存、温度循环以及高温老练等环境应力筛选试验，通过四象限探测器试验前后暗电流，响应度以及象限响应度均匀性的变化，依据判据挑选出参数性能最优的探测器，确保器件可靠性和稳定性，有效保证太阳导行镜对日指向跟踪系统的稳定性及可靠性。本文设计的筛选系统及提出的筛选方法能够有效完成四象限探测器筛选，剔除早期不合格的器件。
1. 系统设计
为使太阳X-EUV成像仪能够实现对日指向和跟踪，设计高精度太阳导行镜指向跟踪系统。其功能实现过程如下：太阳辐射经过透射望远镜照射到焦面上的四象限探测器上，由四象限探测器采集方位和俯仰两个方向上四个太阳边缘信号，经过电流电压转换电路将电流信号转换为电压信号，再经过增益变换电路将信号放大至合适值，获得相对的太阳边缘信号，经模数转换电路传递至FPGA，FPGA处理得到方位和俯仰上对日指向的偏差信号，利用偏差信号驱动太阳X-EUV成像仪的指向驱动机构实现对日指向的精密跟踪。
四象限探测器作为太阳导行镜指向跟踪系统的关键部件，必须对其进行环境适应性验证和环境应力筛选试验，以满足严酷环境的要求。为此本文设计一套面向空间应用的四象限探测器筛选系统，系统框图如图 1所示。其内容主要包括：在黑暗的环境下，保持筛选试验前后测试环境温度湿度等条件一致，采用卤钨灯作为光源发射光，利用积分球（Integrating Sphere）将发散光转换成均匀光输出，使用AXUV100G探测器对积分球辐射强度及稳定性进行实时监测，保证测试中光强条件保持一致。试验过程中，将筛选系统放置光学平台（Optical Platform）上，调整筛选系统的工装（Tooling），使待测四象限探测器对应工装的窗口（Window）与积分球的出光口水平对准，保证出射光均匀照射至四象限探测器上。四象限输出信号经过电流电压转换电路及增益变换电路后转变为合适的电压信号，利用美国国家仪器公司的采集设备（NI Acquisition Device）进行数据采集，将数据传输至LabVIEW对应的上位机上进行波形显示及数据存储。通过该筛选系统可完成对四象限探测器关键性能参数测试，如暗电流，响应度及象限响应均匀性等，进而评价四象限探测器的性能。
1.1 四象限探测器
选择同批次5片进口四象限探测器进行筛选，筛选过后选择其中一片性能最优的探测器使用至太阳导行镜指向跟踪系统。该类探测器工作原理如下：器件是利用半导体的“横向效应”原理制作而成。如图 2所示，探测器的四个输出电极X+、X－、Y+、Y－相当于直角坐标系的XY轴。当器件接收的目标信号光斑位置变化时，器件的输出光电流也随着位置变化而线性地变化，为此准确地测出目标的位置。该探测器主要参数见表 1，该探测器具有大光敏面，低暗电流，低噪声，高响应度以及高可靠性等特点，可以广泛应用于位置角度测定，跟踪制导，定位，对准以及自动聚焦等场景。
表 1 四象限探测器典型参数Table 1. Typical parameters of the four-quadrant detectorParameter Value Detector type AXUVPS7 Effective area 146 mm2 Responsiveness 0.3 A/W@570 nm Equivalent dark current ＜1 nA@VR=10 mV Working temperature in
atmospheric environment-10℃ to 40℃ 1.2 电路噪声分析
四象限探测器暗电流数值较小，电路噪声对其测量结果具有较大影响，特对系统电路噪声进行分析。四象限探测器信号处理电路主要包括IV转换电路及增益变换电路，以其中一通道信号处理电路为例，其噪声分析模型如图 3所示。
为保证测量四象限探测器暗电流的准确性，对电路的噪声性能进行评估，分析电路每一部分的噪声源贡献[13-14]。由图 2可见，该电路噪声源主要包括电阻的约翰逊噪声、运算放大器AD549的等效输入电压噪声以及等效输入电流噪声，运算放大器OP27的等效输入电压噪声。其中电阻的约翰逊噪声计算方式如公式(1)所示：
$$ {E_{{\rm{N\_R}}}} = \sqrt {4kTRB} $$ (1) 式中：EN_R表示热噪声电压，Vrms；k是玻尔兹曼常数，1.38×10－23 J/K)；T表示温度，K；R是电阻，Ω；B是噪声带宽，Hz。
运算放大器等效电压输入噪声计算方式如公式(2)所示：
$$ {U_{\rm{N}}} = \sqrt {\int_a^b {D_{\rm{U}}^2{\rm{d}}f} } $$ (2) 式中：UN为等效电压输入噪声，Vrms；DU为电压等效噪声密度，V/Hz；a, b表示噪声带宽。
运算放大器等效电流输入噪声计算方式如公式(3)所示：
$$ {I_{\text{N}}} = \sqrt {\int_a^b {D_{\text{I}}^{\text{2}}{\text{d}}f} } $$ (3) 式中：IN为等效电流输入噪声，Arms；DI为电流等效噪声密度，A/Hz；a, b表示噪声带宽。
IV转换电路中设计带宽为10 Hz，运算放大器AD549在0.1~10 Hz带宽内等效输入电压噪声UN_U1为6 μVpp，等效输入电流噪声为0.5 fArms，将电流噪声转换为等效电压噪声UN_I为0.05 μVrms，反馈电阻R5选用100 MΩ，利用公式(1)获得其等效噪声4.06 μVrms。四象限探测器在25℃下等效电阻为20 MΩ，利用公式(1)获得其等效噪声为1.81 μVrms，折算至Ⅳ转换电路输出端噪声密度UN_Rd为9.05 μVrms。四象限探测与IV转换电路总输出噪声计算可得EN_1为11.6 μVrms。其中增益变换电路中电阻较小，利用公式(1)转换的约翰逊噪声较小，可忽略。增益变换电路中运算放大器OP27A，等效输入电压噪声密度DN_U2为3.5 nV/Hz，利用公式(3)计算可得其等效输入电压噪声UN_U2为11.01 nVrms。在无增益档位下，IV转换电路与二级放大电路总输出噪声EN_Out为11.60 μVrms，等效为电路前端输入电流噪声0.58 fArms。
1.3 抗干扰设计
针对暗电流的测量，所测模拟信号过于微小，同时筛选器件较多，输入电源线及输出信号线较多，若处理不当，通常会引起干扰，如长线传输的互感，50 Hz的工频干扰，空间的磁场耦合以及不同接地点间电位差引起的共模干扰等。这些干扰都将为微弱模拟信号测量增加难度，为此本文做出以下处理，以降低干扰，其框图如图 4所示。其中包括：①电源引入的干扰是系统主要干扰之一，为此，所有信号处理电路板电源输入端均加钽电容及贴片陶瓷电容进行去耦；②因输入电源线及输出信号线数量较多，考虑降低信号间相互串扰，将输入电源线与输出信号线分开走线，线长尽可能短，且所有线均采用屏蔽双绞线以降低干扰，这样可有效抑制长线传输的互感以及来自空间耦合产生的差模干扰；③设备金属外壳均进行接地处理，其中包括供电电源、NI采集设备、计算机电脑、信号处理电路板工装以及放置探测器的工装等，并且将工装利用铜皮包裹，进一步降低空间干扰。
1.4 信号采集设备
试验中探测器数量较多，5片进口四象限探测器共输出20路模拟信号。鉴于对采集通道数目要求较多，选择PXLE-6358模块实现对模拟信号的采集，该采集卡具有高采样速度、高精度、宽采集范围的特点，其指标如下：可实现32路采集，位数16位，采样速率1.25 MS/s，采集电压范围－10~10 V。接线采用的NI SCB-68A是一款屏蔽式I/O接线盒，用于将I/O信号连接至配有68针连接端口的插入式DAQ设备。结合屏蔽式电缆时，SCB-68A可提供坚固且噪音极低的信号终端。最后，匹配LABVIEW提供的NI采集设备的上位机，即可完成对信号的实时监测和数据存储。
2. 四象限探测器筛选流程
为保证所选用的探测器满足环境条件严酷的航天需求，对同批次的5片四象限探测器进行环境适应性分析。对同批次四象限探测器进行二次深筛和性能优选，观察试验前中后四象限探测器主要性能参数的变化，如暗电流、响应度及象限响应度均匀性等，其中试验内容包括温度贮存、温度循环及高温老炼等温度评估试验，在通过全部测试的四象限探测器中依据合格判据挑选参数指标最优的四象限探测器安装至太阳导行镜指向跟踪系统上。
2.1 环境应力筛选试验
对四象限探测器进行环境应力筛选试验，依次进行温度贮存，温度循环，高温老炼等试验。低温贮存试验可考验器件工作在低温的情况下不改变其特性的能力，高温贮存试验则能够加快光电二极管内部物理及化学反应，提前剔除潜在易失效器件；温度循环试验变化的范围和速率能够考察光电探测器内部热胀冷缩程度和频次，增加产品的热应力；高温老炼试验是使产品在规定的高温条件下连续工作，消除器件内部应力，增加器件可靠性。
整个试验在高低温箱内进行，试验前中后需要对四象限探测器加电进行暗电流测试，为了避免温度变化影响电子学测量精度，将5片四象限探测器安装至带有插座的电路板上，并且利用工装封装，筛选测试系统放置在高低温箱体外，安装5片四象限探测器的电路板通过短屏蔽线缆与信号处理测试系统相连。NI采集设备与信号处理筛选系统通过线缆相连，并将采集的数据传递至电脑上位机端进行数据显示及存储。试验过程中，依据四象限探测器的工作环境温度为－10℃~40℃，分别设定试验低温及高温温度为－7℃及38℃，低温允许误差为±3℃，高温允许误差为±2℃。为保证试验过程中温度的准确性，在放置四象限探测器工装内粘贴铂电阻PT1000，用于监测四象限探测器温度变化。
2.2 筛选试验前后关键性能测试
光电二极管的暗电流越小，其性能越稳定。为考察四象限探测器的各通道暗电流值的变化，在相同温度及湿度的黑暗环境下，对筛选试验前后各四象限探测器各通道的暗背景电压值进行测试与记录，如图 5所示，将获得暗背景电压值经过电压电流的转换即可获得四象限探测器各通道的暗电流值。
响应度可以表征探测器将辐射信号转换成为输出信号的能力，为探测器的输出信号与入射到探测器的辐射功率之比。为考察四象限探测器的各通道响应度性能，保证筛选试验前后，加光强度不改变，测试环境不变的情况下，对各四象限探测器进行加光测试。即保证试验前后入射到探测器的辐射功率一致，则可以用探测器的输出信号表征其响应度。试验流程如下：待光源加电工作0.5 h，即光源强度稳定后，打开光源遮光罩，使用待测探测器测试积分球光辐射强度，获得输出信号强度a；关闭光源遮光罩，使用待测探测器测试环境光辐射强度，获得输出信号强度响应度b；将各通道获得的信号强度a与b作差，即可获得各通道实际信号响应度。各探测器各通道信号响应度对比如图 6所示。同时对各探测器各通道筛选试验前后信号响应度变化进行计算并记录，即筛选前后信号响应度作差与筛选后信号响应度相除。
![]()
图 6 筛选试验前后信号响应度对比Figure 6. Comparison of signal response intensity before and after screening test象限响应均匀性（Quadrant response uniformity）是四象限探测器在太阳导行镜跟踪系统中产生非线性误差的主要原因，其表示四象限探测器的各象限在相同入射光辐射的条件下各象限输出信号的均匀性。若4个象限的输出信号分别为Va、Vb、Vc及Vd，理想情况下，4个象限输出信号应该相等，4个象限间的差别即为象限响应度不一致性（Quadrant Response Inconsistency），任意两个象限i和j的响应不一致性di, j（i, j＝a, b, c, d）用公式(4)表示：
$$ {d_{i, j}} = \frac{{2\left| {{V_i} - {V_j}} \right|}}{{{V_i} + {V_j}}} \times 100\% $$ (4) 式中：di, j为任意两个象限响应不一致性，%；Vi及Vj为任意两个象限输出信号值，V。
整个四象限探测器的象限响应不一致性为所有di, j的均方根，如公式(5)所示：
$$ d = \sqrt {\frac{{d_{a, b}^2 + d_{a, c}^2 + d_{a, d}^2 + d_{b, c}^2 + d_{b, d}^2 + d_{c, d}^2}}{6}} $$ (5) 式中：d为整个四象限探测器象限响应不一致性，%；da, b，da, c，da, d，db, c，db, d及dc, d为四象限探测器任意两个象限间的响应不一致性，%。
则四象限探测器象限响应均匀性如公式(6)所示：
$$ U=1-d $$ (6) 式中：U为四象限探测器象限响应均匀性，%。
通过上式计算试验前后各四象限探测器的响应度均匀性变化，如图 7所示。由图 7可见，在保证测试环境不变的情况下，筛选的所有四象限探测器试验前后响应度均匀性均在99%以上，且变化较小。
![]()
图 7 筛选试验前后响应度均匀性对比Figure 7. Comparison of response uniformity before and after screening test3. 试验结果与分析
采用上述筛选系统和测试方法，对5片四象限探测器进行温度贮存、温度循环和高温老炼等温度评估试验，在筛选前后进行四象限探测器性能测试。经过筛选试验前后四象限探测器是否合格的判别准则如下：筛选试验前后四象限探测器各通道响应度及象限响应度均匀性允许变化范围为±5%，即若四象限探测器上述性能参数变化范围超过5%时，则认为四象限探测器失效；筛选试验前后及温度评估试验过程中，若四象限探测器某一通道暗电流绝对值大于x值（x值由太阳导行镜指向跟踪系统决定），则认为四象限探测器暗电流参数不合格。
以编号4号的四象限探测器为例，其筛选试验前后及温度评估试验中四象限探测器各象限暗电流绝对值最大值如表 2所示，其筛选前后响应度及象限响应度非一致性参数变化如表 3所示。筛选试验前后及温度评估过程中4号四象限探测器X+、X－、Y+、Y－通道的暗电流绝对值最大值为6.08 pA，小于太阳导行镜指向跟踪系统要求的x值；筛选试验前后四象限探测器X+、X－、Y+、Y－通道的响应度变化最大值为0.716%，小于5%；筛选试验前后四象限探测器各通道的象限响应度不一致性分别为0.795%及0.805%，即象限响应度均匀性分别为99.205%及99.195%，象限响应度非一致性筛选前后变化为1.24%，小于5%。经过测试，编号4号的四象限探测器的各项指标皆满足测试要求，说明经过环境试验考核后的四象限探测器具有较好的稳定性和可靠性，满足航天产品应用需求。
表 2 编号4号探测器各阶段暗电流Table 2. Dark current in each stage of No. 4 detectorTest background Channel X+ X- Y+ Y- pre-screening 2.32 5.22 2.96 2.91 temp-storage 4.21 4.38 3.21 6.08 temp-cycle 2.12 1.2 1.27 1.37 burn-in 2.46 1.31 1.49 1.86 post-screening 2.47 4.84 2.95 2.75 表 3 编号4号探测器响应度等参数变化Table 3. Changes in parameters such as responsivity of No. 4 detectorNO.4 Test
backgroundChannel Inconsistency/% X+ X- Y+ Y- Responsiveness/V pre-screening 6.924 6.843 6.852 6.900 0.795 post-screening 6.974 6.89 6.901 6.948 0.805 Variation/% pre-post 0.716 0.688 0.708 0.697 1.24 5片四象限探测器经过筛选试验后性能优选结果如表 4所示，该表描述各四象限探测器在筛选前后及温度评估试验中，各通道暗电流测试绝对值最大值，各通道响应度变化的最大值，各通道筛选前后象限响应度非一致性最大值以及前后变化值。对优选四象限探测器的评估标准如下：首先，优选筛选前后象限响应度非一致性小，且试验前后变化小的四象限探测器；其次，保证筛选试验前后响应度变化小；在此基础上，挑选满足暗电流绝对值最大值小于x的四象限探测器，且暗电流绝对值越小越好。通过试验结果与分析，选用试验编号为4号的四象限探测器使用在太阳X-EUV成像仪导行镜指向跟踪系统。
表 4 四象限探测器优选结果Table 4. Optimization results of four-quadrant detectorSerial number Max dark
current/pAMax responsiveness changes/% Pre- Inconsistency/% Post-Inconsistency/% Inconsistency changes/% 1 12.68 3.22 0.815 0.849 4.00 2 9.18 1.53 0.815 0.786 -3.69 3 12.64 -4.30 0.872 0.831 -4.93 4 6.08 0.72 0.795 0.805 1.24 5 10.85 2.94 0.911 0.898 -1.45 4. 结论
针对航天载荷应用的四象限探测器，设计筛选系统，该装置电路具有高准确度，其电路等效输入电流噪声为0.58 fArms，为避免暗电流测量时外界干扰，提出多种抗干扰设计保证测量准确度；提出筛选方法，合理设定试验条件完成温度贮存，温度循环以及高温老炼等筛选试验；结合筛选前后四象限探测器各象限的暗电流，响应度以及象限响应度均匀性等性能参数变化，提出通过筛选试验的四象限探测器的合格判据及优选四象限探测器的评估标准，挑选性能最优的探测器。结果表明：依据评估标准最终优选的四象限光电探测器各通道暗电流绝对值最大值为6.08 pA，各通道的响应度变化最大值为0.716%，各象限响应度非一致性筛选前后变化最大值为1.24%。该探测器已应用到风云三号系列卫星的有效载荷太阳X-EUV成像仪太阳导行镜指向跟踪系统，已实现高精度指向跟踪，满足航天产品应用需求。
-
![]()
图 1 双支路自适应目标检测网络整体结构
Figure 1. The overall structure of the dual-branch adaptive object detection network
表 1 特征提取结构
Table 1 Feature extraction structure
Stage Layer structure Repetitions Output size Original RGB, 3 1 448×448 Init Conv 3×3, 13
Max pooling 2×2, 31 224×224 Stage1 DWconv 3×3, 32
Residual1 112×112 Stage2 DWconv 3×3, 64
Residual2 56×56 Stage3 DWconv 3×3, 128
Residual4 28×28 Stage4 DWconv 3×3, 256
Residual4 14×14 Stage5 DWconv 3×3, 512
Residual2 7×7 
下载: 导出CSV
表 3 不同结构测试结果
Table 3 Different dilation rates test results
Network FPS Test accuracy /(%) mAP mAPs mAPm mAPl Infrared branch 94 61.0 45.3 64.2 71.8 Visible-light branch 93 67.3 48.5 70.1 77.6 Eltwise Fusion 81 70.4 51.1 73.8 80.1 Concat Fusion 79 71.6 52.3 74.2 81.6 This paper 78 73.8 54.3 75.1 83.2
下载: 导出CSV
-
[1] 孙怡峰, 吴疆, 黄严严, 等. 一种视频监控中基于航迹的运动小目标检测算法[J]. 电子与信息学报, 2019, 41(11): 2744-2751. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201911028.htm SUN Yifeng, WU Jiang, HUANG Yan, et al. A track based moving small target detection algorithm in video surveillance [J]. Journal of Electronics and Information, 2019, 41(11): 2744-2751. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201911028.htm
[2] LIN C, LU J, GANG W, et al. Graininess-aware deep feature learning for pedestrian detection[J]. IEEE Transactions on Image Processing, 2020, 29: 3820-3834. DOI: 10.1109/TIP.2020.2966371
[3] 范丽丽, 赵宏伟, 赵浩宇, 等. 基于深度卷积神经网络的目标检测研究综述[J]. 光学精密工程, 2020, 28(5): 161-173. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202005019.htm FAN Lili, ZHAO Hongwei, ZHAO Haoyu, et al. Overview of target detection based on deep convolution neural network[J]. Optical Precision Engineering, 2020, 28(5): 161-173. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202005019.htm
[4] 赵永强, 饶元, 董世鹏, 等. 深度学习目标检测方法综述[J]. 中国图象图形学报, 2020, 288(4): 5-30. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202004001.htm ZHAO Yongqiang, RAO yuan, DONG Shipeng, et al. Overview of deep learning target detection methods[J]. Chinese Journal of Image and Graphics, 2020, 288(4): 5-30. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202004001.htm
[5] 罗会兰, 彭珊, 陈鸿坤. 目标检测难点问题最新研究进展综述[J]. 计算机工程与应用, 2021, 57(5): 36-46. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202105005.htm LUO Huilan, PENG Shan, CHEN Hongkun. Overview of the latest research progress on difficult problems of target detection[J]. Computer Engineering and Application, 2021, 57(5): 36-46. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202105005.htm
[6] 郝永平, 曹昭睿, 白帆, 等. 基于兴趣区域掩码卷积神经网络的红外-可见光图像融合与目标识别算法研究[J]. 光子学报, 2021, 50(2): 15-16. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102010.htm HAO Yongping, CAO Zhaorui, BAI fan, et al. Research on infrared visible image fusion and target recognition algorithm based on region of interest mask convolution neural network[J]. Acta Photonica Sinica, 2021, 50(2): 15-16. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202102010.htm
[7] 李舒涵, 许宏科, 武治宇. 基于红外与可见光图像融合的交通标志检测[J]. 现代电子技术, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm LI Shuhan, XU Hongke, WU Zhiyu. Traffic sign detection based on infrared and visible image fusion [J]. Modern Electronic Technology, 2020, 43(3): 45-49. https://www.cnki.com.cn/Article/CJFDTOTAL-XDDJ202003012.htm
[8] XIAO X, WANG B, MIAO L, et al. Infrared and visible image object detection via focused feature enhancement and cascaded semantic extension[J]. Remote Sensing, 2021, 13(13): 2538.
[9] Banuls A, Mandow A, Vazquez-Martin R, et al. Object detection from thermal infrared and visible light cameras in search and rescue scenes[C]// 2020 IEEE International Symposium on Safety, Security, and Rescue Robotics (SSRR). IEEE, 2020: 380-386.
[10] 李章维, 胡安顺, 王晓飞. 基于视觉的目标检测方法综述[J]. 计算机工程与应用, 2020, 56(8): 7-15. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202008002.htm LI Zhangwei, HU Anshun, WANG Xiaofei. Overview of vision based target detection methods[J]. Computer Engineering and Application, 2020, 56(8): 7-15. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202008002.htm
[11] 汪廷. 红外图像与可见光图像融合研究与应用[D]. 西安: 西安理工大学, 2019. WANG Ting. Research and Application of Infrared Image and Visible Image Fusion[D]. Xi'an: Xi'an University of Technology, 2019.
[12] XIANG X, LV N, YU Z, et al. Cross-modality person re-identification based on dual-path multi-branch network[J]. IEEE Sensors Journal, 2019, 19(23): 11706-11713.
[13] REN S, HE K, Girshick R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[14] Bochkovskiy A, WANG C Y, LIAO H. YOLOv4: Optimal speed and accuracy of object detection[J/OL]. Arxiv Preprint Arxiv, https://arxiv.org/abs/2004.10934.
[15] LIU W, Anguelov D, Erhan D, et al. SSD: Single Shot MultiBox Detector[C]// European Conference on Computer Vision, 2016: 21-37.
[16] TIAN Z, SHEN C, CHEN H, et al. FCOS: Fully convolutional one-stage object detection[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2020: 9626-9635.
[17] DUAN K, XIE L, QI H, et al. Location-sensitive visual recognition with cross-IOU loss[J/OL]. Arxiv Preprint Arxiv, https://arxiv.org/abs/2104.04899.
[18] LI C, ZHAO N, LU Y, et al. Weighted sparse representation regularized graph learning for RGB-T object tracking[C]// ACM on Multimedia Conference. ACM, 2017: 1856-1864.
[19] 白玉, 侯志强, 刘晓义, 等. 基于可见光图像和红外图像决策级融合的目标检测算法[J]. 空军工程大学学报, 2020, 21(6): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm BAI Yu, HOU Zhiqiang, LIU Xiaoyi, et al. Target detection algorithm based on decision level fusion of visible and infrared images[J]. Journal of Air Force Engineering University, 2020, 21(6): 53-59. https://www.cnki.com.cn/Article/CJFDTOTAL-KJGC202006009.htm
计量
- 文章访问数: 776
- HTML全文浏览量: 129
- PDF下载量: 169
