Local Fusion Algorithm of Infrared and Visible Light Images Based on Double-Branch Convolutional Neural Network
-
摘要: 红外图像和可见光图像均存在一定的局限性，依靠单个种类图像无法满足工程实际需求，可通过引入图像融合技术，获取高质量的融合图像。为更好保障输出信息特征的多样性，本文引入一种双分支卷积神经网络实现红外与可见光图像局部融合；在双分支卷积神经网络基础上，同时从红外图像、可见光图像得到跨渠道信息、渠道内信息种特征，增加了融合图像的信息量。采用整数小波变换方法进行图像压缩。建立颜色空间模型时，合理调节t因子的数值，获得理想的融合图像。实验结果表明，与现有方法相比，本方法融合后图像边缘信息得到充分保留，图像细节得到增强，红外与可见光图像融合效果更好。Abstract: Both infrared and visible images have certain limitations, and relying on individual types of images cannot meet the practical needs of engineering. Instead, high-quality fused images can be obtained by introducing image fusion techniques. To better guarantee the diversity of the output information features, this study introduces a dual-branch convolutional neural network to achieve local fusion of infrared and visible images. Based on the dual-branch convolutional neural network, red and blue features are obtained from infrared images and visible light images simultaneously, thereby increasing the amount of information in the fusion image. The integer wavelet transform method is used for image compression. When the color-space model is built, the value of the t-factor is adjusted to obtain an ideal fusion image. The experimental results show that the edge information of the image after the fusion of this method is fully preserved, image detail information is enhanced, and fusion effect of infrared and visible images is improved, compared with the existing methods.
-
0. 引言
火灾是受到广泛重视的灾害之一，对火焰进行快速、准确的检测是保证消防安全，降低火灾危害的关键。传统的火灾检测方法如烟雾传感器、温度传感器等通常针对特定的位置进行监测，存在范围小、响应慢等问题，对应用环境有较高的要求。随着计算机视觉的发展，基于视频的火焰检测方法（video-based fire detection，VFD）成为火灾检测的一种重要途径[1]。基于视频可以对火灾进行远距离、大范围的持续监测，同时可以对火灾进行准确的定位，对火焰的起始位置、规模、增长速率、传播方向等进行分析，作为确定消防方案的依据。
基于视频的火焰检测方案通常分为可见光波段的火焰检测和红外波段的火焰检测两类，根据火焰颜色和形状及其随时间的变化趋势进行检测。可见光波段可以取到清晰、准确的火焰边界，具有丰富的几何信息和纹理信息，但数据量大，抗干扰性较差。相比可见光波段，在红外波段进行检测可以降低干扰物数量，简化目标特征的提取过程，减轻环境变化如光照、气候的影响，且对烟雾遮挡具有较好的穿透性，较可见光波段更适用于火焰的检测，本文采用红外波段作为火焰检测的波段。
火焰检测常用描述特征包括其轮廓的变换域描述子、几何特征、形状描述矩、运动特征等[2-5]。其中闪烁现象作为火焰特有的运动特征，可以有效地对火焰和常见形变干扰物进行区分。本文在传统特征的基础上，对火焰的闪烁过程进行了更准确的描述，显著提高了识别算法的准确率。
1. 火焰闪烁特性分析
火焰的闪烁过程指在燃烧过程中由于热对流、重力、湍流等共同作用产生的复杂现象，表现为火焰形状高频率的无序变化，是火焰燃烧不稳定性的反映[6-7]。闪烁在一定程度上反映了火焰的燃烧特性，其中伸展闪烁与火焰的燃烧面积有较好的相关性[8-9]。火焰燃烧过程中的空气来自外部环境空气的扩散，其中心区域所需的空气经过四周火焰并被不断消耗。随着火焰面积的增加，环境空气的扩散行程和扩散损耗增大，火焰中心的空气积蓄过程更加缓慢，火焰更加稳定，闪烁频率降低。Takahashi[10]等对不同尺度火焰的燃烧和闪烁现象进行了分析，得到如(1)所述的经验公式：
$$ {f^2} = \frac{{3.1}}{D} $$ (1) 式中：D为火源等效燃烧直径，根据该公式可以通过测量的闪烁频率对火焰的真实尺度进行估计。
现阶段对火焰闪烁频率的描述通常基于视场内像素的整体特征，如面积、周长等几何特征，累计灰度变化、灰度直方图等像素统计特征，轮廓变换域描述子等整体形状特征[6, 8-9, 11-12]。这类描述方式通常基于目标的全局特性，忽略了火焰像素的局部差异性，抗干扰性较差，特别是对复杂背景环境下的红外形变干扰物如动物、遮挡热源等缺乏有效的区分能力。本文基于火焰边缘像素的运动特征和分布概率构造了闪烁的非均匀形变模型，对火焰的闪烁过程进行了更准确的描述，增强了对火焰和形变、运动干扰物的区分能力，同时结合隐马尔科夫模型对火焰的闪烁频率进行了计算，以对火焰真实尺度进行粗略估计。
2. 闪烁过程的约束非均匀形变特征
采用图 1(a)中方框区域的火焰作为示例目标。该测试视频中包括两个微小火源和一个规则干扰物。直接采用Canny算子提取的边缘如图 1(b)所示，大量无关干扰边缘也被提取了出来，这增大了后续处理的数据量，降低了火焰目标检测和识别的效率。本文在Canny算子的基础上增加了邻域灰度约束条件，对提取的边缘进行筛选，得到的实际轮廓如图 1(c)所示，图中的3个轮廓分别为火点1、火点2、大面积干扰物。对左侧火点(火点1)进行进一步分析，该火点的像面尺寸为10×15像素，如图 1(d)为该火焰目标在连续20帧内轮廓的变化过程，可以看出其帧间轮廓变化不具有规律性，但整体上具有约3次完整的涨落过程，且具有稳定的涨落边界。
2.1 轮廓像素的时域分布特征分析
如图 2(a)为1s内目标火焰的轮廓像素序列，可以看出火焰轮廓在该时间区间内持续变化，轮廓的变化过程通常发生在火焰的锋面区域，其基部轮廓像素通常保持稳定。因此火焰的轮廓像素在其闪烁过程中的变化具有非均匀性，基部区域火焰轮廓像素较为稳定，锋面区域火焰轮廓像素存在剧烈的变化。
对火焰轮廓像素在时域进行积分，得到图 2(b)所示的轮廓像素积分概率图，可以看出其轮廓像素的累计概率具有独特的分布特征。火焰基部的轮廓像素具有较大的累计概率，且截面宽度较小，这表明该部分轮廓像素在当前时间区间内持续稳定存在，不具有明显的变化，帧间波动被限制在一个较狭窄的范围内; 而火焰锋面的轮廓像素累计概率值较低，截面宽度较大，具有较为分散的分布。整体上看越接近基部区域，轮廓像素的时域分布越集中; 越接近锋面区域，轮廓像素的时域分布越分散。这一分布特征可以作为火焰和形变干扰物区分的依据。
2.2 基于轮廓像素时域积分分布特征的火焰识别
2.2.1 轮廓点概率分布主曲线拟合
为描述目标轮廓分布的非均匀性，需要对分散分布的离散轮廓点云进行拟合，得到轴线轮廓作为轮廓描述的基准。该轴线轮廓可以通过主曲线拟合方法得到。主曲线指穿过一组离散点样本中心的自相合光滑曲线，给定数据点围绕该曲线近似对称，因而可以将该曲线作为点云分布的拟合表示。
传统无参数主曲线拟合方法鲁棒性较差，计算复杂，Kegl等[13]引入了K主曲线，基于多边形逼近的方法对主曲线进行拟合，并引入长度约束条件和最小距离期望条件对逼近过程进行约束，增强了主曲线拟合过程的收敛性和无偏性，对给定样本点集Xn，规定长度小于等于给定长度L的k阶曲线簇为Sk，则X的k阶主曲线fk*满足最小平方距离期望条件，即有：
$$ \begin{array}{l} f{*_k} = {f_{k, n}} = \arg {\min _{f \in {S_k}}}{\Delta _n}(f), \\ {\Delta _n}(f){\rm{ = }}\frac{1}{n}\sum\nolimits_{i = 1}^n {\mathop {\min }\limits_t {{\left\| {x - f(t)} \right\|}^2}} \end{array} $$ (2) 式中：f(t)表示k阶曲线f内的任意点。其拟合过程如下：
1）初始化，提取包含所有可能投影点的最短主成分线段f1, n作为初始曲线;
2）样本点投影，区别于样本点到主曲线的投影方法，k主曲线拟合根据样本点到k阶多边形各个顶点v1, …, vk+1和边s1, …, sk的距离将样本点集Xn投影到2k+1个独立的集合中，得到投影子集V1, …, Vk+1和S1, …, Sk;
3）顶点坐标优化，遍历当前顶点，对闭合拟合多边形曲线的顶点vi，根据样本点{x: x∈Si-1, Vi, Si}计算拟合误差Ei，调整vi使拟合误差最小;
4）增加顶点，对具有最大样本点容量的子集Si，取其两端顶点坐标的平均坐标${v_{{\rm{new}}}} = ({v_i} + {v_{i + 1}})/2$作为新的顶点坐标。若多个子集Si具有相同容量，则优先采用对应边si更长的边界;
5）重复2）3）4）过程，直到满足迭代终止条件;
为提高算法效率，本文基于轮廓像素分布点云最大内接多边形、最小外接多边形对应顶点的平均坐标构造了多边形fk0, n，替代f1, n作为初始拟合曲线。且适当增加了单次迭代过程的补充顶点数。考虑到真实轮廓点为离散坐标点，对拟合主曲线进行离散坐标近似，得到图 3所示的拟合轮廓。其中红色离散点为拟合轮廓点，与轮廓像素分布的实际中心线较为接近。
2.2.2 拟合轮廓点邻域分布特征提取
对拟合轮廓上的各像素点，可以通过其邻域像素的统计特征描述火焰轮廓在该区域的存在概率分布特性。从锋面轮廓到基部轮廓的边缘像素点积分概率增大，截面宽度减小，法向概率梯度增大。计算轮廓点邻域像素分布特征需要对邻域像素点进行提取，对拟合轮廓点(xi, yi)，其法向邻域点(xj, yj)应该满足式(3)：
$$ \frac{{({y_j} - {y_i})}}{{({x_j} - {x_i})}} = {\rm{di}}{{\rm{r}}_i}, {\rm{di}}{{\rm{r}}_i} = \frac{{({x_{i - 1}} - {x_{i + 1}})}}{{({y_{i + 1}} - {y_{i - 1}})}} $$ (3) 式中：diri表示当前轮廓点的法向矢量方向。
由于真实图像采用离散坐标形式表述，采用上述直线方程提取邻域像素需要进行坐标近似。为了对邻域像素进行更准确的提取，构造离散化邻域像素模板以简化拟合轮廓点邻域像素的提取过程，同时对邻域点样本数量做出规范，如图 4所示。模板包括中心像素在内共21个样本点，其中黑色像素为当前轮廓点，灰色像素为提取的法向邻域像素。
根据式(4)将轮廓点的法向矢量按照斜率近似地划分为8个方向，构造适合的邻域像素模板以提取包括当前拟合轮廓点Pi在内的21个邻域像素点集合$\{ ({x_n}, {y_n})|{p_n} \in {\rm{Mas}}{{\rm{k}}_i}({P_i})\} $。基于该邻域像素集计算当前轮廓点的邻域统计特征，部分统计特征随轮廓点位置的分布如图 5所示，其中(a)为轮廓点法向的有效截面宽度，(b)为距离中心像素曼哈顿距离为1的邻域像素点均值，(c)为邻域像素点整体方差，(d)为基于距离中心像素的曼哈顿距离计算的法向梯度。可以看出火焰轮廓的统计特征变化趋势与积分概率图分布吻合，这表明采用主曲线方法拟合的火焰平均轮廓较为准确。其中法向梯度与轮廓分布的约束范围和积分概率值同时相关，可以充分地反映火焰基部轮廓和锋面轮廓邻域像素分布的差异性，因此本文采用梯度分布作为代表特征对闪烁过程中轮廓像素分布的非均匀性进行描述。
$$ {\rm{true}}\, {\rm{Mas}}{{\rm{k}}_i} = \left\{ {\begin{array}{*{20}{c}} {{\rm{Mas}}{{\rm{k}}_1}}&{ - 0.1989 < {\rm{di}}{{\rm{r}}_i} \le 0.1989}\\ {{\rm{Mas}}{{\rm{k}}_2}}&{ - 0.6682 < {\rm{di}}{{\rm{r}}_i} \le - 0.1989}\\ {{\rm{Mas}}{{\rm{k}}_3}}&{ - 1.4966 < {\rm{di}}{{\rm{r}}_i} \le - 0.6682}\\ {{\rm{Mas}}{{\rm{k}}_4}}&{ - 5.0273 < {\rm{di}}{{\rm{r}}_i} \le - 1.4966}\\ {{\rm{Mas}}{{\rm{k}}_5}}&{{\rm{di}}{{\rm{r}}_i} \le - 5.0273{\rm{ or di}}{{\rm{r}}_i} > 5.0273}\\ {{\rm{Mas}}{{\rm{k}}_6}}&{1.4966 < {\rm{di}}{{\rm{r}}_i} \le 5.0273}\\ {{\rm{Mas}}{{\rm{k}}_7}}&{0.6682 < {\rm{di}}{{\rm{r}}_i} \le 1.4966}\\ {{\rm{Mas}}{{\rm{k}}_8}}&{0.1989 < {\rm{di}}{{\rm{r}}_i} \le 0.6682} \end{array}} \right. $$ (4) 2.2.3 基于法向梯度分布的非均匀性表征
对典型火焰和干扰物的红外视频进行分析，对比其轮廓像素在时域行为上的差异，所选样本的轮廓像素时域积分图如图 6(a)所示，像素灰度值反应了当前像素的累计出现概率。样本从左到右依次为真实火焰、稳定热源、运动热源、动态遮挡的热源，其法向梯度分布如图(b)~(d)左侧图所示。可以看出，真实火焰的梯度分布表现出显著的的单峰特性，即有且仅有一段连续分布的稳定边缘区，且该稳定边缘长度有限; 稳定热源的轮廓边缘全局稳定，部分区域存在边缘误差引起的微小波动; 运动热源与遮挡热源的轮廓分布有较高的无序性，梯度通常表现为多峰分布。通过对梯度分布的单峰特征进行描述，可以对火焰和此类干扰物进行有效区分。
![]()
图 6 部分样本轮廓时域分布及对应梯度特征Figure 6. Contour pixel temporal distribution and gredient feature采用极大值、方差、峰度特征等统计特征描述目标拟合轮廓全局梯度分布与去峰梯度分布的统计差异，其中峰度特征用于描述数据分布的起伏程度，表示为如下形式：
$$ {g_2} = \frac{{\frac{1}{n}\sum\nolimits_{i = 1}^n {{{({x_i} - \overline x )}^4}} }}{{{{(\frac{1}{n}\sum\nolimits_{i = 1}^n {{{({x_i} - \overline x )}^2}} )}^2}}} - 3 $$ (5) 式中：xi表示第i个轮廓点的法向梯度值。全局统计特征根据当前所有有效轮廓点计算，去峰统计特征为去除最高峰部分轮廓后剩余样本点的统计特征。根据峰值和全局统计特征动态确定峰值区域的前后轮廓边界，可以较完整地去除最稳定的连续轮廓，去峰梯度分布如图 6(b)~(e)右侧所示。
上述样本的全局统计特征和去峰统计特征如表 1所示，样本1、2、3、4分别为真实火焰，稳定热源，运动热源，动态遮挡热源。真实火焰的分布具有明显的单峰性，因此其全局分布特征和去峰分布特征具有显著的差异性，去峰分布的峰值、方差、峰度均明显下降; 其他干扰物通常不具有唯一、连续的峰值区域，去除最大峰值区域对整体分布特征的影响较小，统计特征不具有显著的变化。因此根据全局梯度分布与去峰后梯度分布的统计特征差异可以对火焰和干扰物做出有效的区分。
表 1 不同样本全局分布与去峰分布统计特征Table 1. Statical features of all pixels and non-peak pixels of different sampleSample No. Peak Value Flattened Peak Variance Flattened Var. Kurtosis Flattented Kurt. 1 38.5 10 1.194 0.1711 0.7987 -0.1611 2 115 105 90.67 117.8 0.1975 1.7610 3 20 16 0.2324 0.1712 1.452 1.105 4 8.7 7.5 0.0015 0.0022 1.325 1.133 3. 基于隐马尔科夫模型的闪烁频率估计
火焰的闪烁频率通常采用火焰高度或面积时域变化曲线的频域峰值进行计算[6]。该方式在室内稳定环境下对单束火焰有较好的计算效果，但自然环境下的火焰具有随机的伸展方向和不稳定的闪烁频率，其涨落间隔通常在区间范围内随机变化，这导致传统的变换域方法无法提取准确的峰值频率。
根据火焰的闪烁过程可以看出火焰的轮廓存在收缩极限和伸展极限，轮廓像素在约束范围内变化。根据当前轮廓锋面像素到收缩极限和伸展极限的距离定义涨落行程L，描述当前轮廓与形变极限的接近程度。该特征可以较为充分地反映火焰当前的状态，相比高度、面积等有更强的抗干扰性。采用涨落行程差ΔL作为可观测状态构造隐马尔科夫模型对一定时间范围内的火焰闪烁次数进行估计。将火焰的时域状态分类为3个隐状态，稳定期S1、收缩期S2、伸展期S3，其状态转移概率取决于火焰当前的涨落行程L，可观测状态ΔL的取值取决于当前所处的隐状态，则有对应的状态转移概率矩阵${\mathit{\boldsymbol{A}}_{3, 3}} = \{ p({s_i}|{s_j}) = {f_{ij}}({L_j})\} $和输出概率矩阵${\mathit{\boldsymbol{B}}_{3, 1}} = \{ p(\Delta L|{s_i}) = {f_i}(\Delta L)\} $。根据样本的ΔL序列计算最大概率隐状态链，则闪烁频率估计为：
$$ {f_{\rm{e}}} = \frac{{n - 1}}{{2\sum\nolimits_{i = 2}^n {(t(i) - t(i - 1))} }} $$ (6) 式中：n表示状态S2→S3或S3→S2的状态变化累计次数; t(i)－t(i－1)表示两次状态变化间的时间间隔。根据fe可以进一步估计火焰的真实尺度，对样本测试火焰，其闪烁频率估计为2.6 Hz，估计截面积为0.46 m2，根据视频参照，其真实尺度约0.65 m2，误差在接受范围内。
4. 实验及结果分析
结合累计面积变化率、形变非均匀性度量、隐马尔科夫模型（hidden Markov model, HMM）闪烁次数构造特征向量用于火焰检测，特征向量表示为${S_8}\{ \Delta A, M, V, K, M', V', K', {f_{\rm{e}}}\} $，采用非线性支持向量机（support vector machine, SVM）对火焰进行检测，部分样本来自红外视频数据库[14]，部分样本采用红外相机采集，样本包括无遮挡火焰、遮挡火焰、运动目标、形变目标、稳定热源。并将检测结果与采用经典特征检测方法的进行了对比，其真阳性率（true positive rate, TPR）、假阳性率（false positive rate, FPR）、真阴性率（true negative rate, TNR）、假阴性率（false negative rate, FNR）结果如表 2所示。3种算法对严重遮挡的火焰均不能正确识别，对无遮挡火焰具有较好的识别效果，组合几何特征和像素闪烁特征大尺度火焰识别效果较好，对多数微小火焰不能正确识别，非均匀形变特征在一定程度上改善了这一问题，将火焰的识别率提高到了81.67%。采用经典特征对多数形变、运动干扰物的区分能力较差，如动物、植被遮挡、水面反射目标等，存在不可忽略的虚警问题，引入非均匀形变特征后，对多数形变目标和运动目标有较好的排除效果，虚警率降低到了10%，这表明非均匀形变特征在对多数干扰物的排除上有较好的效果。对于部分与火焰闪烁极为相似的目标，3种算法都产生了误报，需要结合其他特征进一步地对干扰物进行排除。综上，本文补充的特征显著地降低了检测的虚警率，增强了算法的鲁棒性，更适用于多干扰物复杂环境下对火焰的检测。
表 2 不同特征检测结果对比Table 2. Experimental results comparison of different featuresFeatures TPR FPR TNR FNR Inhomogeneous deformation 81.67% 10.00% 90.00% 18.33% Combination of geometric features 70.00% 31.67% 68.33% 30.00% Pixel flicker 71.67% 55.00% 45.00% 28.33% 5. 结束语
本文算法通过引入非均匀形变约束条件，对火焰轮廓像素的时域行为做出了更准确的描述。算法显著降低了识别算法的虚警率，提高了检测的准确性和可信性，降低了实际应用场景中对人工复核的依赖程度，有较大的使用价值。但对存在严重遮挡的火焰识别能力有限，还有进一步改进的空间。
-
![]()
图 7 实验数据集中的一组红外图像（左侧）和可见光图像（右侧）
Figure 7. A set of infrared images (left) and visible light images (right) in the experimental dataset
![]()
图 8 红外与可见光融合图像在细节部分的实验对比
Figure 8. Experimental comparison of infrared and visible light fusion images in the detail part
表 1 本实验的结果对比
Table 1 Comparison of the results of this experiment
Evaluation standard Reference [4] Proposed Promote /% Reference [5] Proposed Promote /% Reference [6] Proposed Promote /% RMSE 4.62 3.78 +18.2% 4.96 3.78 +23.8% 4.62 3.78 +18.2% AMSLE 1.54 0.98 +36.4% 2.01 0.98 +51.2% 2.41 0.98 +48.1% Fuzzy entropy 4.69 6.23 +32.8% 5.95 6.23 +4.7% 4.59 6.23 +35.7% Time/s 121.81 136.12 -11.7% 58.09 136.12 -134.3% 61.24 136.12 -122.3% 
下载: 导出CSV
-
[1] 朱莹, 夏亦犁, 裴文江. 基于改进的BEMD的红外与可见光图像融合方法[J]. 计算机科学, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm ZHU Ying, XIA Yili, PEI Wenjiang. Infrared and visible image fusion method based on improved BEMD[J]. Computer Science, 2020, 47(3): 124-129. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJA202003022.htm
[2] 苏金凤, 张贵仓, 汪凯. 结合鲁棒主成分分析和非下采样轮廓波变换的红外与可见光图像的压缩融合[J]. 激光与光电子学进展, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm SU Jinfeng, ZHANG Guicang, WANG Kai. Compression and fusion of infrared and visible images combined with robust principal component analysis and non-subsampled contourlet transform[J]. Advances in Lasers and Optoelectronics, 2020, 57(4): 84-93. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202004008.htm
[3] 邓秋菊, 王宁. 非下采样轮廊波变换的红外与可见光图像融合[J]. 激光杂志, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm DENG Qiuju, WANG Ning. Infrared and visible image fusion based on non-subsampling contour wave transform[J]. Laser Journal, 2020, 41(4): 92-95. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ202004018.htm
[4] 王兴龙, 朱芳. 基于双通道PCNN的NSST域红外与可见光图像融合[J]. 平顶山学院学报, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011 WANG Xinglong, ZHU Fang. Fusion of infrared and visible light images in NSST domain based on dual-channel PCNN[J]. Journal of Pingdingshan University, 2020, 35(2): 55-61. DOI: 10.3969/j.issn.1673-1670.2020.02.011
[5] 陈潮起, 孟祥超, 邵枫, 等. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm CHEN Chaoqi, MENG Xiangchao, SHAO Feng, et al. A fusion method of infrared and visible light images based on multi-scale low-rank decomposition[J]. Acta Optics Sinica, 2020, 40(11): 72-80. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202011008.htm
[6] 沈瑜, 陈小朋, 苑玉彬, 等. 基于显著矩阵与神经网络的红外与可见光图像融合[J]. 激光与光电子学进展, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm SHEN Yu, CHEN Xiaopeng, YUAN Yubin, et al. Fusion of infrared and visible light images based on saliency matrix and neural network[J]. Advances in Lasers and Optoelectronics, 2020, 57(20): 76-86. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202020009.htm
[7] 张贵仓, 苏金凤, 拓明秀. DTCWT域的红外与可见光图像融合算法[J]. 计算机工程与科学, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011 ZHANG Guicang, SU Jinfeng, TUO Mingxiu. Infrared and visible light image fusion algorithm in DTCWT domain[J]. Computer Engineering and Science, 2020, 42(7): 1226-1233. DOI: 10.3969/j.issn.1007-130X.2020.07.011
[8] 任立成, 刘勇, 张建林, 等. 基于特征融合的双分支模板更新跟踪算法[J]. 国外电子测量技术, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm REN Licheng, LIU Yong, ZHANG Jianlin, et al. Two-branch template update tracking algorithm based on feature fusion[J]. Foreign Electronic Measurement Technology, 2021, 40(5): 14-21. https://www.cnki.com.cn/Article/CJFDTOTAL-GWCL202105006.htm
[9] 吴佼华, 杨学志, 方帅, 等. 基于双分支卷积神经网络的SAR与多光谱图像融合实验[J]. 地理与地理信息科学, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004 WU Jiaohua, YANG Xuezhi, FANG Shuai, et al. Experiment of SAR and multispectral image fusion based on double-branch convolutional neural network[J]. Geography and Geographic Information Science, 2021, 37(2): 22-30. DOI: 10.3969/j.issn.1672-0504.2021.02.004
[10] 薛盼盼, 刘云, 李辉, 等. 基于时域扩张残差网络和双分支结构的人体行为识别[J/OL]. 控制与决策: 1-10[2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648. XUE Panpan, LIU Yun, LI Hui, et al. Human Behavior Recognition Based on Time Domain Dilated Residual Network and Dual Branch Structure [J/OL]. Control and Decision: 1-10. [2021-09-29]. https://doi.org/10.13195/j.kzyjc.2021.0648.
[11] 张雪, 孟令灿, 聂秀山. 基于双分支网络特征融合的车辆重识别方法[J]. 数据采集与处理, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm ZHANG Xue, MENG Lingcan, NIE Xiushan. Vehicle re-identification method based on dual-branch network feature fusion[J]. Data Collection and Processing, 2021, 36(3): 468-476. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ202103005.htm
[12] 贺双龙, 杨斌. 基于局部结构和视觉显著特征的红外和可见光图像泊松重构融合算法[J]. 南华大学学报: 自然科学版, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm HE Shuanglong, YANG Bin. Poisson reconstruction fusion algorithm for infrared and visible light images based on local structure and visual salient features[J]. Journal of University of South China: Natural Science Edition, 2020, 34(5): 62-70, 76. https://www.cnki.com.cn/Article/CJFDTOTAL-ZNGB202005011.htm
[13] 周哓玲, 江泽涛. 结合脉冲耦合神经网络与引导滤波的红外与可见光图像融合[J]. 光学学报, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm ZHOU Weiling, JIANG Zetao. Fusion of infrared and visible light images combined with pulse-coupled neural network and guided filtering[J]. Journal of Optics, 2019, 39(11): 132-139. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201911016.htm
[14] 刘明君, 董增寿. 基于多特征的红外与可见光图像融合[J]. 激光杂志, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm LIU Mingjun, DONG Zengshou. Fusion of infrared and visible light images based on multi-features[J]. Laser Journal, 2019, 40(10): 81-85. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201910017.htm
[15] 王宁, 周铭, 杜庆磊. 一种红外可见光图像融合及其目标识别方法[J]. 空军预警学院学报, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004 WANG Ning, ZHOU Ming, DU Qinglei. An infrared and visible light image fusion and its target recognition method[J]. Journal of Air Force Early Warning Academy, 2019, 33(5): 328-332. DOI: 10.3969/j.issn.2095-5839.2019.05.004
[16] 宫睿, 王小春. BEMD分解和W变换相结合的红外与可见光图像融合[J]. 中国图象图形学报, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm GONG Rui, WANG Xiaochun. Fusion of infrared and visible light images combined with BEMD decomposition and W transform[J]. Chinese Journal of Image and Graphics, 2019, 24(6): 987-999. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB201906014.htm
[17] 张雷雷, 王铎. 基于局部能量和邻域信息的红外与可见光图像融合[J]. 光电技术应用, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005 ZHANG Leilei, WANG Duo. Fusion of infrared and visible light images based on local energy and neighborhood information[J]. Application of Optoelectronic Technology, 2019, 34(3): 19-22. DOI: 10.3969/j.issn.1673-1255.2019.03.005
[18] 荣传振, 贾永兴, 吴城, 等. 红外与可见光图像分解与融合方法研究[J]. 数据采集与处理, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm RONG Chuanzhen, JIA Yongxing, WU Cheng, et al. Research on infrared and visible image decomposition and fusion methods[J]. Data Acquisition and Processing, 2019, 34(1): 146-156. https://www.cnki.com.cn/Article/CJFDTOTAL-SJCJ201901015.htm
[19] 冯鑫. Tetrolet框架下红外与可见光图像融合[J]. 光子学报, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm FENG Xin. Fusion of infrared and visible light images under Tetrolet framework[J]. Acta Photonica Sinica, 2019, 48(2): 76-84. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201902010.htm
[20] 朱平哲. 基于DCT与PSO的可见光与红外图像融合方法[J]. 新疆大学学报: 自然科学版, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm ZHU Pingzhe. Visible light and infrared image fusion method based on DCT and PSO[J]. Journal of Xinjiang University: Natural Science Edition, 2018, 35(4): 452-458. https://www.cnki.com.cn/Article/CJFDTOTAL-XJDZ201804011.htm
[21] 孔玲君, 张志华, 曾茜, 等. 基于NSST和SWT的红外与可见光图像融合算法研究[J]. 包装工程, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm KONG Lingjun, ZHANG Zhihua, ZENG Qian, et al. Research on infrared and visible light image fusion algorithm based on NSST and SWT[J]. Packaging Engineering, 2018, 39(19): 216-222. https://www.cnki.com.cn/Article/CJFDTOTAL-BZGC201819038.htm
[22] 邱泽敏. 结合区域与边缘特征的红外与可见光图像融合算法[J]. 红外技术, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008 QIU Zemin. Infrared and visible image fusion algorithm combining region and edge features[J]. Infrared Technology, 2018, 40(5): 449-454. http://hwjs.nvir.cn/article/id/hwjs201805008
[23] 朱亚辉. 聚类分析的红外与可见光融合质量指标相似性研究[J]. 计算机系统应用, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037 ZHU Yahui. Research on the similarity of infrared and visible light fusion quality indicators based on cluster analysis[J]. Computer System Applications, 2018, 27(2): 216-222. DOI: 10.3969/j.issn.1003-3254.2018.02.037
[24] 吴冬鹏, 毕笃彦, 马时平, 等. 边缘和对比度增强的NSST域红外与可见光图像融合[J]. 红外技术, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011 WU Dongpeng, BI Duyan, MA Shiping, et al. Edge and contrast enhanced fusion of NSST domain infrared and visible light images[J]. Infrared Technology, 2017, 39(4): 358-364. http://hwjs.nvir.cn/article/id/hwjs201704011
[25] 傅志中, 王雪, 李晓峰, 等. 基于视觉显著性和NSCT的红外与可见光图像融合[J]. 电子科技大学学报, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm FU Zhizhong, WANG Xue, LI Xiaofeng, et al. Fusion of infrared and visible light images based on visual saliency and NSCT[J]. Journal of University of Electronic Science and Technology of China, 2017, 46(2): 357-362. https://www.cnki.com.cn/Article/CJFDTOTAL-DKDX201702007.htm
[26] 李昌兴, 王志强. 基于视觉特性的红外与可见光图像融合[J]. 西安邮电大学学报, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm LI Changxing, WANG Zhiqiang. Fusion of infrared and visible light images based on visual characteristics[J]. Journal of Xi'an University of Posts and Telecommunications, 2016, 21(6): 98-102. https://www.cnki.com.cn/Article/CJFDTOTAL-XAYD201606017.htm
[27] 周华兵, 侯积磊, 吴伟, 等. 基于语义分割的红外和可见光图像融合[J]. 计算机研究与发展, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm ZHOU Huabing, HOU Jilei, WU Wei, et al. Fusion of infrared and visible light images based on semantic segmentation[J]. Journal of Computer Research and Development, 2021, 58(2): 436-443. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ202102020.htm
[28] 张蕾. 采用改进平均梯度与自适应PCNN的图像融合[J]. 计算机应用与软件, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm ZHANG Lei. Image fusion using improved average gradient and adaptive PCNN[J]. Computer Applications and Software, 2021, 38(3): 218-223. https://www.cnki.com.cn/Article/CJFDTOTAL-JYRJ202103034.htm
-
期刊类型引用(4)
1. 陈秋艳，贺敏，张新燕，陈泽锋，潘中清，罗睿. 基于图像处理的复杂场景火焰识别与火灾判定方法. 国外电子测量技术. 2024(05): 144-153 . 
百度学术
2. 赵阳，刘俊蕾，付旭峰，王征，王海懿. 基于卷积神经网络的火焰智能识别研究. 自动化技术与应用. 2023(11): 64-67 . 百度学术
3. 常丽，张雪，蒋辉，杨娟，万紫玉. 融合YOLOv5s与SRGAN的实时隧道火灾检测. 电子测量与仪器学报. 2022(08): 223-230 . 百度学术
4. 马庆禄，马恋，孔国英，赵映慈. 基于红外热成像的隧道火焰检测技术研究. 火灾科学. 2022(04): 244-251 . 百度学术
其他类型引用(6)
计量
- 文章访问数: 183
- HTML全文浏览量: 125
- PDF下载量: 39
- 被引次数: 10
