Infrared and Visible Image Fusion Algorithm Based on Regional Similarity
-
摘要: 针对传统的红外图像与可见光图像融合算法存在局部模糊、背景信息不完整的问题，文章提出了一种新的融合算法。使用边缘检测算子实现图像轮廓的提取，同时还进行基于能量的加权融合处理；使用区域间相似度的方法实现信号域的提取，最后根据过信号强度进行图像的融合。为了验证算法的正确性，文章进行了对比测试，同时还使用标准差、信息熵和平均梯度3个参数进行了定量分析，本文方法和传统的加权平均算法相比标准差最大提高106.3%，测试结果表明，本文提出的融合方法融合效果更好，具有一定的实用价值。Abstract: To address the problems of local blur and incomplete background information in the traditional fusion algorithm of infrared and visible images, a new fusion algorithm is proposed in this paper. The edge detection operator was used to extract the image contour, and weighted fusion based on energy was also executed. The similarity between regions was used to extract the signal domain. Finally, image fusion is performed according to the over-signal strength. To verify the correctness of the algorithm, a comparative test was conducted and a quantitative analysis was performed using three parameters: standard deviation, information entropy, and average gradient. Compared with the traditional weighted average algorithm, the standard deviation of this method was up to 106.3 %. The test results confirmed that the fusion method proposed in this study has a better fusion effect and practical value.
-
Keywords:
- infrared image /
- fusion algorithm /
- edge detection /
- similarity
-
0. 引言
机载三轴稳定平台广泛应用于遥感成像领域，其主要作用就是隔离载机运动等因素带来的扰动，减小飞行器姿态角带来的变化，保证成像质量[1]。现需研制一台具有高精度的三轴稳定平台，使搭载在平台上的垂视相机和高光谱相机两种线阵相机工作在稳定的成像环境中，获得高质量的图像数据。
传统的机载三轴平台机械传动往往采用电机直驱或带有减速箱的传动机构。这些方式均不能满足成像载荷质量大，稳定平台质量小于59.8 kg的指标要求。钢丝绳传动具有高精度、低空回、重量轻等特点，所以采用了钢丝绳传动机构。但是钢丝绳传动会带来一定的柔性传动，在线阵相机成像这种高精度的场合往往不能忽略，会带来图像的抖动和畸变。传统的PID（proportion integration differentiation）控制很难满足高成像质量的要求，张洪文针对某遥感扫描组件消旋组件同步提出双电机驱动，采用独立的位置环和速度环控制钢丝绳传动，同步精度达到了0.5 mrad[3]；谢宏伟在实验中确定了预紧力、负载、绳组数、转速对传动精度的影响[4]。但是以上稳定平台的成像载荷均比较小，没有明显暴露出钢丝绳传动的缺点，在这次实际工程中，两个成像载荷的重量高达21.3 kg，稳定精度的技术指标为0.35mrad，对控制算法的设计提出更高的要求。
本文主要是为了改善钢丝绳传动的三轴转台非线性干扰，设计出一种模糊自适应和前馈复合控制的策略，最后通过仿真和实验验证该控制策略的有效性。
1. 控制系统的数学模型
1.1 钢丝绳传动系统的建模
本实验的稳定平台都是小幅有限角运动，钢丝绳机构如图 1所示，结构图如图 2所示，采用ROT-LOK型结构[3-4]。在往复运动中，钢丝绳上不断变化的张力会对传动系统引入传动空回。
根据结构的空间和刚性选择4组绳组数，被动轮上每组钢丝绳的一端都串联预紧弹簧用以调节钢丝绳的预紧力，可以在实验中精确地调节弹簧的长度来选取合适的预紧力[5-6]。钢丝绳上的预紧力为Fp，负载力为Fl，钢丝绳的变形量为δ，被动轮与主动轮的半径是Ro, Ri，AE是刚度即横截面积与弹性模量的乘积，μ为摩擦系数，钢丝绳的模型为：
$$ {\delta _{\text{o}}} = \int {\frac{{{R_{\text{o}}}({F_{\text{p}}} + {F_{\text{l}}}){{\text{e}}^{ - \mu \theta }}}}{{{\text{AE}}}}} {\text{d}}\theta - \int {\frac{{{R_{\text{o}}}({F_{\text{p}}} - {F_{\text{l}}}){{\text{e}}^{\mu \theta }}}}{{{\text{AE}}}}{\text{d}}\theta } $$ (1) $$ {\delta _{\text{i}}} = \int {\frac{{{R_{\text{i}}}({F_{\text{p}}} + {F_{\text{l}}}){{\text{e}}^{ - \mu \theta }}}}{{{\text{AE}}}}} {\text{d}}\theta - \int {\frac{{{R_{\text{i}}}({F_{\text{p}}} - {F_{\text{l}}}){{\text{e}}^{\mu \theta }}}}{{{\text{AE}}}}{\text{d}}\theta } $$ (2) 则钢丝绳的传动空回e为：
$$ e = \frac{{{\delta _{\text{o}}}}}{{{R_{\text{o}}}}} + \frac{{{\delta _{\text{i}}}}}{{{R_{\text{i}}}}} $$ (3) 1.2 直流电机模型
机载三轴稳定平台会涉及到多框架耦合等问题，但本文研究的是钢丝绳传动对伺服造成的影响，所以等效为3个相同的控制系统进行设计，由电机的工作原理可以推出电压平衡方程[7]：
$$ {U_{\text{d}}} - {K_{\text{i}}}{I_{\text{d}}} = L{\dot I_{\text{d}}} + R{I_{\text{d}}} + {C_{\text{e}}}{\dot \theta _m} $$ (4) 式中：Ud为电枢两端电压；L、R、Id分别为电枢回路等效的总电感、电阻、电流；Ki为电流反馈系数；Ce是伺服电机电动势系数；$ {\dot \theta _{\text{m}}} $和θm是电机输出轴的转速和转角。
直流伺服电机的动力学方程可以写为：
$$ {J_{\text{m}}}{\ddot \theta _{\text{m}}} = {k_{\text{t}}}i - {b_\text{m}}{\dot \theta _{m} } - {K_{\text{L}}}\left( {{\theta _{\text{m}}} - {\theta _{\text{L}}}} \right) $$ (5) 式中：kti为电磁转矩；kt为电机的转矩系数；电动机输出轴的转动惯量为Jm；电机的粘性阻尼系数为bm；KL为电机和框架的耦合刚度系数；$ {\dot \theta _{\text{L}}} $和θL为负载的转速和转角。此系统的负载的转动惯量大以及精度要求高，所以将电机和惯性负载视为二质量系统进行建模分析[8]。设负载的黏性阻尼系数为bL，TmL为负载输出力矩，可以得知负载的数学模型如下：
$$ {J_{\text{L}}}{\ddot \theta _{\text{L}}} = {T_{{\text{mL}}}} - {b_{\text{L}}}{\dot \theta _{\text{L}}} $$ (6) $$ {K_{\text{L}}}\left( {{\theta _{\text{m}}} - {\theta _{\text{L}}}} \right) - {T_{{\text{mL}}}} = 0 $$ (7) 在仿真中将脉冲宽度调制（Pulse Width Modulation，PWM）环节近似的等效为一个比例环节，置为ku；速度环放大系数为ks；反馈系数为Kv。
1.3 建立摩擦模型
在伺服系统中，摩擦模型的建立相当重要，根据相关文献，仿真建立了较为经典的Lugre模型[9]。设状态变量z代表接触面鬓毛的平均变形，Lugre的数学模型可由下式表示：
$$ F = {\sigma _0}z + {\sigma _1}\dot z + \alpha \dot \theta $$ (8) $$ \dot z = \dot \theta - ({\sigma _0}\left| {\dot \theta } \right|/g\left( {\dot \theta } \right))z $$ (9) $$ g\left( {\dot \theta } \right) = {F_{\text{c}}} + \left( {{F_{\text{s}}} - {F_{\text{c}}}} \right){{\text{e}}^{ - {{\left( {\frac{{\dot \theta }}{{{v_{\text{s}}}}}} \right)}^2}}} + \alpha \dot \theta $$ (10) 式中：σ0与σ1为动态摩擦参数，其中σ0为刚毛的刚性系数，σ1为滑动阻尼系数。Fc、Fs、α、vs为静态摩擦参数，其中Fc为库仑摩擦；Fs为静摩擦；α为粘性摩擦系数；vs为stribeck特性阶段的动静切换速度，而本文针对项目情形进行了实测，得出相关参数的具体数值。
2. 控制器设计
2.1 模糊自适应控制设计
由于机载平台的特点，传统PID控制难以满足其精度要求，实验设计了模糊自适应PID控制器。其结构如图 3所示。
从结构图可以看出模糊控制采用两输入三输出二维模糊控制模块，以摆扫速度误差e和误差变化率de为输入语言变量，以Δkp, Δki, Δkd为输出语言变量。对于每个状态的3个参数，有：
$$ k_{\mathrm{p}}(t)=k_{\mathrm{p}}(t-1)+\Delta k_{\mathrm{p}}(t) $$ (11) $$ k_{\mathrm{i}}(t)=k_{\mathrm{i}}(t-1)+\Delta k_{\mathrm{i}}(t) $$ (12) $$ k_{\mathrm{d}}(t)=k_{\mathrm{d}}(t-1)+\Delta k_{\mathrm{d}}(t) $$ (13) 输入变量e和de的模糊集合可以划分为{NB, NM, NS, Z, PS, PM, PB}，输出变量Δkp, Δki, Δkd的论域划分和输入变量的划分是一致的。输入输出变量边缘采用高斯隶属函数曲线，其余部分采用三角形隶属函数曲线如式(14)：
$$ f(x, a, b, c) = \left\{ {\begin{array}{*{20}{c}} 0&{x \leqslant 0} \\ {\frac{{x - a}}{{b - a}}}&{a \leqslant x \geqslant 0} \\ {\frac{{c - x}}{{c - b}}}&{b \leqslant x \leqslant c} \\ 0&{x \geqslant c} \end{array}} \right. $$ (14) e和de分别有7个论域，故一共有49条控制规则，可以根据相应领域专家的技术和经验编写控制规则表[10-12]。
2.2 前馈补偿控制设计
前馈控制的引入就可以直接将干扰引入到控制装置，在控制系统中同时使用前馈控制加反馈控制的方法称为复合控制[12-14]。
实际钢丝绳传动会引起一定的滞后，前馈补偿基于不变性原理，通过前馈补偿环节把可以测量的扰动误差引入到控制器的设计中，从而能很好地抑制干扰，减小系统的误差，控制模型如图 4所示。
采用基于输入的自适应前馈补偿来提高伺服系统的性能，可以求得：
$$ {G_1}(s) = \frac{{Ls + R + {K_i}}}{{{G_2}(s)}} $$ (15) $$ \begin{array}{l} {G_2}(s) = \{ {J_{\text{L}}}{J_{\text{m}}}L{s^4} + [{J_{\text{L}}}{J_{\text{m}}}(R + {K_{\text{i}}}) + \hfill \\ \quad ({J_{\text{L}}}{b_{\text{m}}} + {J_{\text{m}}}{b_{\text{L}}})L]{s^3} + [({J_{\text{L}}}{b_{\text{m}}} + {J_{\text{m}}}{b_{\text{L}}})(R + {K_{\text{i}}}) \hfill \\ \quad + {b_{\text{m}}}{b_{\text{L}}}L]{s^2} + {b_{\text{m}}}{b_{\text{L}}}(R + {K_{\text{i}}})s\} {k_{\text{u}}}{k_{\text{t}}}{k_{\text{s}}}{K_{\text{v}}} \hfill \\ \end{array} $$ (16) $$ {G_{\text{r}}}(s) = \frac{{{G_2}(s)}}{{Ls + R + {K_{\text{i}}}}} $$ (17) 式中：G1为电机机电部分和负载的等效传递函数；Gr为前馈补偿装置的传递函数。
3. 三轴转台模糊自适应前馈控制仿真
3.1 三轴转台的参数分析
在本次实验中，所用电机参数如下：L＝2.2 mH，R＝10 Ω，kt＝2.1 N·m/A，Ce＝2.1 V/(rad/s)，Jm＝0.0037 kg·m2，JL＝7.91 kg·m2，bm＝0.01，bL＝15.0，Ki＝0.001，KL＝6.0；摩擦模型参数：σ0＝2600，σ1＝25，α＝0.2，Fc＝5.2，Fs＝6.4，vs＝0.01；钢丝绳选用的是SUS304材质，直径1 mm，它的实际参数是μ＝0.0015，AE＝8×103；在调试平台时，测得预紧力Fp＝21.3 N效果最好；PWM环节放大倍数ku＝11，速度环放大倍数ks＝6，反馈系数Kv＝2；PID控制器3个参数kp＝100，ki＝1.0，kd＝50；根据以上相关参数求出前馈部分传递函数：
$$ {G_{\text{1}}}(s) = \frac{{0.041{s^4} + 81.210{s^3} + 373.203{s^2} + 415.842s}}{{0.0022s + 10.001}} $$ (18) 前馈控制的输入是根据飞机上的主惯导获得数据，经过控制板处理之后用来补偿飞机姿态，由于条件限制，仿真的时候所用的是以前在飞机下载的惯导数据。基于传统PID控制仿真模型和模糊自适应PID前馈补偿控制仿真模型框图如图 5、图 6所示。
![]()
图 6 模糊自适应PID前馈补偿控制仿真模型Figure 6. Fuzzy adaptive PID feedforward compensation control simulation model3.2 三轴转台仿真结果分析
运行仿真得到的仿真曲线如图 7，采用传统PID控制，在速度过零点时，波形明显发生畸变，出现位置跟踪“平定”现象和速度跟踪“死区”现象，位置跟踪出现很大的滞后。而采用了模糊控制PID控制器和前馈控制符合的控制算法，消除了“平定”和“死区”现象，对系统滞后明显改善，响应速度更快。
4. 实验
4.1 摇摆台抗干扰实验
钢丝绳传动误差是制约伺服性能的关键，传动误差是指当输入轴单向转动时，输出轴的实际值对理想值的误差，在摇摆台实验室，模拟飞机环境对稳定平台进行实验测量，图 8是平台测试情况，在稳定平台横滚框架安装平面反射镜，横滚框架位于零位，反射镜与地面平行，在反射镜正下方放置自准直仪，自准直仪精度设置为1 μrad，俯仰轴以0.3°，0.5 Hz摆动。用传统PID控制和模糊自适应前馈控制算法分别测试曲线如图 9。从输出曲线可以看出，传统PID存在很大的抖动，传动精度在1mrad，而模糊自适应前馈控制传动精度达到了0.2 mrad，很大地改善了钢丝绳对系统带来的抖动，能达到指标要求。
4.2 速度稳定性实验
用平行光管模拟无穷远处，设备摆放如图 10，稳定平台俯仰框架以固定速度摆扫，相机通过反射镜对靶标进行成像，平行光管采用模块化光电测试系统METS L19型号，分辨率靶标选择使用美军标USAF1951分辨率靶。拍出的靶标如图 11所示。图 11(a)采用传统PID控制拍出来的靶标，存在抖动弯曲的现象，用Matlab查看每行相差两个像素，相机角分辨率为10 μrad，而图 11(b)采用模糊自适应前馈控制算法拍出来的靶标用Matlab查看靶标每行像素是基本一致的，满足指标要求。
4.3 实验结果分析
在摇摆台模拟飞机环境做的抗干扰实验，将控制系统的稳定精度从1 mrad改善到0.2 mrad，在速度平稳性实验中，采用平行光管测靶标成像的方式，采用复合控制的算法能较好地改善钢丝绳带来的速度抖动性，以上实验与仿真结果也相吻合，仿真和实验都说明了采用复合控制策略较传统PID对控制精度带来了大幅的改善，可以为以后类似的工程提供参考。
5. 结论
本文针对采用钢丝绳传动的大质量线阵相机的伺服控制精度，提出模糊自适应PID前馈补偿的复合控制策略，将按输入设计的前馈控制方法与模糊自适应控制结合起来，通过仿真和实验证明，该策略能够有效地消减钢丝绳传动误差，平台稳定精度从1 mrad提高到0.2 mrad，满足了成像的指标要求。
-
表 1 第一组图像融合数据
Table 1 The first group of image fusion data
Parameters Fusion algorithm Wavelet fusion algorithm Weighted average algorithm IHS transform algorithm Algorithm in this
paperStandard deviation 33.4522 24.9562 25.8361 40.2675 Information entropy 6.7911 6.3652 6.4102 7.5621 Average gradient 5.3961 5.3241 5.4103 6.1258 
下载: 导出CSV
表 2 第二组图像融合数据
Table 2 The second group of image fusion data
Parameters Fusion algorithm Wavelet fusion algorithm Weighted average algorithm IHS transform algorithm Algorithm in this
paperStandard deviation 48.2561 29.6521 30.2478 61.1598 Information entropy 7.2014 6.4567 6.5125 7.6512 Average gradient 7.4851 6.9654 6.8512 7.8623
下载: 导出CSV
-
[1] MA J, MA Y, LI C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[2] LIU Y, CHEN X, Ward R K, et al. Medical image fusion via convolutional sparsity based morphological component analysis[J]. IEEE Signal Processing Letters, 2019, 26(3): 485-489. DOI: 10.1109/LSP.2019.2895749
[3] 蔡铠利, 石振刚. 红外图像与可见光图像融合算法研究[J]. 沈阳理工大学学报, 2016(3): 17-22. DOI: 10.3969/j.issn.1003-1251.2016.03.004 CAI Kaili, SHI Zhengang. Research on Image Fusion Algorithm of Infrared and Visible Image[J]. Journal of Shenyang Ligong University, 2016(3): 17-22. DOI: 10.3969/j.issn.1003-1251.2016.03.004
[4] 郝志成, 吴川, 杨航, 等. 基于双边纹理滤波的图像细节增强方法[J]. 中国光学, 2016, 9(4): 423-431. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201604005.htm HAO Zhicheng, WU Chuan, YANG Hang, et al. Image detail enhancement method based on multi-scale bilateral texture filter[J]. Chinese Optics, 2016, 9(4): 423-431. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGGA201604005.htm
[5] FU Z, WANG X, LI X, et al. Infrared and visible image fusion based on visual saliency and NSCT[J]. Journal of University of Electronic Science & Technology of China, 2017, 46(2): 357-362.
[6] DING S, ZHAO X, HUI X, et al. NSCT-PCNN image fusion based on image gradient motivation[J]. IET Computer Vision, 2018, 12(4): 377-383. DOI: 10.1049/iet-cvi.2017.0285
[7] KOU F, LI Z, WEN C, et al. Edge-Preserving smoothing pyramid based multi-scale exposure fusion[J]. Journal of Visual Communication & Image Representation, 2018, 53: 235-244.
[8] ZHOU Z, BO W, SUN L, et al. Perceptual fusion of infrared and visible images through a hybrid multi-scale decomposition with Gaussian and bilateral filters[J]. Information Fusion, 2016, 30: 15-26. DOI: 10.1016/j.inffus.2015.11.003
[9] YANG B, LUO J, GUO L, et al. Simultaneous image fusion and demosaicing via compressive sensing[J]. Information Processing Letters, 2016, 116(7): 447-454. DOI: 10.1016/j.ipl.2016.03.001
[10] ZHANG Y, BAI X, WANG T. Boundary finding based multi-focus image fusion through multi-scale morphological focus-measure[J]. Information Fusion, 2017, 35: 81-101. DOI: 10.1016/j.inffus.2016.09.006
[11] MA J, ZHOU Z, WANG B, et al. Infrared and visible image fusion based on visual saliency map and weighted least square optimization[J]. Infrared Physics & Technology, 2017, 82: 8-17.
[12] YANG Y, QUE Y, HUANG S, et al. Multiple visual features measurement with gradient domain guided filtering for multisensor image fusion[J]. IEEE Transactions on Instrumentation & Measurement, 2017, 66(4): 691-703.
[13] ZHANG L, ZENG G, WEI J. Adaptive region-segmentation multi-focus image fusion based on differential evolution[J]. International Journal of Pattern Recognition & Artificial Intelligence, 2018, 33(3): 32.
[14] YAN X, QIN HL, LI J, et al. Infrared and visible image fusion using multiscale directional nonlocal means filter[J]. Applied Optics, 2015, 54(13): 4299-4308. DOI: 10.1364/AO.54.004299
[15] CUI G M, FENG H J, XU Z H, et al. Detail preserved fusion of visible and infrared images using regional saliency extraction and multi-scale image decomposition[J]. Optics Communications, 2015, 341: 199-209. DOI: 10.1016/j.optcom.2014.12.032
-
期刊类型引用(0)
其他类型引用(2)
计量
- 文章访问数: 147
- HTML全文浏览量: 76
- PDF下载量: 41
- 被引次数: 2
