Multi-Feature Adaptive Fusion Method for Infrared and Visible Images
-
摘要: 由于成像机理不同，红外图像以像素分布表征典型目标，而可见光图像以边缘和梯度描述纹理细节，现有的融合方法不能依据源图像特征自适应变化，造成融合结果不能同时保留红外目标特征与可见光纹理细节。为此，本文提出红外与可见光图像多特征自适应融合方法。首先，构建了多尺度密集连接网络，可以有效聚合所有不同尺度不同层级的中间特征，利于增强特征提取和特征重构能力。其次，设计了多特征自适应损失函数，采用VGG-16网络提取源图像的多尺度特征，以像素强度和梯度为测量准则，以特征保留度计算特征权重系数。多特征自适应损失函数监督网络训练，可以均衡提取源图像各自的特征信息，从而获得更优的融合效果。公开数据集的实验结果表明，该方法在主、客观评价方面均优于其他典型方法。Abstract: Owing to different imaging mechanisms, infrared images represent typical targets by pixel distribution, whereas visible images describe texture details through edges and gradients. Existing fusion methods fail to adaptively change according to the characteristics of the source images, thereby resulting in fusion results that do not retain infrared target features and visible texture details simultaneously. Therefore, a multi-feature adaptive fusion method for infrared and visible images is proposed in this study. First, a multi-scale dense connection network that can effectively reuse all intermediate features of different scales and levels, and further enhance the ability of feature extraction and reconstruction is constructed. Second, a multi-feature adaptive loss function is designed. Using the pixel intensity and gradient as measurement criteria, the multi-scale features of the source image are extracted by the VGG-16 network and the feature weight coefficients are calculated by the degree of information preservation. The multi-feature adaptive loss function can supervise network training and evenly extract the respective feature information of the source image to obtain a better fusion effect. The experimental results of public datasets demonstrate that the proposed method is superior to other typical methods in terms of subjective and objective evaluations.
-
Keywords:
- image fusion /
- dense skip connection /
- adaptive loss function /
- visible image /
- infrared image
-
0. 引言
快速反射镜（fast steering mirror, FSM）是一种通过控制反射镜的偏转角度调整光束传播方向，实现收发两端的光束精确对准的装置。由于这类装置具有响应速度快、控制精度高等优点，快速反射镜已经被广泛应用于自由空间通信、扫描共焦显微镜、大型天文望远镜等光学系统中[1-3]，成为光束指向控制系统中应用最广泛的核心器件。
快速反射镜的机械结构主要由驱动元件、支撑结构和负载组成[4]。驱动元件包括音圈电机（voice coil motor, VCM）和压电驱动器（piezoelectric actuators, PEAs），由音圈电机驱动的快速反射镜具有高驱动行程、高加速度等优势，然而音圈电机输出驱动力有限，因此为了保证足够的偏摆范围，快速反射镜的支撑结构偏摆刚度不能太大，这就造成其谐振频率相对较低[5]。例如，2020年Tadahiko Shinshi等人提出了一种由音圈电机驱动的快速反射镜，其尖端倾斜范围可达±20 mrad，轴向带宽仅为200 Hz[6]。
压电驱动器具有高驱动力、高频响、高分辨率等优势，然而受到输出位移量小（仅为驱动器自身长度的0.1%~0.15%）以及不能承受侧向或拉伸载荷等缺点的限制[7]。而快速反射镜的支撑结构——柔性机构具有无需装配、无摩擦、响应速度快等优点，将柔性机构作为预紧和位移放大机构与压电驱动器组成压电驱动快速反射镜[8-9]。此类系统兼具压电陶瓷与柔性机构的优点，因而被广泛地应用于精确激光束控制等超精密系统。2010年向思桦等人采用单级桥式放大构型设计的快速反射镜具有较高一阶固有频率，但放大比较小，导致快速反射镜偏转角度较小[10]。2015年袁刚等人采用单级桥式放大构型设计的快速反射镜具有较大的偏转角，然而由于该柔性铰链的刚度较小，导致构型固有频率较低，仅为180.4 Hz[11]。2018年邵恕宝等人提出的压电驱动快反镜采用一级杆式构型可实现两轴±7 mrad的倾斜范围，同时两轴带宽高于810 Hz[12]。2019年Kim等人和2021年谢永等人均采用两级杠杆放大机构，保证了构型有较大的放大比，但其频响较低[13-14]。
现有快速反射镜柔性机构通常采用多级单一放大构型以增加放大比。然而，由于缺乏针对不同级数、不同构型之间性能特征的定量分析，设计过程缺乏选型依据[15-16]，导致现有快速反射镜普遍存在偏转范围小、扫描频率低的共性问题。由于快速反射镜在运动时，会受到一些来自平台或者外界环境的干扰，导致快速反射镜的视轴稳定性下降，因此在控制快速反射镜运动需要能够对多源干扰准确估计和有效抑制的控制方法[17-18]。同时，压电陶瓷存在迟滞、蠕变特性，这种由驱动元件材料引起的非线性特性增加了控制方法设计的复杂程度[14]。
本研究针对柔性机构构型级数与放大比之间的关系开展了定量分析，得出了嵌套级数的选择依据。针对不同构型方案的固有频率和放大比进行仿真分析，得出了三级混合构型的设计方案。开展了柔性机构离散化处理，构建了柔性机构的通用动力刚度模型，得出柔性机构结构参数与快速反射镜偏转角度的映射关系。在此基础上，对快速反射镜柔性机构关键尺寸参数进行优化，以快速反射镜偏转角度最大化为优化目标，得到优化参数与偏转角度及固有频率的关系。为快速反射镜的设计以及柔性铰链等单元的参数优化提供了理论依据。与国内外同类研究相比，该机构可以在保证较高一阶固有频率的基础上实现100 mrad机械偏转角度。
1. 压电驱动快速反射镜的工作原理
快速反射镜通过PEAs驱动柔性机构引导平面反射镜快速摆动实现光束指向的精准调控，其工作原理如图 1所示。图 1(b)表示在驱动力±Fx和±Fy等距分布于反射镜底部，图 1(a)表示在驱动力作用下反射镜偏转α（即机械偏转角度），反射光线则由l1偏转至l2，偏转角为β（即光学偏转角度）。
2. 三级混合柔性机构构型设计
对快速反射镜输出偏转角和带宽影响最大的部分是支撑结构（柔性机构），其主要常见材料有钛合金（TC4）、镁合金（AZ91）、铝合金（AL7075）、低锰弹簧钢（65Mn）等。本文以上述材料为选材目标，以一级桥式放大机构为例，使用ANSYS Workbench软件对构型进行分析，设置柔性机构材料如表 1所示，逐一比较快速反射镜采用这些材料时的各项参数。
表 1 柔性机构材料各项参数Table 1. Material parameters of flexible mechanismMaterial Elastic modulus/GPa Ultimate strength /MPa Yield limit /MPa Magnificationratio (R) Natural frequency/Hz Titanium alloy(TC4) 117 902 824 1.943 739.66 Magnesium alloy(AZ91) 45 230 160 1.943 810.62 Aluminium alloy(AL7075) 71 572 503 1.944 813.73 Low manganese spring steel(65Mn) 197 980 785 1.945 827.33 如表 1所示，具有最大放大比的材料是低锰弹簧钢（65Mn），但是低锰弹簧钢加工前需要热处理，同时该材料在淬火后容易产生裂纹；钛合金（TC4）具有较大弹性模量，但是分析结果表明其固有频率较低；镁合金（AZ91）的弹性模量、强度极限和屈服极限这3项参数较低，不适合本文的柔性放大机构；与其它材料相比，铝合金具有高放大比、高带宽、高弹性模量和无需热处理的优势，因此本文采用铝合金（AL7075）加工快速反射镜支撑结构。
柔性铰链主要分为杆式构型和桥式构型，其中杆式构型的放大比受杠杆尺寸影响较大，单级杆式构型在保证其放大比前提下难以兼顾杠杆尺寸。与杠杆机构相比，桥式机构具有结构紧凑且无寄生位移的优势。由于单级构型可提供的放大比有限，在快速反射镜柔性机构设计过程中通常采用多级构型。然而，过多放大构型的多级嵌套组合会导致结构尺寸和输入刚度的增大，因此在设计过程中需要首先考虑嵌套级数和构型方式。
首先，开展柔性机构的级数分析。为保证结构紧凑，初步设定桥式构型与杆式构型的每一级构型的主要尺寸如表 2所示，其构型如图 2所示。
表 2 各级构型的主要参数Table 2. The main parameters of each configurationParameter Lever type configuration Bridge type configuration θ/° - 13.5 L/mm 15 18 H/mm 5 5 t/mm 0.8 0.8 h/mm 2.5 - PEAs驱动多级柔性机构过程中，动力源于PEAs逆压电作用产生的驱动力，在该驱动力作用下第一级机构（由PEAs直接驱动的柔性铰链）发生弹性形变输出位移，该位移使后一级机构产生弹性形变并逐级向后驱动。可以发现，前一级机构的输出力是后一级机构的驱动力，而前一级机构的输出位移受到后一级机构的阻滞。因此，多级柔性机构是单向耦合的。构建柔性机构阻滞模型需要完成精确的力学建模和复杂的积分运算，工作量巨大。因此在确定柔性机构级数时通常依赖于设计者的经验，缺乏级数与柔性机构输出性能之间的定量分析。如图 3所示，本文基于有限元理论，针对桥式构型和杆式构型级数与柔性机构输出放大比之间关系分别开展了定量分析。
![]()
图 3 两类构型多级放大比对比Figure 3. Comparison of multi-stage amplification ratios of two types of configurations如图 3所示，一级桥式构型放大比与一级杆式构型放大比较为接近（分别为3.9、3.5）；在两级构型中，桥式构型放大比到达峰值（8.6），杆式构型放大比（11.0）优于桥式构型。在三级构型中，桥式构型放大比产生较大衰减，杆式构型放大比到达峰值（12.3）；在四级及以上构型中，桥式构型和杆式构型放大比均出现持续衰减。因此，采用柔性机构嵌套级数为三级。
针对三级柔性机构四种构型方案的固有频率和放大比进行分析，分析结果如图 4所示。图 4(a)为三级杆式构型，该结构具有较高的固有频率和放大比。然而，纯杆式构型很难保证柔性机构的紧凑性。图 4(b)为一级桥式构型与两级杆式构型组合，其固有频率和放大比均低于方案(a)。图 4(c)为两级桥式构型与一级杆式构型相结合的设计方案，该方案为压电驱动器预留足够的安装空间且具有20.1倍的位移放大比和较高的一阶固有频率。图 4(d)为三级桥式构型，其一阶固有频率和放大比都很低。因此，本文采用了两级桥式构型与一级杆式构型相结合的设计方案。
快速反射镜整体机构如图 5所示，在两级桥式放大机构之间放置PEAs，由PEAs直接输出位移，两级桥式放大构型与杆式构型相连，经杆式机构放大，在光学反射镜底部实现输出。由于快速反射镜驱动组件在装置底部通过柔性铰链相连，所以当快速反射镜发生偏转时，可能存在交叉耦合现象。采取如图 5所示沿圆周方向均布柔性机构的方式减小交叉耦合现象。
3. 快速反射镜柔性机构建模及动力学分析
如图 5所示，三级混合柔性机构通过柔性直梁与反射镜底座相连，组成一个多自由度复杂机构。针对这类复杂机构的动态响应分析，首先需要对机构进行离散化处理，建立每个柔性铰链和刚体的动力学模型，最后建立整个机构的动力学模型。
将构型离散化后可知构型由柔性直梁、集中质量和刚体组成，进一步将构型的柔性直梁进行顺序编号从(1)~(44)，固定端编号为(0)，而所有的柔性直梁是由1到25个节点连接，其中节点3、4、9、10、15、16、21和22为质量为m1的集中质量，节点6、12、18和24为质量为m2的刚体，节点25为质量为m3的刚体。如图 6所示，将第一组柔性放大机构与输出平台离散化为柔性直梁、刚体和集中质量，其余3组柔性放大机构离散化类同于第一组。
3.1 柔性直梁动力学分析
对柔性机构的动态分析中首先需要对柔性铰链进行分析，而本文构型所包含的柔性铰链均为柔性直梁。如图 7所示，柔性直梁的两个节点j和k包含6个自由度，分别是$ x_j^{\rm{e}}(\omega ) = \left[ {{u_j};{v_j};{w_j};{\alpha _j};} \right.{\beta _j};\left. {{\gamma _j}} \right] $；和$ x_k^{\text{e}}(\omega ) = \left[ {{u_k};{v_k};{w_k};{\alpha _k};{\beta _k};{\gamma _k}} \right] $，$ \left[ {{u_j};} \right.{v_j};\left. {{w_j}} \right] $和$\left[ {{u_k};{v_k};{w_k}} \right]$表示沿坐标轴方向的位移，$\left[ {{\alpha _j};} \right.{\beta _j};\left. {{\gamma _j}} \right]$和$\left[ {{\alpha _k};{\beta _k};{\gamma _k}} \right]$表示垂直于坐标轴方向的转角。
基于矩阵位移法，柔性单元的节点力$F_j^{\text{e}}(\omega ) = \left[ {{F_{xj}};{F_{yj}};{F_{zj}};{M_{xj}};{M_{yj}};{M_{zj}}} \right] \text{，}F_k^{\text{e}}(\omega ) = \left[ {{F_{xk}};{F_{yk}};} \right.{F_{kj}};{M_{kj}};{M_{kj}};$$\left. {{M_{kj}}} \right]$和节点位移$x_j^{\text{e}}(\omega ), x_k^{\text{e}}(\omega )$满足广义胡克定律，即：
$$ \left\{ {\begin{array}{*{20}{c}} {F_j^{\text{e}}\left( \omega \right)} \\ {F_k^{\text{e}}\left( \omega \right)} \end{array}} \right\} = {{\boldsymbol{D}}^{\text{e}}}\left( \omega \right) \cdot \left\{ {\begin{array}{*{20}{c}} {x_j^{\text{e}}\left( \omega \right)} \\ {x_k^{\text{e}}\left( \omega \right)} \end{array}} \right\} $$ (1) 式(1)中：De(ω)为一个柔性单元的动力刚度矩阵。
进一步分析该柔性单元的动力刚度矩阵，即：
$$ {{\boldsymbol{D}}^{\text{e}}}\left( \omega \right) = \left[ {\begin{array}{*{20}{c}} {{d_1}}&0&0&0&0&0&{{d_5}}&0&0&0&0&0 \\ {}&{{d_2}\left( {{I_z}} \right)}&0&0&0&{{d_3}\left( {{I_z}} \right)}&0&{{d_6}\left( {{I_z}} \right)}&0&0&0&{{d_7}\left( {{I_z}} \right)} \\ {}&{}&{{d_2}\left( {{I_y}} \right)}&0&{ - {d_3}\left( {{I_y}} \right)}&0&0&0&{{d_6}\left( {{I_y}} \right)}&0&{ - {d_7}\left( {{I_y}} \right)}&0 \\ {}&{}&{}&{{d_9}}&0&0&0&0&0&{{d_{10}}}&0&0 \\ {}&{}&{}&{}&{{d_4}\left( {{I_y}} \right)}&0&0&0&{{d_7}\left( {{I_y}} \right)}&0&{{d_8}\left( {{I_y}} \right)}&0 \\ {}&{}&{}&{}&{}&{{d_4}\left( {{I_z}} \right)}&0&{ - {d_7}\left( {{I_z}} \right)}&0&0&0&{{d_8}\left( {{I_z}} \right)} \\ {}&{}&{}&{}&{}&{}&{{d_1}}&0&0&0&0&0 \\ {}&{}&{}&{}&{}&{}&{}&{{d_2}\left( {{I_z}} \right)}&0&0&0&{ - {d_3}\left( {{I_z}} \right)} \\ {}&{}&{}&{}&{{\rm{sym}}}&{}&{}&{}&{{d_2}\left( {{I_y}} \right)}&0&{{d_3}\left( {{I_y}} \right)}&0 \\ {}&{}&{}&{}&{}&{}&{}&{}&{}&{{d_9}}&0&0 \\ {}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{{d_4}\left( {{I_y}} \right)}&0 \\ {}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{{d_4}\left( {{I_z}} \right)} \end{array}} \right] $$ (2) 式(2)中：dq(q＝1, 2, …, 10)是De(ω)的系数；dq（Iy or Iz）表示该系数是和惯性矩相对于y轴或z轴的惯性矩（Iy＝(t3h)/12或Iz＝(t3h)/12）相关的函数。对于dq(q＝1, 2, …, 10)选取二阶泰勒展开式计算，即：
$$ {d_1}{\text{ = }}\frac{{EA}}{l}\left( {1 - \frac{1}{3}{\alpha ^2} - \frac{1}{{45}}{\alpha ^4} - \cdots } \right) $$ (3) $$ {d_2}{\text{ = }}\frac{{EI}}{{{l^3}}}\left( {12 - \frac{{13}}{{35}}{\beta ^4} - \frac{{59}}{{161700}}{\beta ^8} - \cdots } \right) $$ (4) $$ {d_3}{\text{ = }}\frac{{EI}}{{{l^2}}}\left( {6 - \frac{{11}}{{210}}{\beta ^4} - \frac{{223}}{{2910600}}{\beta ^8} - \cdots } \right) $$ (5) $$ {d_4}{\text{ = }}\frac{{EI}}{l}\left( {4 - \frac{1}{{105}}{\beta ^4} - \frac{{71}}{{4365900}}{\beta ^8} - \cdots } \right) $$ (6) $$ {d_5}{\text{ = }} - \frac{{EA}}{l}\left( {1 + \frac{1}{6}{\alpha ^2} + \frac{7}{{360}}{\alpha ^4} + \cdots } \right) $$ (7) $$ {d_6}{\text{ = }} - \frac{{EI}}{{{l^3}}}\left( {12 + \frac{9}{{70}}{\beta ^4} + \frac{{1279}}{{3880800}}{\beta ^8} + \cdots } \right) $$ (8) $$ {d_7}{\text{ = }}\frac{{EI}}{{{l^2}}}\left( {6 + \frac{{13}}{{420}}{\beta ^4} + \frac{{1681}}{{23284800}} + \cdots } \right) $$ (9) $$ {d_8}{\text{ = }}\frac{{EI}}{l}\left( {2 + \frac{1}{{140}}{\beta ^4} + \frac{{1097}}{{69854400}}{\beta ^8} + \cdots } \right) $$ (10) $$ {d_9}{\text{ = }}\frac{{G{I_x}}}{l}\left( {1 - \frac{1}{3}{\gamma ^2} - \frac{1}{{45}}{\gamma ^4} - \cdots } \right) $$ (11) $$ {d_{10}}{\text{ = }} - \frac{{G{I_x}}}{l}\left( {1 + \frac{1}{6}{\gamma ^2} + \frac{7}{{360}}{\gamma ^4} + \cdots } \right) $$ (12) 式(3)~式(12)中：α2＝ω2l2ρ/E；β4＝ω2l4ρA/EI；γ2＝ω2l2ρ/G。其中E为杨氏模量；G为剪切模量；ρ表示密度；A为横截面积；ω表示频率。
式(2)是在其局部坐标系下的动力刚度矩阵，但在动力学分析中需要将其转换到参考坐标系中。对于第i(i＝1, 2, …, 44)个柔性直梁其坐标变换分析如下：
$$ {{\boldsymbol{D}}_i}\left( \omega \right) = {\boldsymbol{R}}_i^{\rm{T}} \cdot {{\boldsymbol{D}}^{\text{e}}}\left( \omega \right) \cdot {{\boldsymbol{R}}_i} $$ (13) $$ {{\boldsymbol{R}}_i} = \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{\lambda}} _i}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}} \\ {{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{\lambda}} _i}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}} \\ {{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{\lambda}} _i}}&{{{\boldsymbol{O}}_{3 \times 3}}} \\ {{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{\lambda}} _i}} \end{array}} \right] $$ (14) $$ {{\boldsymbol{\lambda}} _i} = \left[ {\begin{array}{*{20}{c}} {\cos \left( {{x_i}, x} \right)}&{\cos \left( {{x_i}, y} \right)}&{\cos \left( {{x_i}, z} \right)} \\ {\cos \left( {{y_i}, x} \right)}&{\cos \left( {{y_i}, y} \right)}&{\cos \left( {{y_i}, z} \right)} \\ {\cos \left( {{z_i}, x} \right)}&{\cos \left( {{z_i}, y} \right)}&{\cos \left( {{z_i}, z} \right)} \end{array}} \right] $$ (15) 式(14)中：O3×3是维度为3×3的0矩阵。式(15)矩阵中每一项为第i个柔性直梁局部坐标系与参考坐标系各坐标轴之间的余弦值。
第i个柔性直梁经过坐标变换，在参考坐标系中的力与位移的关系可表示为式(16)：
$$ \left\{ {\begin{array}{*{20}{c}} {{F_{i, j}}} \\ {{F_{i, k}}} \end{array}} \right\} = {{\boldsymbol{D}}_i} \cdot \left\{ {\begin{array}{*{20}{c}} {{x_{i, j}}} \\ {{x_{i, k}}} \end{array}} \right\} = \left[ {\begin{array}{*{20}{c}} {{k_{i, 1}}}&{{k_{i, 2}}} \\ {{k_{i, 3}}}&{{k_{i, 4}}} \end{array}} \right] \cdot \left\{ {\begin{array}{*{20}{c}} {{x_{i, j}}} \\ {{x_{i, k}}} \end{array}} \right\} $$ (16) 式中：$ \left\{ {{F_{i, j}}, {F_{i, k}}} \right\} $和$ \left\{ {{x_{i, j}}, {x_{i, k}}} \right\} $是参考坐标系下第i个柔性直梁的节点力和节点位移。ki, 1、ki, 2、ki, 3和ki, 4是动力刚度矩阵Di的子矩阵。
3.2 刚性体和集中质量动力学分析
刚性体（输出平台和杠杆放大机构的刚性梁）和集中质量（两级桥式放大构型的连接部分）也是分析构型动力学的重要组成单元，对于第n（n＝3、4、6、9、10、12、15、16、18、21、22、24、25）个节点为刚体或集中质量的分析如式(17)、(18)和(19)所示：
$$ {{\boldsymbol{M}}_n}\left( \omega \right) = - {\omega ^2} \cdot \left[ {\begin{array}{*{20}{c}} {{{\boldsymbol{M}}_{3 \times 3}}}&{{{\boldsymbol{O}}_{3 \times 3}}} \\ {{{\boldsymbol{O}}_{3 \times 3}}}&{{{\boldsymbol{J}}_{n, 3 \times 3}}} \end{array}} \right] $$ (17) $$ {{\boldsymbol{M}}_{3 \times 3}} = \left[ {\begin{array}{*{20}{c}} m&0&0 \\ 0&m&0 \\ 0&0&m \end{array}} \right] $$ (18) $$ {{\boldsymbol{J}}_{n, 3 \times 3}} = {\boldsymbol{\lambda}} _n^{\rm{T}} \cdot \left[ {\begin{array}{*{20}{c}} {{J_x}}&0&0 \\ 0&{{J_y}}&0 \\ 0&0&{{J_z}} \end{array}} \right] \cdot {{\boldsymbol{\lambda}} _n} $$ (19) 式(17)、(18)和(19)中：Mn(ω)表示第n个节点为刚性体或集中质量的动力刚度矩阵；m是该单元的质量，Jx、Jy、Jz是该单元相对于质心的惯性矩。式(19)中坐标变换矩阵λn与式(15)λi计算方法一致。
3.3 柔性机构的动态响应模型
已完成在参考坐标系下所有柔性直梁、集中质量和刚体的动力刚度矩阵，进一步建立所有节点力的平衡方程组，表示为节点位移的形式，如式(20)所示：
$$ \left\{ {\begin{array}{*{20}{c}} { - {f_{{\rm{in}}, 1}} = \left( {{k_{1, 1}} + {k_{2, 1}}} \right) \cdot {x_1} + {k_{1, 2}} \cdot {x_3} + {k_{2, 2}} \cdot {x_4}} \\ {{f_{{\rm{in}}, 1}} = \left( {{k_{3, 4}} + {k_{4, 4}}} \right) \cdot {x_2} + {k_{3, 3}} \cdot {x_3} + {k_{4, 3}} \cdot {x_4}} \\ {0 = {k_{1, 3}} \cdot {x_1} + {k_{3, 2}} \cdot {x_2} + \left( {{k_{1, 4}} + {k_{3, 1}} + {k_{5, 1}} + {k_{8, 1}} + {M_3}} \right) \cdot {x_3} + {k_{5, 2}} \cdot {x_5}} \\ {0 = {k_{2, 3}} \cdot {x_1} + {k_{4, 2}} \cdot {x_2} + \left( {{k_{2, 4}} + {k_{4, 1}} + {k_{6, 4}} + {k_{7, 4}} + {M_4}} \right) \cdot {x_4} + {k_{6, 3}} \cdot {x_5}} \\ {0 = {k_{5, 3}} \cdot {x_3} + {k_{6, 2}} \cdot {x_4} + \left( {{k_{5, 4}} + {k_{6, 1}} + {k_{9, 1}}} \right) \cdot {x_5} + {k_{9, 2}} \cdot {x_6}} \\ {0 = {k_{9, 3}} \cdot {x_5} + \left( {{k_{9, 4}} + {k_{10, 4}} + {k_{41, 1}} + {M_6}} \right) \cdot {x_6} + {k_{41, 2}} \cdot {x_{25}}} \\ { \cdots \cdots } \\ {{f_{\rm{o}}}\left( \omega \right) = {k_{41, 3}} \cdot {x_6} + {k_{42, 3}} \cdot {x_{12}} + {k_{43, 3}} \cdot {x_{18}} + {k_{44, 3}} \cdot {x_{24}} + \left( {{k_{41, 4}} + {k_{42, 4}} + {k_{43, 4}} + {k_{44, 4}}} \right) \cdot {x_{25}}} \end{array}} \right. $$ (20) 由于构型中压电陶瓷驱动器输入力均沿x轴方向，所以式(20)中$ {f_{in, s}}\left( \omega \right) = \left[ {{f_{in, s}};0;0;0;0;0} \right] $(s＝1, 2, 3, 4), Mn已由式(18)求出，$ \left\{ {{F_{i, j}}, {F_{i, k}}} \right\} $已由式(16)求出。fo(ω)是输出平台的虚拟力，只有在求输出刚度时不为0。
柔性机构的通用动力刚度模型统一表示为：
$$ \left\{ {F\left( \omega \right)} \right\} = \left[ {{\boldsymbol{D}}\left( \omega \right)} \right] \cdot \left\{ {X\left( \omega \right)} \right\} $$ (21) 进一步将式(21)表示为柔性机构的通用动力刚度模型，即式(22)：
$$ \left\{ {\begin{array}{*{20}{c}} { - {f_{in, 1}}} \\ {{f_{in, 1}}} \\ 0 \\ \vdots \\ {{f_{\rm{o}}}\left( \omega \right)} \end{array}} \right\} = \left[ {\begin{array}{*{20}{c}} {{k_{1, 1}} + {k_{2, 1}}}&0&{{k_{1, 2}}}&{{k_{2, 2}}}&0& \cdots &0 \\ 0&{{k_{3, 4}} + {k_{4, 4}}}&{{k_{3, 3}}}&{{k_{4, 3}}}&0& \cdots &0 \\ {{k_{1, 3}}}&{{k_{3, 2}}}&{{k_{1, 4}} + {k_{3, 1}} + {k_{5, 1}} + {k_{8, 1}} + {M_3}}&0&{{k_{5, 2}}}& \cdots &0 \\ \vdots & \vdots & \vdots & \vdots & \vdots & \ddots & \vdots \\ 0&0&0&0&0& \ldots &{{k_{41, 4}} + {k_{42, 4}} + {k_{43, 4}} + {k_{44, 4}}} \end{array}} \right] \cdot \\ \left\{ {\begin{array}{*{20}{c}} {{x_1}} \\ {{x_2}} \\ {{x_3}} \\ \vdots \\ {{x_{25}}} \end{array}} \right\} $$ (22) 由式(22)可知输入$ \left\{ {F\left( \omega \right)} \right\} $时，输出位移为$ \left\{ {X\left( \omega \right)} \right\} $，$ \left\{ {X\left( \omega \right)} \right\} $包括输出平台的输出位移$ {x_{25}} = \left[ {{u_{25}};{v_{25}};{w_{25}};{\alpha _{25}};{\beta _{25}};{\gamma _{25}}} \right] $。构型固有频率为机构整体动力刚度矩阵$ \left[ {{\boldsymbol{D}}\left( \omega \right)} \right] $行列式为0的根。如图 8所示，纵坐标表示动力刚度矩阵$ \left[ {{\boldsymbol{D}}\left( \omega \right)} \right] $参数，横坐标表示柔性机构固有频率。当$ \left[ {{\boldsymbol{D}}\left( \omega \right)} \right] = 0 $时，一阶固有频率为309 Hz，与有限元分析结果315.49 Hz的误差为1.9%，二阶固有频率为322 Hz，与有限元分析结果315.73 Hz的误差为2.22%。
3.4 快速反射镜偏转角度
由于输出平台沿x轴、y轴方向位移和绕z轴偏转角可忽略不计，所以输出平台偏转角只与输出平台绕x轴的偏转角α25，绕y轴的偏转角β25，沿z轴的位移ω25相关，由此可以得到，偏转后输出平台平面上有三点p1＝(0; cosα25; 0; sinα25+w25)，p2＝(cosβ25; 0; sinβ25+w25)，p3＝(0; 0; w25)，则偏转后平台的一个法向量$ \overrightarrow {{{\boldsymbol{n}}_1}} $为：
$$ \overrightarrow {{{\boldsymbol{n}}_1}} = {\left[ \begin{gathered} - \cos {\alpha _{25}} \cdot \sin {\beta _{25}} \hfill \\ - \cos {\beta _{25}} \cdot \sin {\alpha _{25}} \hfill \\ \cos {\beta _{25}} \cdot \left( {\sin {\alpha _{25}} + {w_{25}}} \right) \hfill \\ \end{gathered} \right]^{\rm T}} $$ (23) 若平台未偏转，只沿z轴位移w25，则平台的一个法向量为$ \overrightarrow {{{\boldsymbol{n}}_2}} = \left[ {0, 0, c} \right] $，c是常数，进一步可得出偏转后平台偏转角αp为：
$$ {\alpha _p} = \arccos \frac{{\left| {{{\vec {\boldsymbol{n}}}_1} \cdot {{\vec {\boldsymbol{n}}}_2}} \right|}}{{\left| {{{\vec {\boldsymbol{n}}}_1}} \right| \cdot \left| {{{\vec {\boldsymbol{n}}}_2}} \right|}} $$ (24) 4. 三级混合柔性机构关键尺寸参数优化设计
在此基础上对快速反射镜柔性机构关键尺寸参数进行优化，选择桥式放大机构柔性臂的夹角θ，长度l，宽度t和高度h为待优化参数，以快速反射镜偏转角度最大化为优化目标，得到优化参数与偏转角度和固有频率的关系如图 9~图 12所示。
![]()
图 9 柔性臂的夹角与固有频率和偏转角之间的关系Figure 9. The relationship between θ and ω, deflection angle of flexible mechanism![]()
图 10 柔性臂的长度与固有频率和偏转角之间的关系Figure 10. The relationship between l and ω, deflection angle of flexible mechanism![]()
图 11 柔性臂的厚度与固有频率和偏转角之间的关系Figure 11. The relationship between t and ω, deflection angle of flexible mechanism![]()
图 12 柔性臂的高度与固有频率和偏转角之间的关系Figure 12. The relationship between h and ω, deflection angle of flexible mechanism如图 9所示，柔性臂的夹角变化范围为11°~25°，其他参数固定不变。红色曲线表示柔性臂夹角与快速反射镜偏转角之间的关系，随着柔性臂夹角增加，快速反射镜偏转角呈现先增后减趋势，当夹角θ＝18°时，快速反射镜偏转角度到达最大值。黑色曲线表示柔性臂夹角与柔性机构固有频率之间的关系。随着柔性臂夹角增加，固有频率呈现先减后增趋势，当夹角θ＝20°时，固有频率到达峰值最小值。
如图 10~图 12所示，分别对柔性臂长度l，宽度t和高度h与快速反射镜偏转角之间的关系进行分析。可以发现，随着控制变量参数值增加，快速反射镜偏转角都呈现出先增后减的趋势。结合上述分析，选取参数应靠近最佳参数，同时考虑到结构的固有频率ω不宜过低、结构紧凑等因素，本文最终选取优化结果为：θ＝18°、l＝20 mm、t＝0.9 mm、h＝6.5 mm、ω＝336 Hz、αp＝50 mrad。
对快速反射镜进行仿真分析，设PEAs输出最大位移为16 μm，则柔性机构位移仿真结果如图 13所示，根据输出位移最大值，可以求出最大偏转角αp为100.8 mrad。模态仿真分析如图 14所示，一阶固有频率为336.4 Hz，二阶固有频率为336.63 Hz。
如表 3所示，将国内外同类研究与本研究成果进行对比可知，本文设计的压电驱动快速反射镜具有结构紧凑、偏转角度大的优势。
表 3 快速反射镜关键参数对比Table 3. Comparison of key parameters of fast steering mirrorReference Piezoelectric actuator length /mm Number of deflection degrees of freedom Mechanical deflection range around x axis/mrad Mechanical deflection range around y axis /mrad First natural frequency /Hz Ref. [10] - 1 - 24 1872 Ref. [11] - 1 - 52.3 180 Ref. [16] - 2 4.8 4.8 6700 Ref. [13] - 2 21 21 349 Ref. [14] 72 2 52.93 55.41 105.45 This paper 36 2 100 100 336 5. 总结与展望
本文针对柔性机构构型级数与放大比之间的关系开展了定量分析，得出了嵌套级数的选择依据。针对不同构型方案的固有频率和放大比进行仿真分析，得出了三级混合构型的设计方案。进一步将整体构型离散化为柔性铰链、刚性体和集中质量等基本单元，并计算各单元在参考坐标系中的刚度矩阵。结合矩阵位移法，建立了整个柔性机构的动态响应模型，为柔性铰链、刚性体等单元的参数优化提供了理论依据。最后，对柔性机构开展了模态分析，验证了动态响应模型的能够较为准确地描述快速反射镜的动态行为。与国内外同类研究相比，该机构可以在保证较高一阶固有频率的基础上实现100 mrad机械偏转角度。本文侧重于大转角快速反射镜柔性机构的优化设计与动态分析，针对压电驱动快速反射镜的控制方法研究将在后续工作中开展。
-
![]()
图 3 多特征自适应模块的定性比较结果
Figure 3. Qualitative comparison results of multi-feature adaptive modules
![]()
图 5 Roadscene数据集的定性比较结果
Figure 5. Qualitative comparison results of Roadscene datasets
表 1 密集连接的定量比较结果
Table 1 Quantitative comparison results of dense skip connection
Metrics No_dense Only_En Only_De Ours EN 6.90676 7.00322 6.98832 7.00507 NCIE 0.80460 0.80443 0.80519 0.80464 SD 35.68939 38.39500 43.99837 41.44601 SCD 1.79833 1.84037 1.78040 1.84590 VIFF 0.56981 0.60081 0.58553 0.62035 MS_SSIM 0.92346 0.92305 0.91745 0.93027 注：将最优值以黑体加粗标注，次优值以下划线标注。客观评价指标越高，表明融合性能越好。
Note: The best average value is marked in bold, and the second value is marked with an underline. The objective evaluation index is positively correlated with the fusion performance.
下载: 导出CSV
表 2 多特征自适应损失函数的定量比较结果
Table 2 Quantitative comparison results of multi-feature adaptive loss function
Metrics Fmean Finten Fgrad Ours EN 6.82654 6.95075 6.92680 7.00507 NCIE 0.80432 0.80460 0.80455 0.80464 SD 33.71341 38.96415 36.28725 41.44601 SCD 1.77467 1.83212 1.82509 1.84590 VIFF 0.55015 0.59584 0.59834 0.62035 MS_SSIM 0.91588 0.92522 0.92957 0.93027
下载: 导出CSV
表 3 TNO数据集的定量比较结果
Table 3 Quantitative comparison results of TNO datasets
Metrics MDLatLRR DenseFuse IFCNN UNFusion GANMcC U2Fusion RFN-Nest Ours EN 6.29523 6.25275 6.33795 6.98828 6.57763 6.84306 6.89803 7.00507 NCIE 0.80435 0.80451 0.80404 0.80912 0.80452 0.80392 0.80428 0.80464 SD 23.70282 22.85769 24.06712 40.93903 29.92973 33.59608 34.85373 41.44601 SCD 1.59002 1.57018 1.59052 1.70351 1.67191 1.76712 1.78875 1.84590 VIFF 0.30902 0.28295 0.34396 0.45033 0.40468 0.62469 0.53121 0.62035 MS_SSIM 0.90133 0.87696 0.90474 0.87404 0.85915 0.87283 0.91217 0.93027
下载: 导出CSV
表 4 Roadscene数据集的定量比较结果
Table 4 Quantitative comparison results of Roadscene datasets
Metrics MDLatLRR DenseFuse IFCNN UNFusion GANMcC U2Fusion RFN-Nest Ours EN 6.86973 6.82473 6.91635 7.37792 7.23683 7.41910 7.33677 7.47617 NCIE 0.80701 0.80718 0.80629 0.80998 0.80670 0.80771 0.80649 0.80658 SD 33.05830 32.22811 33.64622 50.26212 43.81169 49.15315 46.03340 51.43262 SCD 1.38030 1.36329 1.38949 1.63715 1.60983 1.76111 1.72851 1.84427 VIFF 0.39051 0.35676 0.41529 0.48462 0.45465 0.58028 0.47894 0.61286 MS_SSIM 0.88881 0.85857 0.89583 0.85420 0.85744 0.93322 0.87277 0.92484
下载: 导出CSV
表 5 OTCBVS数据集的定量比较结果
Table 5 Quantitative comparison results of OTCBVS datasets
Metrics MDLatLRR DenseFuse IFCNN UNFusion GANMcC U2Fusion RFN-Nest Ours EN 7.12984 7.07264 7.23707 7.28585 6.60437 7.35554 7.19973 7.57158 NCIE 0.80557 0.80569 0.80505 0.81011 0.80560 0.80501 0.80528 0.80578 SD 36.43416 35.31958 38.72566 44.91661 27.50886 43.12793 39.04909 50.45001 SCD 1.44604 1.41625 1.45256 1.42248 1.09337 1.62165 1.48793 1.75565 VIFF 0.27563 0.27216 0.29275 0.22372 0.16750 0.32515 0.26596 0.35130 MS_SSIM 0.83939 0.81697 0.86125 0.79352 0.67759 0.87722 0.80530 0.88162
下载: 导出CSV
-
[1] Paramanandham N, Rajendiran K. Multi sensor image fusion for surveillance applications using hybrid image fusion algorithm[J]. Multimedia Tools and Applications, 2018, 77(10): 12405-12436. DOI: 10.1007/s11042-017-4895-3
[2] ZHANG Xingchen, YE Ping, QIAO Dan, et al. Object fusion tracking based on visible and infrared images: a comprehensive review[J]. Information Fusion, 2020, 63: 166-187. DOI: 10.1016/j.inffus.2020.05.002
[3] TU Zhengzheng, LI Zhun, LI Chenglong, et al. Multi-interactive dual- decoder for RGB-thermal salient object detection[J]. IEEE Transactions on Image Processing, 2021, 30: 5678-5691. DOI: 10.1109/TIP.2021.3087412
[4] FENG Zhanxiang, LAI Jianhuang, XIE Xiaohua. Learning modality- specific representations for visible-infrared person re-identification[J]. IEEE Transactions on Image Processing, 2020, 29: 579-590. DOI: 10.1109/TIP.2019.2928126
[5] MO Yang, KANG Xudong, DUAN Puhong, et al. Attribute filter based infrared and visible image fusion[J]. Informantion Fusion, 2021, 75: 41-54. DOI: 10.1016/j.inffus.2021.04.005
[6] LI Hui, WU Xiaojun, Kittle J. MDLatLRR: a novel decomposition method for infrared and visible image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4733-4746. DOI: 10.1109/TIP.2020.2975984
[7] 李辰阳, 丁坤, 翁帅, 等. 基于改进谱残差显著性图的红外与可见光图像融合[J]. 红外技术, 2020, 42(11): 1042-1047. http://hwjs.nvir.cn/article/id/6e57a6fb-ba92-49d9-a000-c00e7a933365 LI Chenyang, DING Kun, WENG Shuai, et al. Image fusion of infrared and visible images based on residual significance[J]. Infrared Technology, 2020, 42(11): 1042-1047. http://hwjs.nvir.cn/article/id/6e57a6fb-ba92-49d9-a000-c00e7a933365
[8] WANG Zhishe, YANG Fengbao, PENG Zhihao, et al. Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J]. Optik-International Journal for Light and Electron Optics, 2015, 126(23): 4184-4190. DOI: 10.1016/j.ijleo.2015.08.118
[9] LIU Yu, CHEN Xun, PENG Hu, et al. Multi-focus image fusion with a deep convolutional neural network[J]. Informantion Fusion, 2017, 36: 191-207. DOI: 10.1016/j.inffus.2016.12.001
[10] WANG Zhishe; WU Yuanyuan; WANG Junyao, et al. Res2Fusion: infrared and visible image fusion based on dense Res2net and double non-local attention models[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 1-12.
[11] MA Jiayi, MA Yong, LI Chang. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178. DOI: 10.1016/j.inffus.2018.02.004
[12] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional networks for biomedical image segmentation[C]//Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention, 2015: 234-241.
[13] Toet A. Computational versus psychophysical bottom-up image saliency: a comparative evaluation study[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(11): 2131-2146.
[14] LI Hui, WU Xiaojun. DenseFuse: a fusion approach to infrared and visible images[J]. IEEE Transactions on Image Processing, 2019, 28(5): 2614-2623. DOI: 10.1109/TIP.2018.2887342
[15] ZHANG Yu, LIU Yu, SUN Peng, et al. IFCNN: a general image fusion framework based on convolutional neural network[J]. Information Fusion, 2020, 54: 99-118. DOI: 10.1016/j.inffus.2019.07.011
[16] WANG Zhishe, WANG Junyao, WU Yuanyuan, et al. UNFusion: a unified multi-scale densely connected network for infrared and visible image fusion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(6): 3360- 3374. DOI: 10.1109/TCSVT.2021.3109895
[17] MA Jiayi, YU Wei, LIANG Pengwei, et al. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26. DOI: 10.1016/j.inffus.2018.09.004
[18] MA Jiayi, ZHANG Hao, SHAO Zhenfeng, et al. GANMcC: a generative adversarial network with multiclassification constraints for infrared and visible image fusion[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 1-14.
[19] LI Hui, WU Xiaojun, Josef Kittler. RFN-Nest: an end-to-end residual fusion network for infrared and visible images[J]. Information Fusion, 2021, 73: 72-86. DOI: 10.1016/j.inffus.2021.02.023
[20] TOET A. TNO Image Fusion Datase[DB/OL]. [2014-04-26]. https://figshare.com/articles/TN Image Fusion Dataset/1008029.
[21] XU Han. Roadscene Database[DB/OL]. [2020-08-07]. https://github.com/hanna-xu/RoadScene.
[22] Ariffin S. OTCBVS Database[DB/OL]. [2007-06]. http://vcipl-okstate.org/pbvs/bench/.
[23] XU Han, MA Jiayi, JIANG Junjun, et al. U2Fusion: a unified unsupervised image fusion network[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(1): 502-518. DOI: 10.1109/TPAMI.2020.3012548
[24] Aslantas V, Bendes E. Assessment of image fusion procedures using entropy, image quality, and multispectral classification[J]. Journal of Applied Remote Sensing, 2008(2): 1-28.
[25] LIU Zheng, Blasch E, XUE Zhiyun, et al. Objective assessment of multiresolution image fusion algorithms for context enhancement in night vision: A comparative study[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 34: 94-109.
[26] RAO Yunjiang. In-fibre bragg grating sensors[J]. Measurement Science and Technology, 1997(8): 355-375.
[27] Aslantas V, Bendes E. A new image quality metric for image fusion: The sum of the correlations of differences[J]. AEU-Int. J. Electron. C. , 2015, 69: 1890-1896. DOI: 10.1016/j.aeue.2015.09.004
[28] HAN Yu, CAI Yunze, CAO Yin, et al. A new image fusion performance metric based on visual information fidelity[J]. Information Fusion, 2013(14): 127-135.
[29] MA Kede, ZENG Kai, WANG Zhou. Perceptual quality assessment for multi-exposure image fusion[J]. IEEE Trans. Image Process, 2015, 24: 3345-3356. DOI: 10.1109/TIP.2015.2442920
计量
- 文章访问数: 248
- HTML全文浏览量: 88
- PDF下载量: 72
