Heterogeneous Image Registration Algorithm Based on Fusion PC-ORB
-
摘要: 异源图像配准中，由于图像的成像机理差异，图像像素强度关联和旋转畸变是不可避免的两大问题，针对图像像素强度关联问题，提出了基于辐射不变特征变换（radiation-variation insensitive feature transform，RIFT）的图像配准算法，对图像间像素关联差异小的图像对配准有良好的精度，但对旋转畸变图像会产生较多错误匹配。对于旋转畸变问题，传统的ORB（oriented fast and rotated brief）算法，对旋转图像的配准有一定的稳定性，但对于强度变化不明显的图像对，特征点检测质量较低，配准精度不理想。因此本文将相位一致性（phase consistency，PC）融合进ORB算法，利用相位信息代替传统的图像强度信息，再构造旋转不变性BRIEF特征描述子，对图像像素强度变化和旋转畸变均具有鲁棒性。用图像像素强度关联不明显的红外图像和可见光图像进行配准实验，本文算法针对不同旋转幅度的图像的配准精度较高，RMSE稳定在1.7~2.1，优于RIFT算法，在特征点检测数量、配准精度和效率等性能上均有良好性能。Abstract: In heterogeneous image registration, because of the differences in the imaging mechanisms, image pixel intensity correlation and rotation distortion are two inevitable problems. Aiming at the problem of image pixel intensity correlation, an image registration algorithm based on a radiation-invariant feature transform (RIFT) is proposed; it has good accuracy for image registration with small differences in the pixel correlation between images, but produces more error matching for rotation distortion images. For the problem of rotational distortion, the traditional Oriented Fast and Rotated Brief (ORB) algorithm has a certain degree of stability in the registration of rotating images; however, for image pairs with insignificant intensity changes, the quality of the feature point detection is low and the registration accuracy is not ideal. Therefore, this study integrates Phase Consistency into the ORB algorithm, replaces traditional image strength information with phase information, and constructs a rotation-invariant BRIEF feature descriptor that is robust to changes in the pixel strength and rotation distortion in the image. The registration experiment is conducted using infrared and visible-light images with unclear pixel intensity correlations. The algorithm proposed in this paper has high registration accuracy for images with different rotation amplitudes, and the RMSE is stable at 1.7−2.1, which is superior to the RIFT algorithm. It performs well in detecting a large number of feature points, achieving high registration accuracy, and maintaining efficiency.
-
Keywords:
- image registration /
- feature matching /
- phase consistency /
- rotational invariance /
- ORB algorithm
-
0. 引言
近年来，鉴于衍射光学元件能够为系统提供一定的设计自由度，被广泛地应用于各种光学系统中，如成像系统、光束整形系统、复眼和3D显示等[1-5]。衍射效率和带宽积分平均衍射效率（polychromatic integral diffraction efficiency，PIDE）是决定DOE工作波段的重要参数。DOE的衍射效率对入射角度具有一定的依赖性。入射角度的增大会降低其衍射效率，进一步影响折衍混合光学系统的成像质量。
目前，成像光学系统中的DOE都是利用标量衍射理论（scalar diffraction theory，SDT）进行设计的，但该理论没有考虑入射角度对微结构高度的影响[6]。随着微结构表面入射角的增大，DOE的衍射效率会不断下降[7-8]。当微结构高度和波长处于同一数量级时，采用SDT计算衍射效率的准确度会大幅度下降，此时可以利用矢量衍射理论（vector diffraction theory，VDT）进行分析计算[9-12]。但是，VDT很难通过优化设计微结构高度等参数实现衍射效率的最大化。扩展标量衍射理论（extended scalar diffraction theory，ESDT）考虑了入射角度这一参数，其计算结果要比SDT更加精确，能够简化VDT的计算时间，并实现DOE的优化设计[13]。对于工作在可见光波段的双层DOE，文献[14]讨论了基于SDT和VDT计算的入射角度对衍射效率的影响。文献[15]基于ESDT讨论了周期宽度对微结构高度和PIDE的影响，但并没有给出DOE结构参数的优化设计。对于工作在一定入射角度范围内的DOE，基于ESDT对PIDE的优化设计未见报道。
本文基于ESDT，提出了工作在一定入射角度范围内，基于复合带宽积分平均衍射效率（comprehensive PIDE，CPIDE）最大化实现DOE设计波长、微结构高度等结构参数的优化设计方法。以工作在红外波段的DOE为例进行了分析与讨论。该方法可以实现工作在一定入射角度范围内的DOE结构参数的优化设计，特别是在相对周期宽度不是很大的情况下。
1. 理论模型
当光线以入射角θ传播到DOE的微结构上时，如图 1所示，根据衍射光栅公式，得到DOE的衍射光栅方程为：
$$ T\left(n_{\mathrm{r}} \sin \theta_{\mathrm{d}}-n_{\mathrm{i}} \sin \theta\right)=m \lambda $$ (1) 式中：T为光栅周期；ni与nr分别为相应介质材料在波长λ时的折射率；θd为衍射角；m为衍射级次。依据Snell折射定律，考虑衍射微结构对光线传播的影响，有：
$$ n_{\mathrm{r}} \sin (\theta+\alpha)=n_{\mathrm{r}} \sin \left(\theta_{\mathrm{r}}+\alpha\right) $$ (2) 式中：α为微结构表面的倾角，tanα＝d/T，θr为折射角。当衍射角等于折射角，即θr＝θd时，第m衍射级次的衍射效率最大。利用公式(1)和(2)，得到DOE的表面微结构高度d为：
$$ d\left( {\lambda , \theta , T} \right) = \frac{{m\lambda }}{{{n_{\text{i}}}\left( \lambda \right)\cos \theta - \sqrt {{n_{\text{r}}}^2\left( \lambda \right) - {{(\frac{{m\lambda }}{T} + {n_{\text{i}}}\left( \lambda \right)\sin \theta )}^2}} }} $$ (3) 由公式(3)可知，当衍射面两端介质材料确定后，DOE的微结构高度与波长、入射角度和周期宽度有关。当DOE工作在正入射的状态下，微结构高度可以表示为：
$$ d\left( {\lambda , T} \right) = \frac{{m\lambda }}{{{n_{\text{i}}}\left( \lambda \right) - {n_{\text{r}}}\left( \lambda \right)\sqrt {1 - {{\left( {\frac{{m\lambda }}{{{n_{\text{r}}}\left( \lambda \right)T}}} \right)}^2}} }} $$ (4) 当周期宽度远大于波长并且光线正入射时，得到基于SDT的DOE的微结构高度为：
$$ {d_{{\text{SDT}}0}} = \frac{{m{\lambda _0}}}{{{n_{\text{i}}}\left( {{\lambda _0}} \right) - {n_{\text{r}}}\left( {{\lambda _0}} \right)}} $$ (5) 可见，基于SDT，当介质材料和衍射级次确定后，微结构高度仅由设计波长λ0决定。
基于ESDT，斜入射时DOE的衍射效率为：
$$ \begin{array}{l} {\eta _m}\left( {\lambda , \theta , T} \right) = \sin {{\text{c}}^2}\{ m - \hfill \\ \frac{d}{\lambda }\left[ {\sqrt {n_{\text{r}}^2\left( \lambda \right) - n_{\text{i}}^2\left( \lambda \right){{\sin }^2}\theta } - {n_{\text{i}}}\left( \lambda \right)\cos \theta } \right]\} \hfill \\ \end{array} $$ (6) 利用公式(3)和(6)可以计算周期宽度和入射角度对DOE衍射效率的影响。若把公式(6)中的d换成dSDT0即得到SDT的计算结果。
若DOE工作在λmin~λmax波段范围时，其PIDE为：
$$ {\overline \eta _m}\left( \lambda \right) = \frac{1}{{{\lambda _{\max }} - {\lambda _{\min }}}}\int_{{\lambda _{\min }}}^{{\lambda _{\max }}} {{\eta _m}{\text{d}}\lambda } $$ (7) 要基于PIDE的最大化确定微结构高度的大小，需要利用公式(7)，在周期宽度已知的前提下，确定公式(3)中的设计波长λ0和设计入射角度θ0，即可计算得到微结构高度d0，即：
$$ {d_0} = \frac{{m{\lambda _0}}}{{{n_{\text{i}}}\left( {{\lambda _0}} \right)\cos {\theta _0} - \sqrt {{n_{\text{r}}}^2\left( {{\lambda _0}} \right) - {{(\frac{{m{\lambda _0}}}{T} + {n_{\text{i}}}\left( {{\lambda _0}} \right)\sin {\theta _0})}^2}} }} $$ (8) 若工作在成像光学系统中的DOE，其入射角度范围为θmin~θmax，则DOE在整个工作入射角度范围内的CPIDE为：
$$ \begin{array}{l} {\overline \eta _{\text{c}}}(\lambda , \theta , T) = \frac{1}{{{\theta _{\max }} - {\theta _{\min }}}}\int_{{\theta _{\min }}}^{{\theta _{\max }}} {{{\overline \eta }_m}{\text{d}}\theta } {\text{ = }} \hfill \\ \quad \frac{1}{{{\theta _{\max }} - {\theta _{\min }}}} \cdot \frac{1}{{{\lambda _{\max }} - {\lambda _{\min }}}}\int_{{\theta _{\min }}}^{{\theta _{\max }}} {\int_{{\lambda _{\min }}}^{{\lambda _{\max }}} {{\eta _m}{\text{d}}\lambda } {\text{d}}\theta } \hfill \\ \end{array} $$ (9) 若DOE工作在几个分离的入射角度范围内，如变焦系统，则其CPIDE为：
$$ \begin{array}{l} {\overline \eta _{\text{c}}}(\lambda , \theta , T) = \sum\limits_{z = 1}^N {\frac{{{\omega _z}}}{{{\theta _{z\max }} - {\theta _{z\min }}}}\int_{{\theta _{z\min }}}^{{\theta _{z\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } } {\text{ = }} \hfill \\ \quad \quad \frac{{{\omega _1}}}{{{\theta _{1\max }} - {\theta _{1\min }}}} \cdot \int_{{\theta _{1\min }}}^{{\theta _{1\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } + \frac{{{\omega _2}}}{{{\theta _{2\max }} - {\theta _{2\min }}}} \cdot \hfill \\ \quad \quad \int_{{\theta _{2\min }}}^{{\theta _{2\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } + \cdots + \frac{{{\omega _N}}}{{{\theta _{N\max }} - {\theta _{N\min }}}} \cdot \int_{{\theta _{N\min }}}^{{\theta _{N\max }}} {{{\overline \eta }_{\text{m}}}{\text{d}}\theta } \hfill \\ \end{array} $$ (10) 式中：θzmin和θzmax分别表示第z个入射角范围的最小和最大入射角；ωz为第z个入射角范围的权重；N表示总的入射角范围数量。
2. 基于SDT的仿真与分析
以工作在红外波段1.4~2.2 μm的DOE为例，基底材料采用硫化锌，衍射级次m＝1。假设光束从空气介质入射到衍射基底，如图 2所示为基于SDT计算得到的正入射时DOE的PIDE与波长的关系。在整个波段范围内，PIDE最高为94.47%，此时对应的峰值波长为设计波长，即1.7410 μm，利用公式(5)计算得到微结构高度dSDT0为1.3726 μm。
![]()
图 2 正入射时的PIDE与波长的关系Figure 2. Relationship between PIDE and wavelength at normal incidence当入射角度分别为20°和40°时，DOE的衍射效率与波长的关系如图 3所示。正入射时，在设计波长处的衍射效率为100%，最低衍射效率为81.07%。随着入射角度的增大，100%衍射效率对应的设计波长向长波方向移动；而且在工作波段范围内的最低衍射效率呈现快速下降的变化趋势。
图 4给出了PIDE与入射角度的关系。当入射角度分别为20°、40°和60°时，DOE在整个波段的PIDE分别为94.27%、91.13%%和78.05%。假设各个视场的权重相同，当DOE分别工作在0°~20°、0°~40°和0°~60°入射角度范围内时，利用公式(10)计算得到CPIDE分别为94.43%、93.81%和91.13%。可见，基于正入射计算得到的微结构高度，随着入射角度或入射角度范围的增大，对应的PIDE或CPIDE逐渐减小。
3. 基于ESDT的仿真与分析
基于ESDT，首先分析周期宽度和入射角度对DOE微结构高度的影响；然后，分析一定的周期宽度和不同入射角度时DOE的衍射效率；最后，基于CPIDE最大化实现微结构高度等结构参数的优化设计。
3.1 微结构高度的分析
由公式(3)可知，DOE的微结构高度的大小与周期宽度和入射角度有关。当入射角度分别为0°、20°、40°和60°时，DOE的微结构高度与相对周期宽度（周期宽度与波长1.7410 μm的比值）的关系如图 5所示。正入射时，当相对周期宽度为5时，衍射微结构高度为1.3758 μm，与dSDT0相比，增大了0.0032 μm。如表 1所示，当入射角度为40°时，相对周期宽度分别为10或无穷大时，对应的微结构高度分别为1.2511 μm和1.2355 μm，与dSDT0相比，分别减小了8.85%和9.99%。如图 5和表 1所示，当入射角度或者相对周期宽度改变时，基于ESDT计算得到的微结构高度与SDT的偏差不同。所以，当入射角度较大时，需要考虑入射角度和相对周期宽度对微结构高度的影响。
表 1 微结构高度与周期宽度的关系Table 1. Relationship between microstructure height and period widthIncident angle/(°) Period width /λ 5 10 20 30 ∞ 0 1.3758 1.3734 1.3728 1.3727 1.3726 20 1.3579 1.3463 1.3411 1.3395 1.3365 40 1.2689 1.2511 1.2430 1.2404 1.2355 60 1.1266 1.1076 1.0988 1.0960 1.0907 3.2 斜入射时的仿真与分析
当相对周期宽度确定为20时，在上述4个入射角度情况下，DOE的PIDE与波长的关系如图 6所示。随着入射角度的增大，PIDE最大值对应的峰值设计波长向短波方向移动。利用公式(4)计算得到微结构高度如表 2所示。伴随着设计波长的减小，微结构高度随入射角度的增大也减小。
表 2 基于带宽积分平均衍射效率最大化确定的结构参数Table 2. Structural parameters determined by maximum PIDEParameters Incident angle/° 0 20 40 60 Maximum PIDE/% 94.47 94.47 94.48 94.50 Design wavelength/μm 1.7399 1.7298 1.7220 1.7182 Microstructure height/μm 1.3724 1.3360 1.2350 1.0904 利用上述计算得到的设计波长和微结构高度，计算DOE的衍射效率如图 7所示。入射角度为20°时，采用SDT和ESDT设计时的DOE在整个工作波段范围内的衍射效率图 7(a)所示，衍射效率最小值分别为76.18%和81.65%，提高了5.47%。当入射角度分别增大到40°和60°时，如图 7(b)、(c)所示，衍射效率最小值分别从59.25%增大到81.17%，从29.39%增大到81.21%，分别提高了21.92%和51.82%。可见，当入射角度偏离正入射时，利用基于ESDT计算得到的设计波长和微结构高度能够显著提高衍射效率。
![]()
图 7 衍射效率与波长关系的对比Figure 7. Comparison of the relationship between diffraction efficiency and wavelength3.3 一定入射角度范围工作时的仿真与分析
同样假设DOE的相对周期宽度确定为20，当DOE工作时的入射角度范围为0°~20°，并假设各个视场的权重因子相同，DOE的PIDE与波长和入射角度的关系如图 8所示，基于CPIDE的最大化（94.45%），得到设计波长为1.73 μm，设计角度为8.25°，进一步计算得到DOE的微结构高度为1.3615 μm。若DOE工作的入射角度范围增大到0°~40°或0°~60°时，其微结构高度和CPIDE等参数如表 3所示。可见，随着DOE衍射面入射角度范围的增大，其微结构高度和CPIDE都逐渐减小。
![]()
图 8 一定周期宽度时的PIDE与入射角度和波长的关系Figure 8. PIDE versus incident angle and wavelength at a certain period width表 3 基于带宽积分平均衍射效率最大化确定的结构参数Table 3. Structural parameters determined by maximum CPIDEParameters Incident angle range/° 0-20 0-40 0-60 Design wavelength/μm 1.73 1.72 1.72 Design angle/° 8.25 16 24 Microstructure height/μm 1.3615 1.3396 1.3142 CPIDE/% 94.45 94.15 92.67 4. 结论
本文基于ESDT，建立了DOE的微结构高度与入射角度、周期宽度的数学关系模型，提出了工作在一定入射角度范围内，基于CPIDE最大化实现设计波长和微结构高度等结构参数的优化设计方法。对工作在红外波段的DOE进行仿真分析。当入射角度为40°时，对比SDT，基于ESDT计算得到的在工作波段范围内衍射效率的最小值提高了29.39%；当DOE工作在0°~40°范围内时，通过优化设计得到微结构高度为1.3396 μm，CPIDE为94.15%。随着DOE在各类光学系统中的广泛应用，该方法为工作在较大入射角度范围内DOE的优化设计提供了理论依据。
-
![]()
图 4 PC构造后特征点检测对比
Figure 4. Comparison of feature point detection after PC construction
表 1 不同算法特征匹配性能指标对比
Table 1 Comparison of performance indicators for feature matching of different algorithms
Algorithm Number of feature points Number of correct matches RMSE Registration time consumed/s SIFT 536 / / 1.732 ORB 248 153 2.04 0.153 RIFT 1347 1258 1.72 0.772 Ours 1425 1372 1.62 0.682 
下载: 导出CSV
-
[1] 韩静, 柏连发, 张毅, 等. 基于改进配准测度的红外与可见光图像配准[J]. 红外技术, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006 HAN Jing, BAI Lianfa, ZHANG Yi, et al. Registration of infrared and visible light images based on improved registration measure[J]. Infrared Technology, 2011, 33(5): 271-274. DOI: 10.3969/j.issn.1001-8891.2011.05.006
[2] CHEN Y, ZHANG X, ZHANG Y, et al. Visible and infrared image registration based on region features and edginess[J]. Machine Vision and Applications, 2018, 29(1): 113-123. DOI: 10.1007/s00138-017-0879-6
[3] MA J, ZHAO J, MA Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784. DOI: 10.1016/j.patcog.2014.09.005
[4] LI Y, YU F, CAI Q, et al. Image fusion of fault detection in power system based on deep learning[J]. Cluster Computing, 2019, 22: 9435-9443. DOI: 10.1007/s10586-018-2264-2
[5] ZHUANG Y, GAO K, MIU X, et al. Infrared and visual image registration based on mutual information with a combined particle swarm optimization-powell search algorithm[J]. Optik, 2016, 127(1): 188-191. DOI: 10.1016/j.ijleo.2015.09.199
[6] Brown L G. Survey of image registration techniques[J]. ACM Computing Surveys, 1992, 24(4): 325-376. DOI: 10.1145/146370.146374
[7] Pluim J P W, Antoine Maintz J B, Viergever M A. Image registration by maximization of combined mutual information and gradient information[C]//3rd International Conference on Medical Image Computing and Computer-Assisted Intervention, MICCAI, 2000: 809-814.
[8] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94
[9] WANG S, YOU H, FU K. BFSIFT: a novel method to find feature matches for sar image registration[C]//IEEE Geoscience and Remote Sensing Letters, 2012, 9(4): 649-653.
[10] Rublee E, Rabaud V, Konolige K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision, 2011: DOI: 10.1109/ICCV.2011.6126544.
[11] FENG Y, LI S. Research on an image mosaic algorithm based on improved ORB feature combined with SURF[C/OL]//Chinese Control and Decision Conference (CCDC), 2018: https://cpfd.cnki.com.cn/Article/CPFDTOTAL-KZJC201806004118.htm.
[12] LI J, HU Q, AI M. RIFT: Multi-modal image matching based on radiation-variation insensitive feature transform[J]. IEEE Transactions on Image Processing, 2020, 29: 3296-3310. DOI: 10.1109/TIP.2019.2959244
[13] 王珂, 邓安健, 臧文乾. 基于改进ORB和匹配策略融合的图像配准方法[J]. 测绘与空间地理信息, 2023, 46(2): 43-47. https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH202302011.htm WANG Ke, DENG Anjian, ZANG Wenqian. Image registration method based on improved ORB and fusion matching strategy[J]. Geomatics and Spatial Information Technology, 2023, 46(2): 43-47. https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH202302011.htm
[14] Arrospide J, Salgado L. Log-gabor filters for image-based vehicle verification[J]. IEEE Transactions on Image Processing, 2013, 22(6): 2286-2295. DOI: 10.1109/TIP.2013.2249080
[15] WU G, ZHOU Z. An improved ORB feature extraction and matching algorithm[C]//33rd Chinese Control and Decision Conference, CCDC, 2021: DOI: 10.1109/CAC51589.2020.9327165.
[16] 孙世宇, 张岩, 胡永江, 等. 改进模型估计的无人机侦察视频快速拼接方法[J]. 红外与激光工程, 2018, 47(9): 382-390. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201809055.htm SUN Shiyu, ZHANG Yan, HU Yongjiang, et al. Rapid stitching method for unmanned aerial vehicle reconnaissance videos based on improved model estimation[J]. Infrared and Laser Engineering, 2018, 47(9): 382-390. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201809055.htm
-
期刊类型引用(10)
1. 甘守武，赵磊娜，周湘阳. 车用SLM成形DP780钢的疲劳损伤非线性电磁超声换能检测. 中国工程机械学报. 2024(01): 113-117 . 
百度学术
2. 侯佳，纪德香，王平. 基于红外热成像的埋地输油管道腐蚀无损检测. 自动化技术与应用. 2024(09): 73-76 . 百度学术
3. 闫旭帅，李伟仙，吴思进. 基于数字剪切散斑干涉与红外热成像的复合缺陷检测. 激光与光电子学进展. 2024(24): 115-120 . 百度学术
4. 贾广辉，袁留奎，常浩，张昊. 基于非线性超声的SLM制备车用合金疲劳损伤检测. 制造技术与机床. 2023(03): 184-188 . 百度学术
5. 陈华伟，谢志辉，姜盼. 基于红外监测技术的热缺陷分类及典型故障分析. 机电工程技术. 2023(06): 50-53 . 百度学术
6. 李波，陈俊卫，刘卓毅，白洁，樊磊，张聪，郭举富，江海军. 基于锁相红外热成像技术的电力设备防护涂层质量检测. 无损检测. 2023(08): 73-78 . 百度学术
7. 袁新安，卞旭东，杨会敏，李伟，刘岩，刘荣华，王运才，王汉. 基于FPGA的结构缺陷交流电磁场可视化实验系统. 实验技术与管理. 2023(09): 193-199 . 百度学术
8. 张雪敏，王峰，谷力. 基于非线性超声技术的SLM成型合金层疲劳损伤检测. 材料保护. 2023(10): 225-229 . 百度学术
9. 吕洪涛，包含，兰恒星，李黎，陈卫昌，晏长根，张景峰. 基于热红外响应的岩体单裂隙埋藏深度探测方法. 地球科学与环境学报. 2022(06): 1048-1065 . 百度学术
10. 解婧陶. 基于机器视觉的钢铁材料裂纹无损检测方法. 信息与电脑(理论版). 2022(20): 84-86 . 百度学术
其他类型引用(7)
计量
- 文章访问数: 97
- HTML全文浏览量: 56
- PDF下载量: 43
- 被引次数: 17
