基于相机平移矩阵奇异值分解的极线校正

李守业; 胡茂海; 李天冉; 段哲一

基于相机平移矩阵奇异值分解的极线校正

南京理工大学电子工程与光电技术学院, 江苏南京 210094

详细信息

作者简介:
李守业（1999-）男，硕士研究生，主要研究方向为机器视觉。E-mail: lsy@njust.edu.cn

通讯作者:
胡茂海（1967-）男，博士，副教授，主要研究方向为机器视觉、高速数据采集。E-mail: hmh@njust.edu.cn

中图分类号: TP391.4
计量
- 文章访问数: 114
- HTML全文浏览量: 26
- PDF下载量: 20
出版历程
- 收稿日期: 2023-02-27
- 修回日期: 2023-03-27
- 刊出日期: 2024-02-19

Epipolar Rectification Based on Singular Value Decomposition of Camera Translation Matrix

School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China

摘要

摘要: 极线校正是一种针对双目相机原始图像对的投影变换方法, 使校正后图像对应的极线位于同一水平线上，消除垂直视差，将立体匹配优化为一维搜索问题。针对现今极线校正的不足，本文提出一种基于双目相机平移矩阵的极线校正方法：首先利用奇异值分解（singular value decomposition, SVD）平移矩阵，求得校正后的新旋转矩阵；其次通过校正前后的图像关系确立一个新相机内参矩阵，完成极线校正。运用本文方法对SYNTIM数据库的不同场景多组双目图像进行验证，实验结果表明平均校正误差在0.6像素内，图像几乎不产生畸变，平均偏斜在2.4°左右，平均运行时间为0.2302 s，该方法具有应用价值，完全满足极线校正的需求，解决了双目相机在立体匹配过程中由于相机的机械偏差而产生的误差和繁琐的计算过程。
- 双目视觉 /
- 极线校正 /
- 机器视觉 /
- 深度相机
Abstract: Epipolar rectification is a projection transformation method for the original image pair of a binocular camera such that the corresponding polar lines of the corrected image are on the same horizontal line, no vertical parallax occurs, and stereo-matching is optimized as a one-dimensional search problem. A polar correction method based on a binocular camera translation matrix is proposed to address the shortcomings of current polar correction methods. First, the new corrected rotation matrix is derived using the translation matrix of singular value decomposition. Second, a new camera internal reference matrix is established based on the image relationship before and after correction to complete the polar correction. The proposed method was used to verify multiple groups of binocular images in different scenes in the SYNTIM database. The experimental results show that the average correction error is within 0.6 pixels. The image produces minimal distortion, and the average deviation is approximately 2.4°. The average operation time is 0.2302 s. With its application value, this method fully satisfies polar correction requirements, solves the error, and improves the tedious calculation process caused by the mechanical deviation of the camera during the stereo matching of binocular cameras.
- binocular vision /
- epipolar rectification /
- machine vision /
- depth camera

HTML全文

图 1 对极几何

Figure 1. Epipolar geometry

下载: 全尺寸图片幻灯片

图 2 极线校正流程

Figure 2. Epipolar correction process

下载: 全尺寸图片幻灯片

图 3 20对图像使用不同方法的误差(a)、畸变(b)、偏斜(c)、运行时间(d)

Figure 3. Rectification error(a), scale variance(b), skewness(c)and runtime(d) of different methods for 20 images

下载: 全尺寸图片幻灯片

图 4 画出极线的Rubik图像及极线斜率(a) 原始图像（斜率=1.23×10^-2）(b) Bouguet方法（斜率=3.82×10^-7）(c) Fusiello方法（斜率=2.71×10^-7）(d) Hartley方法（斜率=3.95×10^-5）(e) Mallon方法（斜率=3.19×10^-7）(f) Wu方法（斜率=1.48×10^-6）(g) 本文推荐方法（斜率=2.39×10^-7）

Figure 4. Rubik image with polar line drawn and polar line slope (a) Original image(Slope=1.23×10^-2); (b) Bouguet's method (Slope=3.82×10^-7); (c) Fusiello's method(Slope=2.71×10^-7); (d) Hartley's method(Slope=3.95×10^-5); (e) Mallon's method(Slope=3.19×10^-7); (f) Wu's method(Slope=1.48×10^-6); (g) Proposed rectification method (Slope=2.39×10^-7)

下载: 全尺寸图片幻灯片

表 1 平均误差、畸变、偏斜、运行时间

Table 1 Average error, scale, variance, skewness and runtime

Methods	Bouguet	Fusiello	Hartley	Mallon	Wu	Proposed
Error in pixels	0.6495	0.6268	0.8467	0.6361	0.7028	0.5940
Scale variance	1.2275	1.2261	1.1270	1.1243	1.1900	1.0062
Skewness/(°)	2.3369	2.4472	2.5156	3.2096	3.0419	2.3941
Runtime/s	0.2349	0.2294	0.8473	1.305	0.2412	0.2302

下载: 导出CSV

参考文献(14)

[1]	王学, 周红旭, 张雷, 等. 基于近红外双目立体视觉的悬臂式掘进机定位研究[J/OL]. 工矿自动化: 1-11[2022-09-15]. DOI: 10.13272/j.issn.1671-251x.17896. WANG X, ZHOU H X, ZHANG L, et al. Research on cantilever roadheader positioning based on near-infrared binocular stereo vision[J/OL]. [2022-09-15]. Mine Automation, DOI: 10.13272/j.issn.1671-251x.17896.
[2]	江荣, 朱攀, 周兴林, 等. 基于双目视觉算法的路面三维纹理信息获取[J]. 激光与光电子学进展, 2022, 59(14): 284-292. JIANG R, ZHU P, ZHOU X L, et al. Three-dimensional pavement texture information acquisition based on binocular vision algorithm[J]. Laser & Optoelectronics Progress, 2022, 59(14): 284-292.
[3]	舒方林, 张海波, 曹文冠. 基于立体视觉的交叉路口对向车辆运动状态估计[J]. 计算机与数字工程, 2022, 50(5): 1029-1034. SHU F L, ZHANG H B, CAO W G. Estimating the motion state of oncoming vehicle based on stereo vision at intersection[J]. Computer & Digital Engineering, 2022, 50(5): 1029-1034.
[4]	冉舒文, 刘显明, 雷小华, 等. 基于双目视觉的抬头显示虚像三维形貌测量[J/OL]. [2022-10-26]. 光学学报, http://kns.cnki.net/kcms/detail/31.1252.O4.20220714.1900.522.html. RAN S W, LIU X M, LEI X H, et al. Head-up display virtural image 3D topography measurement based on binocular vision[J/OL]. [2022-10-26]. Acta Optica Sinica, http://kns.cnki.net/kcms/detail/31.1252.O4.20220714.1900.522.html
[5]	Bouguet J Y. Matlab Camera Calibration Toolbox[EB/OL]. 2000, http://www.vision.caltech.edu\bouguetj\calib_doc.
[6]	Andrea Fusiello, Luca Irsara. Quasi-Euclidean epipolar rectification of uncalibrated images[J]. Machine Vision and Applications, 2011, 22(4): 663-670. DOI: 10.1007/s00138-010-0270-3
[7]	Richard I Hartley. In defense of the eight-point algorithm[J]. IEEE Trans. Pattern Anal. Mach. Intell., 1997, 19(6): 580-593. DOI: 10.1109/34.601246
[8]	Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, 2000.
[9]	Richard I Hartley. Theory and practice of projective rectification[J]. International Journal of Computer Vision, 1999, 35(2): 115-127. DOI: 10.1023/A:1008115206617
[10]	林国余, 张为公. 一种无需基础矩阵的鲁棒性极线校正算法[J]. 中国图象图形学报, 2006(2): 203-209. LIN G Y, ZHANG W G. An Effective robust rectification method for stereo vision[J]. Journal of Image and Graphics, 2006(2): 203-209.
[11]	John Mallon, Paul F Whelan. Projective rectification from the fundamental matrix[J]. Image and Vision Computing, 2005, 23(7): 643-650. DOI: 10.1016/j.imavis.2005.03.002
[12]	WU Wenhuan, ZHU Hong, ZHANG Qian. Epipolar rectification by singular value decomposition of essential matrix[J]. Multimedia Tools Appl., 2018, 77(12): 15747-15771. DOI: 10.1007/s11042-017-5149-0
[13]	Martin A Fischler, Robert C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Commun. ACM, 1981, 24(6): 381-395. DOI: 10.1145/358669.358692
[14]	Hyunsuk Ko, Han Suk Shim, Ouk Choi, et al. Robust uncalibrated stereo Rectification with constrained geometric distortions (USR-CGD)[J]. Image and Vision Computing, 2017, 60: 98-114. DOI: 10.1016/j.imavis.2017.01.001

施引文献(67)

期刊类型引用(46)

1.	鲍涛，李中鹤，张新民，何吉坤，王凯明，赵美蓉. 基于红外图像的油气管道泄漏监测系统. 测控技术. 2025(02): 39-44 . 百度学术
2.	黄晓云. 基于光场重构的室内空间布局三维成像方法研究. 激光杂志. 2024(04): 228-232 . 百度学术
3.	郑永，谢伟，陈艳，赵化雨，张天恒，段高歆，刘宏荻. 基于改进引导滤波算法的蜗轮齿廓边缘保持方法. 机电工程. 2024(12): 2152-2162 . 百度学术
4.	谭开豪，贾赞，钱蓉蓉，文洪青，朱洪洋. 基于改进引导滤波分层技术的红外图像增强算法. 激光杂志. 2023(07): 76-82 . 百度学术
5.	陆娇娇，肖衡. 基于深度学习的近红外光谱图像处理的农作物虫害检测研究. 激光杂志. 2023(08): 221-225 . 百度学术
6.	周辉奎，顾牡丹. 自适应加权直方图均衡化的红外图像增强. 光学技术. 2023(06): 750-755 . 百度学术
7.	耿明萌. 基于差值映射的数字动画图像畸变校正方法. 上海电机学院学报. 2022(01): 57-62 . 百度学术
8.	赵彦杰，张四维，徐涛，曹世鹏，余万金. 基于红外影像辅助的无人机自主巡检规划方法设计. 微型电脑应用. 2022(03): 98-101 . 百度学术
9.	王淑，冷航，陈彦伶，王昌涛，陈周林，杨英英. 红外热成像技术在孔隙尺度下多孔介质相变过程表征中的应用与优化研究. 红外技术. 2022(03): 294-302 . 本站查看
10.	郭小曼. 基于VR技术的风景园林环境层次规划设计. 许昌学院学报. 2022(02): 41-45 . 百度学术
11.	刘硕，瞿崇晓，祝中科，张福俊，范长军. 基于MSR和AMSR的红外融合增强算法. 应用科学学报. 2022(03): 423-433 . 百度学术
12.	张丽娟，朱会龙. 基于增强现实技术的激光全息三维图像重建研究. 激光杂志. 2022(05): 151-155 . 百度学术
13.	武正旺. 篮球训练中投篮手势与命中率相关性研究. 商丘师范学院学报. 2022(06): 29-32 . 百度学术
14.	吴丽. 基于机器视觉的煤炭带式输送机的智能监控方法. 煤炭技术. 2022(07): 202-205 . 百度学术
15.	蔡小爱，张海民. VR全景视频运动区域目标精准跟踪. 商丘师范学院学报. 2022(09): 18-21 . 百度学术
16.	兰天莹，甘昕艳. 激光医学图像采集和识别方法研究. 激光杂志. 2022(09): 119-123 . 百度学术
17.	徐立青. 基于机器视觉的汽车精密零件表面缺陷自动检测方法. 自动化与仪器仪表. 2022(11): 36-39+45 . 百度学术
18.	欧阳慧明，夏丽昆，李泽民，何燕，朱晓杰，朱尤攀，曾邦泽，周永康. 一种基于参数自适应引导滤波的红外图像细节增强算法. 红外技术. 2022(12): 1324-1331 . 本站查看
19.	易苗苗. 基于VR技术的产品包装视觉设计方法研究. 自动化与仪器仪表. 2022(12): 166-169 . 百度学术
20.	王加，周永康，胡健钏，潘超，李泽民，曾邦泽，赵德利. 一种基于粗糙集的红外图像多维降噪算法. 红外技术. 2021(01): 44-50 . 本站查看
21.	赵勃. 基于物联网技术的小波域分块压缩感知算法的图像重构系统设计. 计算技术与自动化. 2021(01): 119-123 . 百度学术
22.	欧阳慧明，李泽民，周永康，王世锦，朱晓杰，曾邦泽，赵德利，胡建钏. 红外图像动态范围压缩算法研究综述. 红外技术. 2021(03): 208-217 . 本站查看
23.	黄珍，潘颖. 基于移动增强现实技术的复杂场景视频图像多目标跟踪. 辽东学院学报(自然科学版). 2021(01): 39-43 . 百度学术
24.	范家玮，魏中华. VR虚拟现实场景眼动交互信号动态预测方法研究. 自动化与仪器仪表. 2021(04): 1-3+7 . 百度学术
25.	赵康林，何敬民. 基于视觉传达技术的包装设计图像增强方法. 现代电子技术. 2021(13): 46-49 . 百度学术
26.	张晨. 海量医学图像数据三维可视化表面重建方法. 河北北方学院学报(自然科学版). 2021(07): 36-41 . 百度学术
27.	吴永林. 基于大数据和RGB-D图像的虚拟实验室场景三维重建. 宁夏师范学院学报. 2021(07): 96-103 . 百度学术
28.	宋蕊，李宇新. 基于改进量子粒子群的红外图像增强算法. 激光与红外. 2021(11): 1531-1537 . 百度学术
29.	程铁栋，卢晓亮，易其文，陶征亮，张志钊. 一种结合单尺度Retinex与引导滤波的红外图像增强方法. 红外技术. 2021(11): 1081-1088 . 本站查看
30.	俞艳波，杨立涛，赵兴哲，赵鹏辉，杨双龙. 基于倾斜摄影测量的矿产地形三维可视化建模研究. 自动化与仪器仪表. 2020(03): 60-62+67 . 百度学术
31.	刘康，宋娟娟，赵安岭. 基于线偏振激光主动成像的物流配送目标路径识别. 激光杂志. 2020(07): 185-189 . 百度学术
32.	秦曼. 基于衍射成像的荧光图像伪彩色自动融合研究. 激光杂志. 2020(09): 151-155 . 百度学术
33.	刘会珍，张廷义，杨剑. 显著性运动目标自顶向下快速检测方法研究. 宁夏师范学院学报. 2020(10): 90-96 . 百度学术
34.	潘颖，黄珍. 基于移动增强现实的移动图像局部模糊特征修复方法. 淮阴工学院学报. 2020(05): 18-22 . 百度学术
35.	徐千淇. 基于OMP算法的可见光图像超分辨率重构方法. 激光杂志. 2020(11): 91-95 . 百度学术
36.	夏庆国，刘呈呈. 基于光学超精密检测的新能源汽车电池表面缺陷检验. 激光杂志. 2020(11): 188-192 . 百度学术
37.	徐新星. 基于虚拟现实技术的三维动画场景自动生成方法. 佳木斯大学学报(自然科学版). 2020(06): 36-39 . 百度学术
38.	邢若男，张彦波，杨岚，卢忱言. 夜间有雾图像去雾算法的研究. 电子测量技术. 2020(21): 127-131 . 百度学术
39.	王涛，张群会. 双光栅衍射消色散成像图像颜色传递算法. 激光杂志. 2020(12): 78-82 . 百度学术
40.	韩玲燕，王佳丽. 基于二维直方图的彩色图像全局阈值分割方法研究. 东北电力大学学报. 2020(05): 76-83 . 百度学术
41.	赵杨. 基于GPU加速的引导滤波人脸祛斑美化算法. 电子制作. 2019(12): 43-45 . 百度学术
42.	栾孟杰. 一种多分辨多尺度的红外图像增强算法. 激光杂志. 2019(08): 81-84 . 百度学术
43.	侯刚栋. 基于无人机遥感数据的国有土地覆盖变化动态监测. 信息技术. 2019(09): 56-59+64 . 百度学术
44.	吴飞燕，廖显文. 一种激光传感图像中心子像素定位方法. 激光杂志. 2019(09): 90-93 . 百度学术
45.	钱六强，朱正伟. 光学遥感图像高空间最佳分辨率预测仿真. 计算机仿真. 2019(10): 400-404 . 百度学术
46.	邓雯静. 基于ZigBee的无人机航拍影像快速特征匹配算法. 电子设计工程. 2019(22): 147-151 . 百度学术