基于相机平移矩阵奇异值分解的极线校正

李守业; 胡茂海; 李天冉; 段哲一

基于相机平移矩阵奇异值分解的极线校正

南京理工大学电子工程与光电技术学院, 江苏南京 210094

详细信息

作者简介:
李守业（1999-）男，硕士研究生，主要研究方向为机器视觉。E-mail: lsy@njust.edu.cn

通讯作者:
胡茂海（1967-）男，博士，副教授，主要研究方向为机器视觉、高速数据采集。E-mail: hmh@njust.edu.cn

中图分类号: TP391.4
计量
- 文章访问数: 114
- HTML全文浏览量: 26
- PDF下载量: 20
出版历程
- 收稿日期: 2023-02-27
- 修回日期: 2023-03-27
- 刊出日期: 2024-02-19

Epipolar Rectification Based on Singular Value Decomposition of Camera Translation Matrix

School of Electronic and Optical Engineering, Nanjing University of Science and Technology, Nanjing 210094, China

摘要

摘要: 极线校正是一种针对双目相机原始图像对的投影变换方法, 使校正后图像对应的极线位于同一水平线上，消除垂直视差，将立体匹配优化为一维搜索问题。针对现今极线校正的不足，本文提出一种基于双目相机平移矩阵的极线校正方法：首先利用奇异值分解（singular value decomposition, SVD）平移矩阵，求得校正后的新旋转矩阵；其次通过校正前后的图像关系确立一个新相机内参矩阵，完成极线校正。运用本文方法对SYNTIM数据库的不同场景多组双目图像进行验证，实验结果表明平均校正误差在0.6像素内，图像几乎不产生畸变，平均偏斜在2.4°左右，平均运行时间为0.2302 s，该方法具有应用价值，完全满足极线校正的需求，解决了双目相机在立体匹配过程中由于相机的机械偏差而产生的误差和繁琐的计算过程。
- 双目视觉 /
- 极线校正 /
- 机器视觉 /
- 深度相机
Abstract: Epipolar rectification is a projection transformation method for the original image pair of a binocular camera such that the corresponding polar lines of the corrected image are on the same horizontal line, no vertical parallax occurs, and stereo-matching is optimized as a one-dimensional search problem. A polar correction method based on a binocular camera translation matrix is proposed to address the shortcomings of current polar correction methods. First, the new corrected rotation matrix is derived using the translation matrix of singular value decomposition. Second, a new camera internal reference matrix is established based on the image relationship before and after correction to complete the polar correction. The proposed method was used to verify multiple groups of binocular images in different scenes in the SYNTIM database. The experimental results show that the average correction error is within 0.6 pixels. The image produces minimal distortion, and the average deviation is approximately 2.4°. The average operation time is 0.2302 s. With its application value, this method fully satisfies polar correction requirements, solves the error, and improves the tedious calculation process caused by the mechanical deviation of the camera during the stereo matching of binocular cameras.
- binocular vision /
- epipolar rectification /
- machine vision /
- depth camera

HTML全文

0. 引言

随着控制和通信技术的快速发展与应用，传统的工业逐渐实现自动化、智能化^[1]。尤其是钢铁冶金方面，智能自动化的实现解决了很多传统操作存在的安全隐患问题，如基于红外测温仪的钢水测温系统^[2-3]。红外测温系统的应用逐渐替代了传统的人工测温，不仅提高了钢水的测温精度，还减少了人工测温的安全事故。

目前，红外测温技术在冶金行业得到广泛应用，尤其是钢水测温方面。其中钢水辐射的红外波长位于0.75~1000 μm，红外测温技术基于钢水辐射的波长能量，得到其表面对面的温度^[4]。以上红外测温技术是基于红外辐射理论，即，自然界任何物体（温度在绝对零度以上）时时刻刻都在以电磁波方式向外辐射不同波长的能量。基于这个原理，红外测温技术可以根据辐射体的辐射波长能量，得到其表面对面的温度量^[5]。基于钢水的红外热图像，可以得到实时的钢水温度^[6]。红外测温原理主要依据于普朗克黑体定律、斯特藩-玻尔兹曼定律和维恩位移定律^[7]。根据钢水辐射能量的红外分布图，可以得到对应的辐射体/钢水的温度。即钢水测量温度的准确性取决于由红外热像仪获得的图像的质量^[8-9]。

由于实际炼钢环境和测温仪器等不确定性因素的影响，获得的钢水红外热图像存在大量噪声，直接影响最后的钢水测温精度^[10]。目前，传统的红外图像去噪处理方法有维纳滤波去噪^[11]和稀疏分解去噪^[12]等方法。但这些方法都是假设钢水红外图像中的噪声都是独立普通的高斯白噪声，因此对于钢水红外图像中的混合噪声处理效果不太理想。

为了提高钢水红外图像的去噪效果，本文提出基于自适应维纳滤波的去噪方法。与基于稀疏分解去噪方法相比，本文所提方法在去除噪声后提高了钢水红外图像的细节信息保真度，即去噪后的图像更加真实。此外，在传统维纳滤波去噪方法基础上，本文提出的去噪方法通过建立信号和噪声的相关模型来改进小波去噪。通过自相关的参数指数衰减模型来控制算法的计算复杂性和敏感性。由此产生的自适应维纳滤波适应于小波系数，并有效提高了传统维纳滤波器的去降噪性能。具体验证过程如下：首先，通过钢水测温平台获得不同温度下的钢水红外热图像。然后，利用所提方法对钢水红外热图像进行去噪处理，并与目前存在的维纳滤波去噪和稀疏分解去噪方法进行对比。实验对比结果验证了本文所提去噪方法可以去除红外热图像的噪声，并提高了去噪后钢水红外图像的峰值信噪比。

1. 稀疏分解的去噪方法

与传统图像去噪方法不同，稀疏分解图像去噪方法从图像自身的统计特性出发，将图像分解成稀疏成分和其他成分，如下式：

$$ x(m,n) = {x_1}(m,n) + {x_2}(m,n) $$

(1)

式中：$ {x}_{1}(m,n){=}{\displaystyle \sum _{k=0}^{n-1}\langle {R}^{k}x(m,n)，{g}_{\gamma k}\rangle }$；$ {x}_{2}(m,n){=}{\displaystyle \sum _{k=\rm{n}}^{\infty }\langle {R}^{k}x(m,n)，{g}_{\gamma k}\rangle }$；x(m, n)为原始图像；x₁(m, n)为图像的稀疏成分（有用信息）；x₂(m, n)为图像的其他成分（噪声）；g_γk为由参数组γ定义的原子，〈R^kx(m, n), g_γk〉为图像x(m, n)的残余R^kx(m, n)在对应原子g_γk上的分量，然后以图像的稀疏成分为基础重建图像，得到去除噪声后的图像。

2. 传统维纳滤波器设计

假设图像信号s(m, n)含有噪声信号w(m, n)，含有噪声的图像估计信号为：

$$ x(m,n) = s(m,n) + w(m,n) $$

(2)

线性估计器为：

$$\hat s\left( {m,n} \right) = x\left( {m,n} \right)*h\left( {m,n} \right)$$

(3)

式中：h(m, n)最小均方误差。此外依据正交性原理，最优解h维纳滤波器满足：

$$ {R_{{\rm{ss}}}}(m,n) = {\left[ {{R_{{\rm{ss}}}}(m,n) + {R_{{\rm{ww}}}}(m,n)} \right]^*}h(m,n) $$

(4)

滤波器h的傅里叶变换为：

$$H({w_1},{w_2}) = \frac{{{P_{{\rm{ss}}}}({w_1},{w_2})}}{{{P_{{\rm{ss}}}}({w_1},{w_2}) + {P_{{\rm{ww}}}}({w_1},{w_2})}}$$

(5)

式中：R_ss(m, n)和R_ww(m, n)是图像信号s和噪声w的自相关函数；P_ss(w₁, w₂)＝σ_s²是图像信号样本s(m, n)的功率谱；P_ww(w₁, w₂)＝σ_n²是噪声w(m, n)的功率谱，其中σ_s²和σ_n²分别表示s(m, n)和w(m, n)的方差。

因此，我们可以得到维纳滤波器为：

$$h(m,n) = \frac{{\sigma _{\rm{s}}^{\rm{2}}}}{{\sigma _{\rm{s}}^{\rm{2}} + \sigma _{\rm{n}}^{\rm{2}}}}\delta (m,n)$$

(6)

综上，可以发现最小均方平方误差（Minimum mean square error，MMSE）估计的解是简单的，但是其对信号和噪声的不相关假设并不完全准确。同样考虑小波变换的情况下，非正交结构会在变换域中导致有色噪声，从而使MMSE的解无效。

3. 自适应维纳滤波器设计

为了限制计算复杂度并避免滤波器阶数增长带来的灵敏度问题和变换域导致的噪声问题，我们提出了一种自适应维纳滤波器，该滤波器使用指数衰减自相关模型进行设计。

类似于式(2)，FIR（Finite Impulse Response）维纳滤波器的卷积表达式为：

$$\hat s(m,n) = \sum\limits_{(i,j) \in {W_{m,n}}} {h(i,j)x(m - i,n - j)} $$

(7)

$$ {W_{m,n}} = \{ (i,j);m - M \leqslant i \leqslant m + M,n - M \leqslant j \leqslant n + M\} $$

(8)

式中：W_m_, _n表示中心在(m, n)的(2M+1)(2M+1)的方形窗口函数；M是自适应滤波器的阶数。等式(7)右侧形成一个有限的块-Toeplitz矩阵^[13]：

$$({\mathit{\boldsymbol{R}}_s} + {\mathit{\boldsymbol{R}}_w})\Re = \zeta $$

(9)

式中：R_s和R_w是(2M+1)(2M+1)的Toeplitz矩阵，对应于两组自相关函数；$\mathfrak{R}$和ζ是关于滤波器系数和信号s自相关函数的(2M+1)²×1向量。从方程(5)我们知道滤波器依赖于信号和噪声的相关性。一旦确定了相关系数，滤波器设计问题就简化为求解线性系统。

实验结果表明，自然图像的小波系数具有一定的聚类特性。换言之，小波系数的大小与其邻域无关。这种依赖性随着距离的增加而迅速衰减。使用简化符号r_m_, _n: ＝R_ss(m, n)，我们提出一个指数衰减模型：

$${r_{m,n}} = {r_{0,0}}{\gamma ^{\left| m \right| + \left| n \right|}},(m,n) \in {W_{0,0}}$$

(10)

式中：γ是衰变参数，其随小波系数的尺度变化而变化。指数衰减模型代表了真实图像在其邻居上的系数。此外，频带内自相关函数的变化通过变化的局部方差建模：

$${s_{m,n}}: = {R_{{\rm{ww}}}}(m,n) = \left\{ \begin{gathered} \sigma _n^2,\quad \quad m = 0,n = 0 \\ {\delta _1}\sigma _n^2,\quad {\kern 1pt} \left| m \right| + \left| n \right| = 1 \\ {\delta _2}\sigma _n^2,\quad \left| m \right| = \left| n \right| = 1 \\ 0,\quad \quad \;\,{\rm{else}} \\ \end{gathered} \right.$$

(11)

式中：δ是表示是特定表示尺度上小波域系数归一化的界。由于δ是随尺度变化，因此噪声的相关模型也是变化的。

为了估计在相关模型中的参数，我们为每个频带中的所有系数选择一个通用的衰减参数γ，但是信号方差σ_s²＝r_{0, 0}是根据上下文从每个单独的系数估计的。综上，估计信号方差$\hat \sigma _s^2(m,n)$表达式为：

$${\hat m_s}(m,n) = \frac{1}{{{{{\rm{(2}}M + 1)}^2}}}\sum\limits_{{W_{m,n}}} {x(k,l)} $$

(12)

$$\hat \sigma _x^2(m,n) = \frac{1}{{{{{\rm{(2}}M + 1)}^2}}}\sum\limits_{{W_{m,n}}} {(x(k,l) - } {\hat m_s}(m,n){)^2}$$

(13)

$$\hat \sigma _s^2(m,n) = \max (0,\hat \sigma _x^2(m,n) - \sigma _n^2)$$

(14)

基于小波域中的系数聚类，通过式(12)~(13)建立信号和噪声的相关模型来改进小波去噪。通过自相关的参数指数衰减模型来控制算法的计算复杂性和敏感性。由此产生的自适应维纳滤波适应于小波系数，因此可以有效提高维纳滤波器的去降噪性能。

4. 实验及数据分析

4.1 实验方案和去噪评价标准

如图 1所示，实验平台采用的设备如下：中频率和对应电源变频柜的输出参数为额定功率1000 kV，额定频率700 Hz，输入电压750 V/50 Hz；红外热像仪型号为FLIR A65，灵敏度小于等于0.08℃。透镜型号为OLA30.4-350。本实验中采用融化较小的钢坯，通过红外热像仪采集融化后的钢水红外热图像，其中对应现场参数修正信息如表 1所示。

图 1 钢水红外温度检测系统结构图

Figure 1. Structural diagram of molten steel temperature detection system

下载: 全尺寸图片幻灯片

表 1 用于温度修正的现场参数信息

Table 1. Information for temperature correction

Temperature/℃	25.0
Target distance/m	2.2
Atmospheric transmittance/%	100
Window transmittance/%	100
Global emissivity/%	62

下载: 导出CSV

| 显示表格

为了验证所提方法对钢水图像去噪的效果，本文用均方差（mean squared error，MSE）和峰值信噪比（peak-signal-to-noise ratio，PSNR）作为评价参数^[14]。设U₁(m, n)表示原始红外图像，U₂(m, n)表示去噪后的红外图像，其中m和n代表行和列，则对应的均方差和峰值信噪比计算公式如下：：

$$ {\rm{MSE}}={{\displaystyle \sum _{m,n}[{U}_{1}(m,n）{-}{U}_{2}(m,n）]}}^{\frac{1}{2}}$$

(15)

$$ {\rm{PSNR}}=10\mathrm{lg}\left\{\frac{K\times {\rm{MAX}}^{2}}{{{\displaystyle \sum _{m,n}[{U}_{1}(m,n）{-}{U}_{2}(m,n）]}}^{2}}\right\}$$

(16)

由上可知，去噪后图像对应的PSNR数值越高、MSE数值越小暗示去噪方法对钢水红外图像中的噪声处理的效果越好。

4.2 数据分析

本实验用红外热像仪分别采集温度为1600℃和1696℃下的钢水红外热图像，用本文提出的自适应维纳滤波方法进行去噪处理。对去噪后的图像分别与基于维纳滤波和基于稀疏分解去噪结果进行对比，通过对比各方法的MSE和PSNR评价参数验证本文去噪方法的优越性。

如图 2所示，对采集的1600℃时钢水红外图像进行去噪处理。Fig.2(b)~Fig.2(c)是采用维纳滤波和稀疏分解方法进行去噪处理后的钢水红外图像，Fig.2(d)为本文去噪方法处理后所得钢水红外图像。同样，对在1696℃时钢水红外图像进行去噪处理。基于以上3种去噪方法，所得去噪后的钢水红外图像如图Fig.3(b)~Fig.3(d)所示。

图 2 1600℃的钢水红外图像去噪对比

Figure 2. Denoising comparison of molten steel infrared image at 1600℃

下载: 全尺寸图片幻灯片

图 3 1696℃的钢水红外图像去噪对比

Figure 3. Denoising comparison of molten steel infrared image at 1696℃

下载: 全尺寸图片幻灯片

基于图 2和图 3的去噪后钢水红外图像，我们用MSE和PSNR来评价去噪效果，如表 2所示。我们可以发现基于自适应维纳滤波去噪后图像的MSE和PSNR优于基于维纳滤波和稀疏分解去噪方法。

表 2 不同温度下钢水红外图像去噪效果对比

Table 2. Comparison of denoising effect of molten steel infrared image under different temperatures

Noise processing method	MSE		PSNR/dB
Noise processing method	1600℃	1696℃	1600℃	1696℃
Wiener filter Sparse decomposition FIR wiener filter	0.1130 0.0906 0.0798	0.1261 0.1001 0.0805	10.235 18.539 25.683	10.095 19.168 26.956

下载: 导出CSV

| 显示表格

基于文献[10]中钢水温度与红外热图像灰度值之间的对应函数关系，我们取热电偶实时测量钢水温度1600℃时的去噪图像分析不同去噪方法对钢水测量精度的影响。表 3的对比数据验证了本文提出的去噪方法可以提高去噪后的钢水红外热图像对应的钢水温度准确性。

表 3 钢水温度数据对比

Table 3. Comparison of the steel temperature data

Original image Fig.2(a)	1525
Denoised image using wiener filter Fig.2(b)	1556
Denoising image using sparse decomposition Fig.2(c)	1576
Denoising image using adaptive wiener filter Fig.2(d)	1591

下载: 导出CSV

| 显示表格

5. 结论

本文针对钢水红外图像存的噪声处理问题，提出了基于自适应维纳滤波的去噪处理方法。通过实验验证，所提的去噪方法可以有效地去除噪声。此外，与基于维纳滤波和稀疏分解去噪方法的对比，所提去噪方法可以更好去除钢水红外图像的噪声，提高图像质量保真度。下一步我们将继续优化所提去噪方法的计算复杂度，以便快速地应用于实际钢水红外测温系统中。

图 1 对极几何

Figure 1. Epipolar geometry

下载: 全尺寸图片幻灯片

图 2 极线校正流程

Figure 2. Epipolar correction process

下载: 全尺寸图片幻灯片

图 3 20对图像使用不同方法的误差(a)、畸变(b)、偏斜(c)、运行时间(d)

Figure 3. Rectification error(a), scale variance(b), skewness(c)and runtime(d) of different methods for 20 images

下载: 全尺寸图片幻灯片

图 4 画出极线的Rubik图像及极线斜率(a) 原始图像（斜率=1.23×10^-2）(b) Bouguet方法（斜率=3.82×10^-7）(c) Fusiello方法（斜率=2.71×10^-7）(d) Hartley方法（斜率=3.95×10^-5）(e) Mallon方法（斜率=3.19×10^-7）(f) Wu方法（斜率=1.48×10^-6）(g) 本文推荐方法（斜率=2.39×10^-7）

Figure 4. Rubik image with polar line drawn and polar line slope (a) Original image(Slope=1.23×10^-2); (b) Bouguet's method (Slope=3.82×10^-7); (c) Fusiello's method(Slope=2.71×10^-7); (d) Hartley's method(Slope=3.95×10^-5); (e) Mallon's method(Slope=3.19×10^-7); (f) Wu's method(Slope=1.48×10^-6); (g) Proposed rectification method (Slope=2.39×10^-7)

下载: 全尺寸图片幻灯片

表 1 平均误差、畸变、偏斜、运行时间

Table 1 Average error, scale, variance, skewness and runtime

Methods	Bouguet	Fusiello	Hartley	Mallon	Wu	Proposed
Error in pixels	0.6495	0.6268	0.8467	0.6361	0.7028	0.5940
Scale variance	1.2275	1.2261	1.1270	1.1243	1.1900	1.0062
Skewness/(°)	2.3369	2.4472	2.5156	3.2096	3.0419	2.3941
Runtime/s	0.2349	0.2294	0.8473	1.305	0.2412	0.2302

下载: 导出CSV

参考文献(14)

[1]	王学, 周红旭, 张雷, 等. 基于近红外双目立体视觉的悬臂式掘进机定位研究[J/OL]. 工矿自动化: 1-11[2022-09-15]. DOI: 10.13272/j.issn.1671-251x.17896. WANG X, ZHOU H X, ZHANG L, et al. Research on cantilever roadheader positioning based on near-infrared binocular stereo vision[J/OL]. [2022-09-15]. Mine Automation, DOI: 10.13272/j.issn.1671-251x.17896.
[2]	江荣, 朱攀, 周兴林, 等. 基于双目视觉算法的路面三维纹理信息获取[J]. 激光与光电子学进展, 2022, 59(14): 284-292. JIANG R, ZHU P, ZHOU X L, et al. Three-dimensional pavement texture information acquisition based on binocular vision algorithm[J]. Laser & Optoelectronics Progress, 2022, 59(14): 284-292.
[3]	舒方林, 张海波, 曹文冠. 基于立体视觉的交叉路口对向车辆运动状态估计[J]. 计算机与数字工程, 2022, 50(5): 1029-1034. SHU F L, ZHANG H B, CAO W G. Estimating the motion state of oncoming vehicle based on stereo vision at intersection[J]. Computer & Digital Engineering, 2022, 50(5): 1029-1034.
[4]	冉舒文, 刘显明, 雷小华, 等. 基于双目视觉的抬头显示虚像三维形貌测量[J/OL]. [2022-10-26]. 光学学报, http://kns.cnki.net/kcms/detail/31.1252.O4.20220714.1900.522.html. RAN S W, LIU X M, LEI X H, et al. Head-up display virtural image 3D topography measurement based on binocular vision[J/OL]. [2022-10-26]. Acta Optica Sinica, http://kns.cnki.net/kcms/detail/31.1252.O4.20220714.1900.522.html
[5]	Bouguet J Y. Matlab Camera Calibration Toolbox[EB/OL]. 2000, http://www.vision.caltech.edu\bouguetj\calib_doc.
[6]	Andrea Fusiello, Luca Irsara. Quasi-Euclidean epipolar rectification of uncalibrated images[J]. Machine Vision and Applications, 2011, 22(4): 663-670. DOI: 10.1007/s00138-010-0270-3
[7]	Richard I Hartley. In defense of the eight-point algorithm[J]. IEEE Trans. Pattern Anal. Mach. Intell., 1997, 19(6): 580-593. DOI: 10.1109/34.601246
[8]	Hartley R, Zisserman A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, 2000.
[9]	Richard I Hartley. Theory and practice of projective rectification[J]. International Journal of Computer Vision, 1999, 35(2): 115-127. DOI: 10.1023/A:1008115206617
[10]	林国余, 张为公. 一种无需基础矩阵的鲁棒性极线校正算法[J]. 中国图象图形学报, 2006(2): 203-209. LIN G Y, ZHANG W G. An Effective robust rectification method for stereo vision[J]. Journal of Image and Graphics, 2006(2): 203-209.
[11]	John Mallon, Paul F Whelan. Projective rectification from the fundamental matrix[J]. Image and Vision Computing, 2005, 23(7): 643-650. DOI: 10.1016/j.imavis.2005.03.002
[12]	WU Wenhuan, ZHU Hong, ZHANG Qian. Epipolar rectification by singular value decomposition of essential matrix[J]. Multimedia Tools Appl., 2018, 77(12): 15747-15771. DOI: 10.1007/s11042-017-5149-0
[13]	Martin A Fischler, Robert C Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Commun. ACM, 1981, 24(6): 381-395. DOI: 10.1145/358669.358692
[14]	Hyunsuk Ko, Han Suk Shim, Ouk Choi, et al. Robust uncalibrated stereo Rectification with constrained geometric distortions (USR-CGD)[J]. Image and Vision Computing, 2017, 60: 98-114. DOI: 10.1016/j.imavis.2017.01.001

施引文献(10)

期刊类型引用(4)

1.	陈秋艳，张新燕，贺敏，田义春，刘宁，郭瑞，王晓辉，游思源，张修坤. 基于深度学习的管道热图像泄漏识别. 红外技术. 2024(05): 522-531 . 本站查看
2.	袁敏. 基于机器视觉的智能建造H型钢焊接焊缝轨迹跟踪方法. 西昌学院学报(自然科学版). 2024(03): 46-51+99 . 百度学术
3.	吴丽华，聂丰英. 基于复小波与最大后验估计的红外图像滤波. 光学技术. 2023(01): 113-119 . 百度学术
4.	欧卫红，万里勇. 双密度复小波与系数相关性的红外图像去噪. 光学技术. 2023(02): 238-244 . 百度学术

其他类型引用(6)

资源附件(0)

图(4) / 表(1)

计量

文章访问数: 114
HTML全文浏览量: 26
PDF下载量: 20
被引次数: 10

0. 引言
1. 稀疏分解的去噪方法
2. 传统维纳滤波器设计
3. 自适应维纳滤波器设计
4. 实验及数据分析
4.1 实验方案和去噪评价标准
4.2 数据分析
5. 结论

基于相机平移矩阵奇异值分解的极线校正

作者简介: 李守业（1999-）男，硕士研究生，主要研究方向为机器视觉。E-mail: lsy@njust.edu.cn

通讯作者: 胡茂海（1967-）男，博士，副教授，主要研究方向为机器视觉、高速数据采集。E-mail: hmh@njust.edu.cn

计量

出版历程