Foam Flow Rate Detection Based on Infrared Target Segmentation and SURF Matching in NSST Domain
-
摘要: 为减少浮选气泡合并、破碎等变化对泡沫表面流动特征提取的影响,提出了一种非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)域红外目标分割及改进加速鲁棒特征(Speeded Up Robust Features,SURF)匹配的泡沫表面流速检测方法。首先,对相邻两帧泡沫红外图像NSST分解,在多尺度域构建图割能量函数的边界、亮度、显著性约束项实现对合并、破碎气泡的分割;然后,对分割后的背景区域进行SURF特征点检测,通过统计扇形区域内的尺度相关系数确定特征点主方向,采用特征点邻域的多方向高频系数构造特征描述符;最后,对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流速的大小、方向、加速度、无序度。实验结果表明,本文方法能有效分割出合并、破碎的气泡,具有较高的分割精度,提升了SURF算法的匹配精度,流速检测受气泡合并、破碎的影响小,检测精度和效率较现有方法有一定提升,能准确地表征不同工况下泡沫表面的流动特性, 为后续的工况识别奠定基础。Abstract: In order to reduce the influence of changes such as flotation bubble merging and breaking on the foam surface flow feature extraction, a foam surface flow rate detection method based on infrared target segmentation and improved SURF matching in NSST domain is proposed. First, two adjacent froth infrared images are decomposed through NSST, and boundary, brightness, and saliency constraint terms of the graph cut energy function are constructed in the multi-scale domain to realize the segmentation of the merged and broken bubbles. Then, SURF feature point detection are performed on the segmented background region. The main direction of the feature point is determined by statistical the scale correlation coefficients in the sector area, and the multi-directional high-frequency coefficients in the neighborhood of the feature point are used to construct the feature descriptors. Finally, feature points are matched for two adjacent froth infrared images, and the magnitude, direction, acceleration and disorder of foam flow velocity are calculated based on the matching results. The experimental results show that the method in this paper can effectively segment the merged and broken bubbles with high segmentation accuracy, improve the matching accuracy of SURF algorithm, reduce the impact of the bubbles merging and breaking on the flow velocity detection. Compared with the existing methods, the method in this paper improve the detection accuracy and efficiency, which can accurately characterize the flow characteristics of the foam surface under different working conditions and lay the foundation for the subsequent working condition identification.
-
0. 引言
浮选是浮选机内矿物与空气中的微气泡发生碰撞粘附,利用矿物与杂质表面的亲疏水性质,可浮性高的矿物颗粒随着气泡上浮至液面泡沫层,从而将目标矿物从物质组成复杂的矿石中分选出来的选矿方法[1]。浮选生产工艺受多种物理化学因数的影响,研究人员发现泡沫表面的流动特征与浮选生产工艺指标密切相关[2],气泡的流动性反映了所采用的选矿工艺是否优质,也有效地反映了矿物含量[3-4],泡沫流速的精确提取能客观描述浮选气泡的流动性,对浮选生产指标预测和工艺改善具有重要意义。
近几年,国内外学者对泡沫流动特征提取进行了研究:陈良琴等[5]结合气泡亮点分割和相位相关法估计气泡的流动速度,该方法的分割精度受气泡形变和光照的影响大,而且相位相关法计算获取的是两帧图像的相对位移,不具备全局性;Kaartinen等[6]采用相邻领域匹配块搜索法实现泡沫流动速度检测,该算法运行效率高,但易受外界光照因素影响,匹配精度不高;Nakhaei等[7]采用像素点跟踪技术计算连续帧间的平均流动速度,该方法运行效率高,但是像素值在流动过程中容易受噪声和光照影响而产生变化,导致像素点跟踪出错。WANG等[8]将尺度不变特征变换(Scale Invariant Feature Transform,SIFT)算法应用到泡沫流动速度的检测中,根据匹配结果计算流速大小和方向,匹配精度高,而且受噪声和光照的影响小,但SIFT计算复杂,实时性不强。为解决SIFT算法效率低问题,廖一鹏等[9]在NSST域改进了ORB(Oriented Fast and Rotated Brief)的特征点检测和描述方法,根据ORB匹配结果计算泡沫流速,进一步提升了检测精度和运算效率。现有文献研究表明,采用特征点检测及匹配的方法可有效检测泡沫的流动速度和方向,受噪声和光照的影响小,兼顾了泡沫的全局流动性和局部运动细节,较其他方法有一定优势。
选矿浮选过程中浮选槽表面的气泡不断变化,不断有新气泡产生、气泡合并、气泡破碎,这些变化将导致局部区域的流动速度及方向存在一定的偏差,为减少这些区域的影响,特征点检测前可先对合并、破碎气泡进行分割。在泡沫可见光图像上,合并、破碎气泡不明显,分割难度大。本文对泡沫表面红外热成像后发现,气泡合并、破碎会产生高温,可通过对红外图像中高温区域目标分割以实现合并、破碎气泡的提取。Bay等[10]提出的SURF算法是对SIFT算法的改进,保留了SIFT算法具有的特征,极大提升了运算效率,但是损失了部分精度,有待改进。近几年,多尺度几何分析的发展为图像处理领域开辟了新的研究方向,NSST [11]具有多尺度多方向特性,分解后的图像具有平移不变性,而且具备运算效率高、分解方向不受限制等特质,可将NSST引入到红外图像分割和SURF算法的改进,提高算法整体的鲁棒性。
鉴于上述分析,本文提出了一种NSST域红外目标分割及改进SURF匹配的泡沫表面流速检测方法。首先,在NSST域下构建一个包含边界、亮度、显著性约束项的图割能量函数实现对合并、破碎气泡的分割;然后,在多尺度域下改进SURF算法对分割后的背景区域进行特征点检测和定位;最后,对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流速的相关指标。
1. NSST域红外目标分割及改进SURF特征匹配
1.1 泡沫红外图像NSST分解及去噪
NSST包括多尺度分解和多方向分解两部分,如图 1所示,泡沫红外图像中合成、破碎气泡对应图中的高温黄色区域,图像通过k级非下采样金字塔(Nonsubsampled Pyramid,NSP)多尺度分解后,得到k+1个子带图像,其中包括1个低频图像和k个尺度不同的高频图像,高频图像进行l级多方向分解,分解为2l+2个方向子带图像。泡沫低频图像去除了噪声,保留气泡轮廓信息,提高了高温区域的显著性,有利于定位合成、破碎的气泡。高频子带图像包含气泡边缘、纹理特征、梯度信息、以及噪声系数,为红外目标分割提供边界参考信息,可代替Haar小波响应为SURF建立多尺度多方向的特征描述。
为避免噪声对后续处理带来影响,在多尺度高频子带去除噪声,假设Ckl(i, j)表示第k尺度第l方向高频子带在(i, j)点的系数,Ekl表示第k尺度第l方向的子带系数能量,定义像素点(i, j)在第k尺度第l方向高频子带上的尺度相关系数Corrkl(i, j)为:
$$ \operatorname{Corr}_k^l(i, j)=\prod\limits_{k=1}^k C_k^l(i, j) \sqrt{\frac{E_k^l}{E \operatorname{corr}_k^l}} $$ (1) 式中:$\prod_\limits{k=1}^k C_k^l(i, j)$表示不同尺度在(i, j)位置上的系数乘积;Ecorrkl表示第k尺度第l方向子带的$\prod_\limits{k=1}^k C_k^l(i, j)$系数能量;$\frac{E_k^l}{E \operatorname{corr}_k^l}$是便于系数比较的归一化处理。泡沫图像经NSST分解后,随着尺度越来越精细,噪声系数迅速衰减,边缘系数相对稳定,即边缘系数强相关,而噪声系数弱相关[12],根据此特点将剔除噪声系数:
$$ C_k^l(i, j)=\left\{\begin{array}{cc} 0, & \operatorname{Corr}_k^l(i, j)<C_k^l(i, j) \\ C_k^l(i, j), & \operatorname{Corr}_k^l(i, j) \geq C_k^l(i, j) \end{array}\right. $$ (2) 1.2 NSST域泡沫红外目标分割
为减少合并、破碎气泡对泡沫流速检测的影响,SURF特征点检测前先对合并、破碎气泡进行分割。对浮选槽表面的泡沫进行红外热成像,发现在热成像中能直观显示出产生破碎、合并的气泡,气泡产生破碎或合并后释放出热量,相比周围其它气泡的温度高,热成像后呈现出高亮的黄色区域,对实际泡沫进行可见光成像和红外热成像,如图 2所示,图 2(a)泡沫可见光图像中无法直接区分出破碎、合并气泡,而对应的红外热成像图 2(b)中直接展现了产生破碎、合并的气泡,如图 2(c)中直接展现了两个气泡产生崩塌,如图 2(d)中直接展现了3个小气泡合并成一个大气泡。因此,可通过对红外图像中高温区域目标分割以实现合并、破碎气泡的提取。
图像NSST分解后,合并、破碎气泡对应低频图像中的显著性区域,高频子带图像包含的边缘和梯度信息为红外目标分割提供边界参考信息,本文在图割算法[13-14]基础上,在NSST多尺度域构建图割的边界、亮度、显著性约束项实现对合并、破碎气泡的分割。首先构造一个包含区域项和边界项的能量函数,建立图割模型:
$$ E\left( f \right) = \sum\limits_{a \in A}^{} {\left[ {\alpha \cdot {F_{\text{I}}}\left( {{f_a}} \right) + \beta \cdot {F_{\text{s}}}\left( {{{v'}_{\text{i}}}} \right)} \right]} + \sum\limits_{a \in A,b \in A} {B\left( {{f_a},{f_b}} \right)} $$ (3) 式中:A为图像的像素点集合;$\sum_\limits{a \in A}\left(\alpha \cdot F_{\mathrm{I}}\left(f_a\right)+\beta \cdot F_{\mathrm{s}}\left(v_{\mathrm{i}}^{\prime}\right)\right)$为图割能量函数的区域项;FI(fa)为亮度约束项;Fs(vi′)为显著性约束项;α和β为约束项的权重系数,且α+β=1;$\sum_\limits{a \in A, b \in A} B\left(f_a, f_b\right)$为边界约束项,最后利用最大流/最小割算法求解能量函数的最小值,得到分割结果。3个约束项的构建如下:
1)低频图像亮度约束项构建
假设I为低频图像亮度,亮度范围为[IL, IH],Ia为像素点a的亮度值,构建亮度约束项FI(fa)为:
$$ F_I\left(f_a\right)= \begin{cases}1-f_I\left(I_a\right), & f_a \text { 为目标 } \\ f_I\left(I_a\right), & f_a \text { 为背景 }\end{cases} $$ (4) $$ f_I(I)=\exp \left[k \frac{\left(I-I_{\mathrm{L}}\right)\left(I_{\mathrm{H}}-I\right)}{\left(I_{\mathrm{H}}-I_{\mathrm{L}}\right)^2}\right] $$ (5) $$ P(x)=c \exp \left(-\frac{(x-p)^2}{q^2}\right) $$ (6) 式中:fI(I)为基于高斯拟合的亮度函数;k为前景目标区域与背景区域的对比度调节因子;p为高斯分布的中心;c表示高斯分布的峰值;q控制高斯分布的宽度。
2)低频图像显著性检测及约束项构建
图像NSST分解后,合并、破碎气泡对应低频图像中的显著性区域,在低频图像进行显著性检测及约束项构建。针对低频图像的显著性检测,林剑萍等[15]在频率调谐(Frequency-Tuned,FT)算法基础上提出了分数阶微分显著性检测方法,显著值计算公式为:
$$ S(x, y)=\left\|I_{\mathrm{u}}-I_{\mathrm{fd}}(x, y)\right\| $$ (7) 式中:Iu为输入图像I的L、A、B通道均值;Ifd(x, y)为输入图像I经过分数阶微分增强之后在L、A、B三通道的图像均值;‖⋅‖是对三通道均值和滤波得到的图像取欧氏距离并求和。根据显著性检测结果构建显著性约束项,建立约束项Fs(vi′):
$$ F_{\mathrm{s}}\left(v_{\mathrm{i}}^{\prime}\right)= \begin{cases}\frac{S_{\mathrm{Fi}}^{\prime}}{S_{\mathrm{Fi}}^{\prime}+S_{\mathrm{Bi}}^{\prime}}, & v_{\mathrm{i}}^{\prime} \text { 为目标 } \\ \frac{S_{\mathrm{Bi}}^{\prime}}{S_{\mathrm{Fi}}^{\prime}+S_{\mathrm{Bi}}^{\prime}}, & v_{\mathrm{i}}^{\prime} \text { 为背景 }\end{cases} $$ (8) $$ S^{\prime}=\frac{1}{n} \sum\limits_{i=1}^n S_i^{\prime} $$ (9) $$ S_{\mathrm{Fi}}^{\prime}=S_i^{\prime} \times \frac{S_i^{\prime}}{S^{\prime}} $$ (10) $$ S_{\mathrm{Bi}}^{\prime}=\left(1-S_i^{\prime}\right) \times \frac{\left(1-S_i^{\prime}\right)}{\left(1-S^{\prime}\right)} $$ (11) 式中:Si′为每个显著块对应的平均显著值;n为显著区域块个数;S′为整体的平均显著值;SFi′为前景的显著均值;SBi′为背景的显著均值。
3)高频子带边界约束项构建
高频子带图像包含的边缘和梯度信息为图割提供边界参考信息,构造图割能量函数中的边界项B(fa, fb):
$$ B\left(f_a, f_b\right)=\exp \left(-\frac{\left(C_a-C_b\right)^2}{2 \sigma^2}\right) \cdot \frac{1}{d(a, b)} $$ (12) $$ \sigma=\sqrt{\frac{1}{C_A} \cdot \sum\limits_{a \in A, b \in A}\left|C_a-C_b\right|^2} $$ (13) 式中:Ca、Cb分别表示K个高频尺度在像素点a、像素点b的系数平均值;d(a, b)为a和b之间的欧式距离;CA为图像A的像素点总数。
1.3 NSST域SURF特征方向及描述改进
传统的SURF算法主要分为5个步骤[16]:尺度空间极值提取、特征点定位、确定特征方向、特征点描述、特征点匹配。传统SURF算法是在灰度图片下提取特征点并用以寻找匹配对的方法,只考虑图像的亮度信息,忽略了图像中蕴含的大量的边缘信息和纹理细节,提取的特征描述信息不全、易出现误匹配现象。本文改进SURF算法,在高频子带采用高频子带系数及系数相关性代替Harr小波响应改进特征方向确定和特征点描述方法:
1)特征方向确定
确定特征点位置后,在多尺度高频子带以特征点所在位置为圆心,6s(s为该特征点对应的尺度值)为半径的邻域内,如图 3所示,计算60°扇形内所有点的尺度相关系数Corr(i, j)的总和,其中每个点的Corr(i, j)计算:
$$ \operatorname{Corr}(i, j)=\sum\limits_{k=1}^K \sum\limits_{l=1}^L \operatorname{Corr}_k^l(i, j) $$ (14) 式中:K为分解的尺度数;L为分解的方向数。然后旋转扇形使其遍历整个圆形区域,将尺度相关系数Corr(i,j)总和最大值的扇形的方向作为该特征点的方向。
2)特征描述符生成
以特征点为中心旋转坐标轴到主方向后,如图 4所示,选取边长为20s的正方形区域,并将其划分为16个子区域,计算每一点的8个方向的尺度系数之和:C0(i, j)、C1(i, j)、…、C8(i, j):
$$ C^l(i, j)=\sum\limits_{k=1}^K C_k^l(i, j), \;l=1,2,3, \cdots, 8 $$ (15) 2. 泡沫流速检测流程与步骤
本文在NSST多尺度域构建图割的边界、亮度、显著性约束项实现对合并、破碎气泡的分割,然后对分割后的背景区域进行SURF特征点检测和定位,在多尺度高频子带确定特征点主方向及构造特征描述符,最后对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流动速度的大小、方向、加速度、无序度,算法流程如图 5所示,具体实现步骤如下:
Step 1:抽取时间间隔为Δt的连续两帧泡沫红外图像It和It+1,对It和It+1进行NSST多尺度分解,分别得到1个低通子带图像和k个尺度高频子带,各尺度高频子带再分解为l个方向子带;
Step 2:对It和It+1的低频图像通过式(4)~(6)构建亮度约束项,同时对低频图像进行分数阶微分显著性检测,然后通过式(8)~(11)构建显著性约束项;
Step 3:对It和It+1的k个尺度高频子带,根据系数的尺度相关性进行噪声去除,然后通过式(12)~(13)构建边界约束项;
Step 4:构造一个包含亮度约束项、显著性约束项、边界约束项的图割能量函数,然后利用最大流/最小割算法求解能量函数的最小值,实现合并、破碎气泡的分割;
Step 5:对It和It+1分割后的背景区域进行SURF尺度空间极值提取、特征点检测;
Step 6:在多尺度高频子带以特征点所在位置为圆心,通过式(14)计算扇形内所有点的尺度相关系数Corr(i, j)的总和,然后旋转扇形使其遍历整个圆形区域,将Corr(i, j)总和最大值的扇形的方向作为特征点主方向;
Step 7:以特征点为中心,旋转坐标轴到主方向后,将周边领域划分为16个子区域,通过式(15)计算每一点的8个方向的尺度系数之和Cl(i, j),然后统计每个子区域的8个方向的系数和,将每个方向的系数和作为特征向量,得到一个128维的特征描述符。
Step 8:对It和It+1分割后的背景区域进行特征点匹配,并采用随机采样一致(Random Sample Consensus,RANSAC)算法[17]剔除误匹配点。
Step 9:对It和It+1的N对匹配点,它们在It和It+1的位置分别为(xtn, ytn)和(xt+1n, yt+1n),通过式(16)计算该点的水平流动速度vxn、垂直流动速度vyn,通过式(17)计算平均水平流动速度vx和平均垂直流动速度vy。
$$ v_x^n=\frac{x_{t+1}^n-x_t^n}{\Delta t}, v_y^n=\frac{y_{t+1}^n-y_t^n}{\Delta t} $$ (16) $$ v_x=\frac{1}{N} \sum\limits_{n=1}^N v_x^n, v_y=\frac{1}{N} \sum\limits_{n=1}^N v_y^n $$ (17) Step10:通过式(18)计算当前的泡沫平均流动速度和方向,假设前一时刻检测的水平流动速度为vx′,垂直流动速度为vy′,通过式(19)计算当前的水平流动加速度ax和垂直流动加速度ay,通过式(20)计算流动速度和方向的无序度,V和方向θv为前一段时间的平均流动速度和方向。
$$ V=\sqrt{v_x^2+v_y^2}, \quad \theta_v=\arctan \frac{v_y}{v_x} $$ (18) $$ a_x=\frac{v_x-v_x^{\prime}}{\Delta t}, \quad a_y=\frac{v_y-v_y^{\prime}}{\Delta t} $$ (19) $$ \rho_v=\frac{\sqrt{(V-\bar{V})^2}}{\bar{V}}, \quad \rho_\theta=\frac{\sqrt{\left(\theta_v-\bar{\theta}_v\right)^2}}{\bar{\theta}_v} $$ (20) 3. 实验结果与分析
为验证本文方法的有效性,以福建金东矿业股份有限公司的铅矿浮选厂泡沫红外图像作为实验测试对象,实验硬件平台为Intel(R) Core(TM) i7-9700 CPU@3.00 GHz、16.00 GB(RAM),软件运行环境为Windows 7 Matlab 2019a,通过大量实验对所提方法进行验证,给出了各实验步骤的结果及分析,并与现有方法进行了结果比较分析。
3.1 泡沫红外目标分割效果
将交并比(Intersection Over Union,IOU)和分割错误率Error作为衡量分割方法性能的指标,计算公式表示为:
$$ {\text{IOU = }}\frac{{{\text{TP}}}}{{{\text{TP + FN}}}} $$ (21) $$ \text { Error }=\frac{\mathrm{FP}+\mathrm{FN}}{\mathrm{TP}+\mathrm{FN}} $$ (22) 式中:TP表示标准割和算法分割结果重合的区域;FN表示标准割去除重合部分TP的区域;FP表示算法分割结果去除重合部分TP的区域。
为验证破碎、合并气泡的分割效果,对图 6(a)泡沫红外图像进行NSST分解及目标分割,图 6(b)、图 6(c)为分解后的低频图像及高频子带图像,图 6(d)为低频图像的分数阶微分显著性检测结果。通过低频图像构建亮度约束项,根据低频图像的分数阶微分显著性检测结果构建显著性约束项,通过高频子带的系数相关性构建边界约束项,然后利用最大流/最小割算法求解能量函数的最小值实现图像分割,红外目标分割结果如图 6(e)所示,与实际目标吻合度高。
为进一步验证本文所提分割算法对不同工况泡沫具有普遍适用性和良好的有效性。将采集到的90张泡沫红外图像按类别分为欠浮选泡沫图像、正常浮选泡沫图像、过浮选泡沫图像,对破碎、合并气泡分割,并与文献[14]、文献[18]和文献[19]方法比较,实验结果如图 6(f)~6(t)所示,各类方法的IOU、Error、运算时间的统计如表 1所示。对欠浮选图像的分割结果,本文的IOU平均提升了2.25%、Error平均降低了4.9%;对正常浮选图像的分割结果,本文的IOU平均提升了2.03%、Error平均降低了4.67%;对过浮选图像的分割结果,本文的IOU平均提升了2.04%、Error平均降低了0.43%;本文运算时间是文献[14]、文献[18]和文献[19]方法的2~3倍,但整体IOU提升了2.11%、整体Error平均降低了3.34%。针对不同工况的泡沫红外图像,本文方法都能有效分割出破碎、合并气泡,具有较高的分割精度。
表 1 四种方法分割性能比较Table 1. Comparison of the performance of four methods of segmentationAlgorithm Under-flotation Normal flotation Over-flotation Running time/s IOU Error IOU Error IOU Error Ref.[14] 0.7957 0.2799 0.8316 0.2239 0.8682 0.1727 0.4017 Ref.[18] 0.8251 0.2087 0.8174 0.2185 0.8876 0.1624 0.2240 Ref.[19] 0.8188 0.2745 0.8541 0.2523 0.8871 0.1361 0.3119 Ours 0.8357 0.2054 0.8547 0.1847 0.9014 0.1523 0.7301 3.2 改进SURF算法匹配效果
为验证本文改进SURF算法匹配效果,对相邻两帧泡沫红外图像It和It+1进行特征点检测及匹配实验,并与改进SIFT算法[20]、改进SURF[21]算法的匹配结果比较。实验过程及结果如图 7所示,图 7(c)、(d)分别为It和It+1的特征点检测结果,图 7(g)为相应的特征点匹配结果,匹配点对最多且分布均匀,无误匹配点出现;图 7(e)为改进SIFT的特征点匹配结果,匹配点多且分布较均匀;图 7(f)为改进SURF的特征点匹配结果,匹配点对较少且簇集,匹配点分布不均匀。为进一步客观验证匹配算法的性能,分别对100对叠加均值0、不同方差的高斯白噪声图像和100对不同尺度比例的图像进行匹配实验,平均匹配精度和运行时间如表 2所示,在噪声方差为10%、尺度比为1:2情况下:改进的SIFT的抗噪声和尺度变换性能较好,平均匹配精度较高,但是运算效率有待进一步提高;改进SURF算法的抗噪声和尺度变换性大大提升,而且保持较高的运算效率,但是匹配点簇集且分布不均匀;本文改进SURF算法的抗噪声和尺度变换能力大大提升,抗噪声性能最优,抗尺度变换性能与改进SIFT相当,但是运算效率高于改进的SIFT算法。当噪声方差增加到30%、尺度比增大到1:8情况下:3种算法的匹配性能都大幅度下降,但是本文算法保持高于85%的匹配精度,具有较优的抗噪声和尺度变换能力。
表 2 匹配精度及运行时间比较Table 2. Comparison of matching accuracy and running timeAlgorithm Noise variance 10% Scale 1:2 Matching accuracy/% Time/s Matching accuracy/% Time/s Improved SIFT 95.91 0.9625 98.72 0.9041 Improved SURF 93.76 0.2604 96.24 0.1943 Ours 96.12 0.3128 98.64 0.2612 Algorithm Noise variance 30% Scale 1:8 Matching accuracy/% Time/s Matching accuracy/% Time/s Improved SIFT 82.23 1.1254 81.25 0.8547 Improved SURF 78.54 0.2321 75.68 0.1269 Ours 87.12 0.3513 85.03 0.2098 3.3 流速检测性能及比较
为验证本文流速检测效果,对相邻两帧泡沫红外图像It和It+1进行特征点匹配及流速检测实验,并与现有的文献进行比较分析,实验结果如图 8所示:文献[6]的匹配结果和速度矢量图如图 8(e)所示,速度矢量图上的带箭头线段代表各个特征点的速度矢量,用相邻领域匹配块搜索法对泡沫进行流动特征提取和计算,匹配速度快,但易受外界光照因素影响,出现误匹配,流速检测精度低;文献[7]的像素跟踪结果和速度矢量图如图 8(f)所示,匹配结果错误率较低,但是匹配点对少、特征点分布不均匀;文献[8]的匹配结果和速度矢量图如图 8(g)所示,检测范围广且分布均匀、匹配点对较多,但SIFT运算效率低;文献[9]的匹配结果和速度矢量图如图 8(h)所示,匹配点多且分布均匀,但是受气泡破碎、合并的影响,在破碎、合并区域的速度大小、方向产生一定偏差,影响了整体的流速检测精度;本文方法的实验结果如图 8(i)所示,匹配点对多且分布较为均匀,对分割红外目标的背景区域进行特征点检测及匹配,有效去除了气泡破碎、合并的影响,提取的流速是泡沫整体的速度大小与方向,检测精度高。
为进一步客观验证本文方法流速检测精度,选取实际位移为(15, 15)的两帧256×256的图像It和It+1进行仿真实验,并计算泡沫流速的大小V、方向θv、以及相对误差Ev、Eθ和运行时间,并与文献[6]~文献[9]进行比较分析,结果数据统计如表 3所示。文献[8]、文献[9]和本文方法的Ev、Eθ较小,具有较高的检测精度,但是文献[8]的运算效率低,而文献[9]方法在实际应用中受气泡破碎、合并的干扰,影响了整体检测精度,本文方法可有效去除了气泡破碎、合并的影响,进一步提高了检测精度。
表 3 流速检测结果及比较Table 3. Flow rate detection effect and comparisonAlgorithm vx/(pixel⋅s-1) vy/(pixel⋅s-1) V/(pixel⋅s-1) θv/° Ev/% Eθ/% Time/s Ref. [6] 15.5132 14.9353 21.5342 43.9127 1.5132 2.4162 0.3413 Ref. [7] 15.0139 14.8926 21.1473 44.7676 0.3107 0.5164 0.5451 Ref. [8] 14.9860 14.9577 21.1734 44.9458 0.1876 0.1204 1.5220 Ref. [9] 14.9877 15.0659 21.2512 45.1491 0.1791 0.3313 0.6011 Ours 14.9943 15.0064 21.2137 45.0231 0.0023 0.0513 1.0743 3.4 工业现场测试
将本文所提方法应用于工业现场测试,采集浮选槽在正常加药量、过量、欠量和故障这4种状态下的红外泡沫视频,然后进行视频帧截取,获取多组不同状态下的实验图像。用本文算法进行泡沫流速检测,计算泡沫流速的大小、方向、加速度、无序度并画出聚类图,实验结果如图 9所示。正常加药状态下,泡沫的流动速度在25~45 pixel/s,流动方向在75°~95°,X轴方向的加速度波动范围在0~5 pixel⋅s-2,速度和方向都存在一定无序度,气泡流速较为稳定;过量加药状态下,泡沫的流动速度在15~35 pixel/s,流动方向在85°~100°,Y轴方向的加速度波动范围在0~5 pixel⋅s-2,方向呈现一定有序性;欠量加药状态下,泡沫的流动速度在40°~55 pixel/s,流动方向在65°~85°,速度与方向的无序度都较小;故障状态下,泡沫的流动速度在45~65 pixel/s,流动方向在55~75°,加速度值与欠量加药状态下值范围相似,方向无序度较大。对比聚类图可观察到,由速度大小、流动方向及加速度3类泡沫流动特征可区分正常和过量加药状态,由速度大小、流动方向及无序度可区分欠量和故障加药状态,本文方法能准确地表征不同工况下泡沫表面的流动特性,且各工况下的流速特征有一定的区分度,为后续的工况识别奠定基础。
4. 结论
本文提出了一种NSST域红外目标及改进SURF匹配的泡沫表面流速检测方法。在NSST域下进行多尺度高频子带去噪,减少了噪声影响,然后构建一个包含边界、亮度、显著性约束项的图割能量函数,有利于准确估计泡沫红外图像的目标区域与背景,减少了过分割和欠分割现象,提升了分割精度;对分割后的背景区域进行SURF特征点检测,通过统计扇形区域内的尺度相关系数确定特征点主方向,采用特征点邻域的多方向高频系数构造特征描述符,改善了SURF算法的抗噪声和尺度变换性能,提升了匹配精度。本文方法实现了泡沫表面流动特征的定量描述,流速检测受气泡合并、破碎的影响小,检测精度和运算效率较现有方法有较大提高,能准确地表征不同加药状态下泡沫表面的流动特征,为后续的加药量优化控制奠定基础。
-
表 1 四种方法分割性能比较
Table 1 Comparison of the performance of four methods of segmentation
Algorithm Under-flotation Normal flotation Over-flotation Running time/s IOU Error IOU Error IOU Error Ref.[14] 0.7957 0.2799 0.8316 0.2239 0.8682 0.1727 0.4017 Ref.[18] 0.8251 0.2087 0.8174 0.2185 0.8876 0.1624 0.2240 Ref.[19] 0.8188 0.2745 0.8541 0.2523 0.8871 0.1361 0.3119 Ours 0.8357 0.2054 0.8547 0.1847 0.9014 0.1523 0.7301 表 2 匹配精度及运行时间比较
Table 2 Comparison of matching accuracy and running time
Algorithm Noise variance 10% Scale 1:2 Matching accuracy/% Time/s Matching accuracy/% Time/s Improved SIFT 95.91 0.9625 98.72 0.9041 Improved SURF 93.76 0.2604 96.24 0.1943 Ours 96.12 0.3128 98.64 0.2612 Algorithm Noise variance 30% Scale 1:8 Matching accuracy/% Time/s Matching accuracy/% Time/s Improved SIFT 82.23 1.1254 81.25 0.8547 Improved SURF 78.54 0.2321 75.68 0.1269 Ours 87.12 0.3513 85.03 0.2098 表 3 流速检测结果及比较
Table 3 Flow rate detection effect and comparison
Algorithm vx/(pixel⋅s-1) vy/(pixel⋅s-1) V/(pixel⋅s-1) θv/° Ev/% Eθ/% Time/s Ref. [6] 15.5132 14.9353 21.5342 43.9127 1.5132 2.4162 0.3413 Ref. [7] 15.0139 14.8926 21.1473 44.7676 0.3107 0.5164 0.5451 Ref. [8] 14.9860 14.9577 21.1734 44.9458 0.1876 0.1204 1.5220 Ref. [9] 14.9877 15.0659 21.2512 45.1491 0.1791 0.3313 0.6011 Ours 14.9943 15.0064 21.2137 45.0231 0.0023 0.0513 1.0743 -
[1] Fonseca R R, Franco I C, Thompson J P, et al. Turbidity control on dissolved air flotation process using fuzzy logic[J]. Water Science and Technology, 2018, 78(12): 2586-2596. DOI: 10.2166/wst.2019.015
[2] XIE Y, WU J, XU D, et al. Reagent addition control for stibium rougher flotation based on sensitive froth image features[J]. IEEE Transactions on Industrial Electronics, 2016, 64(5): 4199-4206. http://www.onacademic.com/detail/journal_1000039773149010_f4aa.html
[3] TAN J, LIANG L, PENG Y, et al. The concentrate ash content analysis of coal flotation based on froth images[J]. Minerals Engineering, 2016, 92: 9-20. DOI: 10.1016/j.mineng.2016.02.006
[4] ZHANG J, TANG Z, LIU J, et al. Recognition of flotation working conditions through froth image statistical modeling for performance monitoring[J]. Minerals Engineering, 2016, 86: 116-129. DOI: 10.1016/j.mineng.2015.12.008
[5] 陈良琴, 王卫星. 基于气泡跟踪与相位相关的浮选表面气泡平移运动估计[J]. 四川大学学报: 工程科学版, 2016, 48(5): 143-152. https://www.cnki.com.cn/Article/CJFDTOTAL-SCLH201605020.htm CHEN L Q, WANG W X. Flotation surface bubble displacement motion estimation based on bubble tracking and phase correlation[J]. Journal of Sichuan University: Engineering Science Edition, 2016, 48(5): 143-152. https://www.cnki.com.cn/Article/CJFDTOTAL-SCLH201605020.htm
[6] Kaartinen J, Hätönen J, Hyötyniemi H, et al. Machine-vision-based control of zinc flotation—a case study[J]. Control Engineering Practice, 2006, 14(12): 1455-1466. DOI: 10.1016/j.conengprac.2005.12.004
[7] Nakhaei F, Irannajad M, Mohammadnejad S. Column flotation performance prediction: PCA, ANN and image analysis-based approaches[J]. Physicochemical Problems of Mineral Processing, 2019, 55(5): 1298-1310. http://www.xueshufan.com/publication/2974543226
[8] WANG Y, SUN B, ZHANG R, et al. Sulfur flotation performance recognition based on hierarchical classification of local dynamic and static froth features[J]. IEEE Access, 2018, 6: 14019-14029. DOI: 10.1109/ACCESS.2018.2805265
[9] 廖一鹏, 陈诗媛, 杨洁洁. NSST域改进ORB的泡沫流动特征提取及加药状态识别. [J]. 光学精密工程, 2020, 28(12): 2684-2699. DOI: 10.37188/OPE.20202812.2684 LIAO Y P, CHEN S Y, YANG J J, et al. Dosing status identification and froth flow feature extraction based on improved ORB in NSST domain[J]. Optics and Precision Engineering, 2020, 28(12): 2684-2699. DOI: 10.37188/OPE.20202812.2684
[10] BAY H, TUYTELAARS T, VAN GOOL L. Surf: Speeded up robust features[C]//European Conference on Computer Vision, 2006: 404-417.
[11] SINGH S, ANAND R S, GUPTA D. CT and MR image information fusion scheme using a cascaded framework in ripplet and NSST domain[J]. IET Image Processing, 2018, 12(5): 696-707. DOI: 10.1049/iet-ipr.2017.0214
[12] 廖一鹏, 王卫星, 付华栋, 等. 结合分数阶微分的浮选泡沫图像NSCT多尺度增强[J]. 华南理工大学学报: 自然科学版, 2018, 46(3): 92-102. DOI: 10.3969/j.issn.1000-565X.2018.03.014 LIAO Y P, WANG W X, FU H D, et al. Flotation foam image NSCT multi-scale enhancement with fractional differential[J]. Journal of South China University of Technology: Natural Science Edition, 2018, 46(3): 92-102. DOI: 10.3969/j.issn.1000-565X.2018.03.014
[13] PENG Z, QU S, LI Q. Interactive image segmentation using geodesic appearance overlap graph cut[J]. Signal Processing: Image Communication, 2019, 78: 159-170. DOI: 10.1016/j.image.2019.06.012
[14] 廖苗, 刘毅志, 欧阳军林, 等. 基于非线性增强和图割的CT序列肝脏肿瘤自动分割[J]. 计算机辅助设计与图形学学报, 2019, 31(6): 1030-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906019.htm LIAO M, LIU Y Z, OUYANG J L, et al. Automatic segmentation of liver tumor in CT volumes using nonlinear enhancement and graph cuts [J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 1030-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906019.htm
[15] 林剑萍, 廖一鹏. 结合分数阶显著性检测及量子烟花算法的NSST域图像融合[J]. 光学精密工程, 2021, 29(6): 1406-1419. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202106021.htm LIN J P, LIAO Y P. A novel image fusion method with fractional saliency detection and QFWA in NSST[J]. Optics and Precision Engineering, 2021, 29(6): 1406-1419. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202106021.htm
[16] 袁丽英, 刘佳, 王飞越. 基于SURF的图像配准改进算法[J]. 探测与控制学报, 2020, 42(2): 65-70. https://www.cnki.com.cn/Article/CJFDTOTAL-XDYX202002014.htm YUAN L Y, LIU J, WANG F Y. An improved algorithm of SURF image registration[J]. Journal of Detection & Control, 2020, 42(2): 65-70. https://www.cnki.com.cn/Article/CJFDTOTAL-XDYX202002014.htm
[17] SONG J L, YANG J H, LIU F J, et al. High temperature strain measurement method by combining digital image correlation of laser speckle and improved RANSAC smoothing algorithm[J]. Optics and Lasers in Engineering, 2018, 111: 8-18. DOI: 10.1016/j.optlaseng.2018.07.012
[18] 邵磊, 张一鸣, 李季, 等. 基于改进的两维Otsu管道红外图像高温区域分割研究[J]. 光谱学与光谱分析, 2019, 39(5): 1637-1642. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN201905055.htm SHAO L, ZHANG Y M, LI J, et al. Research on high temperature region segmentation of infrared pipeline image based on improved two-dimensional-Otsu[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1637-1642. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN201905055.htm
[19] BI H, TANG H, YANG G Y, et al. Accurate image segmentation using Gaussian mixture model with saliency map[J]. Pattern Analysis and Applications, 2018, 21(3): 869-878. DOI: 10.1007/s10044-017-0672-1
[20] 牛燕雄, 陈梦琪, 张贺. 基于尺度不变特征变换的快速景象匹配方法[J]. 电子与信息学报, 2019, 41(3): 626-631. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201903017.htm NIU Y X, CHEN M Q, ZHANG H. Fast scene matching method based on scale invariant feature transform[J]. Journal of Electronics & Information Technology, 2019, 41(3): 626-631. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201903017.htm
[21] 罗久飞, 邱广, 张毅, 等. 基于自适应双阈值的SURF双目视觉匹配算法研究[J]. 仪器仪表学报, 2020, 41(3): 240-247. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202003026.htm LUO J F, QIU G, ZHANG Y, et al. Research on speeded up robust feature binocular vision matching algorithm based on adaptive double threshold[J]. Chinese Journal of Scientific Instrument, 2020, 41(3): 240-247. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202003026.htm
-
期刊类型引用(4)
1. 王昊昱,何明枢. 基于改进暗通道算法的红外图像去雾. 红外技术. 2022(08): 875-881 . 本站查看
2. 王蓉,孙勇智,马连伟. 基于改进加权融合暗通道算法的图像去雾研究. 浙江科技学院学报. 2021(01): 52-58 . 百度学术
3. 张竞阳,严利民,陈志恒. 采用暗态点光源模型的夜间去雾算法. 红外技术. 2021(08): 798-803 . 本站查看
4. 张健. 基于改进暗通道算法的红外图像去雾研究. 激光与红外. 2021(08): 1081-1087 . 百度学术
其他类型引用(4)