基于多尺度域红外目标分割及特征点匹配的泡沫流速检测

施雯玲, 廖一鹏, 许志猛, 严欣, 朱坤华

施雯玲, 廖一鹏, 许志猛, 严欣, 朱坤华. 基于多尺度域红外目标分割及特征点匹配的泡沫流速检测[J]. 红外技术, 2023, 45(5): 463-473.
引用本文: 施雯玲, 廖一鹏, 许志猛, 严欣, 朱坤华. 基于多尺度域红外目标分割及特征点匹配的泡沫流速检测[J]. 红外技术, 2023, 45(5): 463-473.
SHI Wenling, LIAO Yipeng, XU Zhimeng, YAN Xin, ZHU Kunhua. Foam Flow Rate Detection Based on Infrared Target Segmentation and SURF Matching in NSST Domain[J]. Infrared Technology , 2023, 45(5): 463-473.
Citation: SHI Wenling, LIAO Yipeng, XU Zhimeng, YAN Xin, ZHU Kunhua. Foam Flow Rate Detection Based on Infrared Target Segmentation and SURF Matching in NSST Domain[J]. Infrared Technology , 2023, 45(5): 463-473.

基于多尺度域红外目标分割及特征点匹配的泡沫流速检测

基金项目: 

国家自然科学基金项目 61601126

国家自然科学基金项目 61904031

福建省自然科学基金项目 2019J01224

详细信息
    作者简介:

    施雯玲(1996-),女,硕士研究生,主要从事机器视觉方面的研究。E-mail:382935094@qq.com

    通讯作者:

    廖一鹏(1982-),男,博士,讲师,主要从事图像处理与机器视觉方面的研究。E-mail:fzu_lyp@163.com

  • 中图分类号: TP391

Foam Flow Rate Detection Based on Infrared Target Segmentation and SURF Matching in NSST Domain

  • 摘要: 为减少浮选气泡合并、破碎等变化对泡沫表面流动特征提取的影响,提出了一种非下采样剪切波变换(Nonsubsampled Shearlet Transform,NSST)域红外目标分割及改进加速鲁棒特征(Speeded Up Robust Features,SURF)匹配的泡沫表面流速检测方法。首先,对相邻两帧泡沫红外图像NSST分解,在多尺度域构建图割能量函数的边界、亮度、显著性约束项实现对合并、破碎气泡的分割;然后,对分割后的背景区域进行SURF特征点检测,通过统计扇形区域内的尺度相关系数确定特征点主方向,采用特征点邻域的多方向高频系数构造特征描述符;最后,对相邻两帧泡沫红外图像进行特征点匹配,根据匹配结果计算泡沫流速的大小、方向、加速度、无序度。实验结果表明,本文方法能有效分割出合并、破碎的气泡,具有较高的分割精度,提升了SURF算法的匹配精度,流速检测受气泡合并、破碎的影响小,检测精度和效率较现有方法有一定提升,能准确地表征不同工况下泡沫表面的流动特性, 为后续的工况识别奠定基础。
    Abstract: In order to reduce the influence of changes such as flotation bubble merging and breaking on the foam surface flow feature extraction, a foam surface flow rate detection method based on infrared target segmentation and improved SURF matching in NSST domain is proposed. First, two adjacent froth infrared images are decomposed through NSST, and boundary, brightness, and saliency constraint terms of the graph cut energy function are constructed in the multi-scale domain to realize the segmentation of the merged and broken bubbles. Then, SURF feature point detection are performed on the segmented background region. The main direction of the feature point is determined by statistical the scale correlation coefficients in the sector area, and the multi-directional high-frequency coefficients in the neighborhood of the feature point are used to construct the feature descriptors. Finally, feature points are matched for two adjacent froth infrared images, and the magnitude, direction, acceleration and disorder of foam flow velocity are calculated based on the matching results. The experimental results show that the method in this paper can effectively segment the merged and broken bubbles with high segmentation accuracy, improve the matching accuracy of SURF algorithm, reduce the impact of the bubbles merging and breaking on the flow velocity detection. Compared with the existing methods, the method in this paper improve the detection accuracy and efficiency, which can accurately characterize the flow characteristics of the foam surface under different working conditions and lay the foundation for the subsequent working condition identification.
  • 多模态图像融合[1]是指从不同模态的源图像中提取重要信息,合成一幅比单一源图像更清晰、内容更全面的图像,便于人眼的观察和计算机的处理。

    近年来,随着多尺度几何分析[2]、稀疏表示[3]、深度学习[4]等理论的发展,多模态图像融合技术取得了很大的进展。Bulanon等[5]采用拉普拉斯金字塔变换将源图像中的特征按照不同的尺度分解到不同的分解层上,由此来融合源图像中的显著特征;Zhan等人[6]提出了基于离散小波变换(discrete wavelet transform, DWT)的红外与可见光图像融合方法,虽然DWT在保留图像细节方面具有良好的性能,但缺乏平移不变性,导致融合图像的边界不连续。Liu等[7]提出了一种基于自适应稀疏表示(adaptive sparse representation,ASR)的多模态图像融合算法,融合的高频子带中保留了源图像的结构特征,但融合结果对比度极低、细节丢失严重。文献[8]提出了一种基于卷积神经网络(convolutional neural network,CNN)的图像融合算法,能同时实现显著性水平测评和权重分配,但融合结果中丢失了较多的细节信息。文献[9]提出了一种基于自适应脉冲耦合神经网络(adaptive pulse coupled neural network,APCNN)的非下采样轮廓波变换(non-subsampled contourlet transform,NSCT)域图像融合算法,由于APCNN模型中的连接强度设置为常数影响了融合结果的精度,且NSCT对各向异性的信息表示能力较弱,导致融合图像中丢失了边缘信息,针对此问题,文献[10]将非下采样剪切波变换(non-subsampled shearlet transform, NSST)和APCNN相结合,解决了NSCT方向有限的问题,且具有平移不变性[11],因此被广泛应用[10-13]。以上算法虽然在一定程度上提高了融合图像的质量,但都存在图像的边缘细节丢失、视觉效果差等问题。

    为了增加融合图像中的细节信息,提出了一种基于NSST-DWT-ICSAPCNN的多模态图像融合方法。采用NSST对源图像进行多尺度、多方向的分解得到高频和低频子带图像。考虑到NSST对细节处理精度仍不够高,而DWT在保留图像细节方面具有良好的性能,因此采用DWT进一步分解低频子带,提取源图像中容易被NSST分解忽略的细节信息。此外,为了增强中心神经元受到周围神经元的影响程度,将局部标准差的Sigmoid函数作为连接强度来构建改进型连接强度自适应脉冲耦合神经网络(improved connection strength adaptive pulse coupled neural network, ICSAPCNN),由于APCNN具有全局耦合特性和脉冲同步特性[14],因此能更好地利用高频子带图像的全局特征。本文结合NSST、DWT、ICSAPCNN的互补特性融合多模态图像,通过实验验证了所提算法的有效性。

    NSST分解过程有两步,第一步采用非下采样金字塔滤波器组(NSPF)对待融合的源图像进行n级尺度分解,实现图像的多尺度化。第二步采用剪切滤波器(SFB)实现高频子带的多方向化,第k级方向分解个数为2k。最终得到n+1个子带图像[11],即1个低频和n个高频子带图像,均与源图像的大小相同。

    NSST不仅可以在多方向和多尺度上表示图像,还具有平移不变性,并且其分解过程中没有使用下采样运算,消除了伪吉布斯现象。NSST二级分解过程如图 1所示,本文中NSST分解的级数设置为4,方向数设为[8, 8, 16, 16]。

    图  1  NSST二级分解过程
    Figure  1.  The two-level decomposition process of NSST

    DWT可以将源图像分解成一系列的能量子带和细节子带图像,分解过程使用一组高通、低通滤波器来执行,如图 2所示:先对图像ai中每行构成的一维数据进行一维小波分解,得到高、低频信息。再对每列构成的一维数据做相同的操作,最终得到4个子带图像:ai-1hj-11hj-12hj-13。其中,ai-1由行低通、列低通得到,包含图像的近似信息,hj-11由行低通、列高通得到,hj-12由行高通、列低通得到,hj-13由行高通、列高通得到。hj-11hj-12hj-13分别包含水平、垂直、对角方向上的边缘细节信息[15]

    图  2  DWT分解过程
    Figure  2.  The decomposition process of DWT

    APCNN模型是通过模拟猫的大脑视觉皮层中同步脉冲发放现象而建立起来的一个简化模型[16],它不需要任何的训练过程,而是基于迭代计算,其数学方程描述如式(1)~(5)所示:

    $$ F_{ij}[n]=S_{ij} $$ (1)
    $$ {L_{ij}}[n] = {V_L}\sum\limits_{kl} {{W_{ijkl}}{Y_{kl}}[n - 1]} $$ (2)
    $$ {U_{ij}}[n] = {{\text{e}}^{ - {\alpha _{\text{F}}}}}{U_{ij}}[n - 1] + {F_{ij}}[n](1 + \beta {L_{ij}}[n]) $$ (3)
    $$ {Y_{ij}}[n] = \left\{ {\begin{array}{*{20}{c}} {1,\quad {U_{ij}}[n] \gt {E_{ij}}[n - 1]} \\ {0,\quad {U_{ij}}[n] \leqslant {E_{ij}}[n - 1]} \end{array}} \right. $$ (4)
    $$ {E_{ij}}[n] = {{\text{e}}^{ - {\alpha _{\text{E}}}}}{E_{ij}}[n - 1] + {V_E}{Y_{ij}}[n] $$ (5)

    输入图像中的像素点(i, j)与APCNN模型中的神经元之间存在一一对应的关系[17],神经元获取外部刺激输入的通道有两个,一个是反馈输入Fij,由像素点(i, j)的灰度绝对值Sij决定,另一个是连接输入Lij,其中VL是放大系数,Wijkl为突触连接矩阵。将FijLij进行非线性相乘调制后得到神经元的内部活动项Uij,其中αF为反馈输入的衰减时间常数。当Uij大于动态阈值Eij时发放脉冲Yij,神经元产生一次点火。当神经元点火时,Eij立刻增大,然后又按照指数逐渐衰减,直到神经元再次发放脉冲,其中αE为动态阈值的衰减常数,VE为脉冲的放大系数。当迭代结束时,得到点火频率映射图。

    基于本文方法的图像融合流程如图 3所示,采用NSST对源图像IAIB进行分解得到高低频子带;再对低频子带进行DWT分解得到低频能量子带和细节子带,并采用最大值选择规则融合能量子带,利用ICSAPCNN分别对细节子带和高频子带进行融合;对能量子带和细节子带进行DWT逆变换得到融合的低频子带;最后采用NSST逆变换重构出融合图像IF

    图  3  基于NSST-DWT-ICSAPCNN的融合流程图
    Figure  3.  The fusion diagram based on NSST-DWT-ICSAPCNN

    本文结合区域能量(RE)和梯度能量(EOG)融合低频系数,选择M×N区域窗口,具体步骤如下:

    Step 1    根据式(6)分别计算两幅低频能量子带图像的区域能量RE1和RE2

    $$ {\text{R}}{{\text{E}}_X}(i,j) = \sum\nolimits_{i \leqslant M} {\sum\nolimits_{j \leqslant N} {{L_X}{{(i,j)}^2}} } $$ (6)

    Step 2    根据式(7)分别计算两幅低频能量子带图像的梯度能量EOG1和EOG2

    $$ {\text{EO}}{{\text{G}}_X}(i,j) = \sum\nolimits_{i \leqslant M} {\sum\nolimits_{j \leqslant N} {{{\left| {{G_X}(i,j)} \right|}^2}} } $$ (7)

    式中:LX(i, j)和GX(i, j)分别表示(i, j)位置的低频能量子带系数值和梯度值。

    $$ {G_X}(i,j) = \sqrt {{{({L_X}(i,j) - {L_X}(i + 1,j))}^2} + {{({L_X}(i,j) - {L_X}(i,j + 1))}^2}} $$ (8)

    Step 3    将RE和EOG相乘作为低频的显著性水平度量(ALM),定义如式(9)所示:

    $$ {\text{AL}}{{\text{M}}_X}(i,j) = {\text{R}}{{\text{E}}_X}(i,j) * {\text{EO}}{{\text{G}}_X}(i,j) $$ (9)

    上式(6)~(9)中,X∈{1, 2}。

    Step 4    根据极大值规则选择ALM较大的点所对应的低频系数作为融合的低频系数LF(i, j):

    $$ {L_{\text{F}}}(i,j) = \left\{ {\begin{array}{*{20}{c}} {{L_1}(i,j),}&{{\text{AL}}{{\text{M}}_1}(i,j) \geqslant {\text{AL}}{{\text{M}}_2}(i,j)} \\ {{L_2}(i,j),}&{{\text{AL}}{{\text{M}}_1}(i,j) \lt {\text{AL}}{{\text{M}}_2}(i,j)} \end{array}} \right. $$ (10)

    连接强度取值范围为(0, 1),调节着神经元之间的相互影响程度。本文利用Sigmoid函数表示APCNN模型的连接强度βij,避免了将连接强度设置为常数时模型的不灵活性。考虑到人眼视觉神经系统中各个神经元的连接强度不会完全相同,令连接强度由输入图像的局部标准差决定,标准差越大的区域对应的高频子带中包含更多的显著特征,连接强度随之增大,从而增强神经元受到周围神经元的影响程度,提高了ICSAPCNN对高频子带全局信息的利用程度。

    $$ {\beta _{ij}} = \frac{1}{{(1 + \exp ( - {\sigma _{ij}}))}} $$ (11)

    式中:σij为局部标准差,其定义如式(12)所示;$ \overline {{x_{ij}}} $为区域内以神经元(i, j)为中心的灰度均值;xkl为周围神经元(k, l)的灰度值;m为区域内神经元的总数。

    $$ {\sigma _{ij}} = \sqrt {\frac{1}{m}\sum\nolimits_{k = 1}^3 {\sum\nolimits_{l = 1}^3 {{{({x_{kl}} - \overline {{x_{ij}}} )}^2}} } } $$ (12)

    ICSAPCNN模型中各神经元由某一高频子带刺激后,将得到对应的点火频率映射图,点火次数表征高频系数中包含细节信息的显著程度,次数越大,对应位置所包含的细节信息越丰富。因此选择点火次数较大的点所对应的系数作为融合的高频系数,高频子带和低频细节子带具体的融合步骤如下:

    Step 1    初始化ICSAPCNN模型,将输入激励Sij设为高频子带(低频细节子带)图像像素点(i, j)的灰度值,并令Lij[n]=Uij[n]=Yij[n]=Eij[n]=0。

    Step 2    根据式(11)计算改进的连接强度βij,其余参数根据文献[9]设定。

    Step 3    根据式(13)计算模型每次迭代结束后的点火次数:

    $$ T_{ij}^{s,l}[n] = T_{ij}^{s,l}[n - 1] + Y_{ij}^{s,l}[n] $$ (13)

    Step 4    根据式(14)选择融合的高频系数(低频细节子带系数)。

    $$ H_{\text{F}}^{s,l}(i,j) = \left\{ {\begin{array}{*{20}{c}} {H_{\text{A}}^{s,l}(i,j),}&{T_{\text{A}}^{s,l}(i,j) \geqslant T_{\text{B}}^{s,l}(i,j)} \\ {H_{\text{B}}^{s,l}(i,j),}&{T_{\text{A}}^{s,l}(i,j) \lt T_{\text{B}}^{s,l}(i,j)} \end{array}} \right. $$ (14)

    式(13)~(14)中:sl分别对应高频子带(低频细节子带)的第s层、第l个方向。式(14)中A、B分别对应两幅高频子带图像或两幅低频细节子带图像。

    本文所有实验均在Windows10,MATLAB 2019a软件上运行。为了验证本文方法的有效性,实验所用到的多模态图像包括6组红外图像(Infrared)与可见光图像(Visible),8组计算机断层扫描图像(CT)与核磁共振图像(MRI)。与近几年的4种图像融合方法做对比,文献[7]采用基于ASR的融合方法,文献[8]采用基于CNN的融合方法,文献[9]和文献[10]均采用基于多尺度变换和APCNN的融合方法(分别记为NSCT-APCNN、NSST-APCNN),本文实验分析中展示了部分多模态源图像的融合结果。

    Zheng等人在文献[18]中总结了很多评估融合图像质量的客观指标,本文选取的评估指标包括熵QEN,互信息QMI,标准差QSD,视觉信息保真度QVIFF,非线性相关信息熵QIE,基于Tsallis的熵QTE。对于本文所有的客观评估指标,其值越大,融合后的图像质量越高,融合效果越好。

    本文列出了部分源图像的融合结果,图 4(a)图 4(b)分别是“road”可见光和红外源图像,图 4(c)~(g)为对两幅源图像应用不同方法得到的融合结果。观察可知:使用ASR和CNN方法的融合结果中能量严重丢失,公路上的行人分辨率极低,视觉效果差;使用NSCT-APCNN和NSST-APCNN方法的融合结果中人物边缘模糊,细节信息丢失;本文利用Sigmoid函数表示连接强度,在两幅高频子带对应位置的标准差相差较小时ICSAPCNN模型也能表现出较好的效果。由局部放大图可知,基于本文方法的结果中人物清晰,辨识度高,保留了源图像中的重要信息。图 5(a)图 5(b)~(g)分别是“tree”可见光和红外源图像,图 5(c)为对两幅源图像应用不同方法得到的融合结果。观察融合结果可知基于本文方法的融合结果最清晰,融合效果最好。由不同方法融合“road”和“tree”两组红外与可见光源图像的客观评估指标值如表 1所示,显然,由本文方法得到的客观评估指标值均较高。由不同方法融合6组红外和可见光源图像的客观评估指标结果的平均值如表 2所示,由表 2可知,除了QSDQTE,其余4个指标QENQMIQVIFFQIE均为最优,与主观视觉效果保持一致,验证了本文方法对于红外与可见光图像融合的有效性。

    图  4  “road”红外和可见光图像以及融合结果
    Figure  4.  The "road" infrared and visible source images and fusion results
    图  5  “tree”红外和可见光图像以及融合结果
    Figure  5.  The "tree" infrared and visible source images and fusion results
    表  1  两组红外与可见光图像客观评估指标值
    Table  1.  Values of objective evaluation index for 2 groups of infrared and visible images
    Images Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN
    Road QEN 7.1339 7.4964 7.3703 7.331 7.4247
    QMI 3.0046 3.2051 3.0786 3.2336 3.0167
    QSD 38.3922 48.4964 45.5887 44.5039 51.7009
    QVIFF 0.4469 0.5842 0.5206 0.5078 0.6275
    QIE 0.8055 0.8054 0.8052 0.8053 0.8062
    QTE 0.5749 0.5207 0.5401 0.5454 0.5886
    Tree QEN 6.3464 7.1022 6.9596 6.9152 7.1043
    QMI 1.2234 1.1755 1.3188 1.7535 2.1287
    QSD 24.3398 37.2648 32.8565 31.4357 34.8227
    QVIFF 0.3177 0.4706 0.3822 0.3798 0.4261
    QIE 0.8033 0.8043 0.8035 0.8035 0.8040
    QTE 0.4090 0.2861 0.2981 0.3279 0.3282
    下载: 导出CSV 
    | 显示表格
    表  2  六组红外与可见光图像客观评估指标平均值
    Table  2.  Average values of objective evaluation index for 6 groups of infrared and visible images
    Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN
    QEN 6.2345 6.8978 6.9633 6.9094 7.0247
    QMI 2.8656 3.2917 3.6756 4.1826 4.3438
    QSD 24.7236 38.7514 37.0670 35.4332 38.6467
    QVIFF 0.3761 0.5399 0.5445 0.5032 0.5514
    QIE 0.8063 0.8076 0.8086 0.8090 0.8097
    QTE 0.7311 0.6582 0.6534 0.6971 0.6841
    下载: 导出CSV 
    | 显示表格

    图 6(a)图 6(b)分别为致死性脑卒中CT和MRI源图像,图 6(c)~(g)为对两幅医学源图像应用不同方法得到的融合结果。观察仿真结果图可知:使用ASR方法的融合结果亮度较暗,对比度严重丢失,视觉效果差;使用CNN方法的融合结果存在能量丢失现象;使用NSCT-APCNN和NSST-APCNN的融合方法是直接对低频子带图像进行融合,这种做法不能充分提取到源图像的细节信息;本文利用DWT进一步分解低频子带图像,提取源图像中容易被NSST分解忽略的信息,由局部放大图可知,得到的融合结果(图 6(g))中保留了源图像较多的细节信息,且对比度与源图像保持一致,视觉效果最好。图 7(a)~(b)分别为脑膜瘤CT和MRI源图像,图 7(c)~(g)为融合结果,观察可知,基于本文方法的融合结果细节信息最丰富,融合效果最好。由不同方法融合两组医学源图像的客观评估值如表 3所示,显然,由本文方法得到的客观评估指标值均较高。由不同融合方法融合8组医学图像的客观评估指标结果的平均值如表 4所示,由表 4可知,除了QSD,其他5个评估指标均为最优,与主观视觉效果一致,验证了本文方法对于多模态医学图像融合的有效性。

    图  6  致死性脑卒中CT和MRI图像以及融合结果
    Figure  6.  The fatal stroke CT and MRI source images and fusion results
    图  7  脑膜瘤CT和MRI图像以及融合结果
    Figure  7.  The meningoma CT and MRI source images and fusion results
    表  3  两组医学图像客观评估指标值
    Table  3.  Values of objective evaluation index for 2 groups of medical images
    Images Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN
    fatal stroke QEN 4.5440 4.8244 5.0632 4.8747 5.1693
    QMI 2.5170 2.8593 2.7118 2.8665 2.7618
    QSD 72.3351 90.2448 90.0339 84.2365 88.4652
    QVIFF 0.2691 0.3333 0.3259 0.3100 0.3131
    QIE 0.8051 0.8055 0.8054 0.8051 0.8054
    QTE 0.6663 0.7252 0.7277 0.7102 0.7896
    meningoma QEN 4.1794 4.2013 4.3485 4.6852 4.6013
    QMI 2.5408 2.9163 2.9516 3.0001 3.0665
    QSD 72.0789 88.7470 92.8914 90.2904 91.3901
    QVIFF 0.4940 0.6192 0.6279 0.5624 0.6292
    QIE 0.8056 0.8059 0.8062 0.8064 0.8064
    QTE 0.7907 0.7923 0.8445 0.8733 0.8804
    下载: 导出CSV 
    | 显示表格
    表  4  八组医学图像客观评估指标平均值
    Table  4.  Average values of objective evaluation index for 8 groups of medical images
    Metrics ASR[7] CNN[8] NSCT-APCNN[9] NSST-APCNN[10] NSST-DWT-ICSAPCNN
    QEN 4.3242 4.6515 4.7943 4.7715 4.8254
    QMI 2.6843 2.9002 2.8697 2.8998 2.9848
    QSD 66.6290 83.3568 85.9244 85.7634 85.7755
    QVIFF 0.3561 0.4417 0.4562 0.4491 0.4647
    QIE 0.8057 0.8061 0.8061 0.8062 0.8062
    QTE 0.7033 0.7494 0.7608 0.7593 0.7818
    下载: 导出CSV 
    | 显示表格

    为了在融合过程中提取更多的图像信息,提出了一种基于NSST-DWT-ICSAPCNN的多模态图像融合方法。对源图像经NSST分解得到的低频子带图像做DWT分解,解决了部分源图像细节丢失的问题。此外,将低频子带图像的区域能量和梯度能量相结合作为显著性水平度量,有效地保留了图像的能量和边缘细节信息。采用ICSAPCNN获取低频细节子带图像和高频子带图像的点火频率映射图,提高了对低频细节子带和高频子带图像全局信息的利用程度。实验结果显示所提算法相比于其他4种多模态图像融合算法,在主观视觉和客观评估指标方面均表现最优,同时验证了本文方法对于多模态红外和可见光图像与多模态医学图像均有较好的融合效果。下一步将继续研究双树复小波变换(Dual Tree Complex Wavelet Transform,DTCWT)、双密度双树复小波变换(Double Density Dual Tree Complex Wavelet Transform,DDDTCWT)对低频子带图像做进一步分解的效果。

  • 图  1   气泡图像多尺度变换

    Figure  1.   Multiscale transform of bubble images

    图  2   浮选泡沫的红外热像

    Figure  2.   Infrared images of flotation foam

    图  3   特征主方向确定

    Figure  3.   Feature main direction determination

    图  4   构建特征描述符

    Figure  4.   Constructing feature descriptors

    图  5   泡沫流动速度检测流程

    Figure  5.   Foam flow rate detection flow chart

    图  6   目标分割结果及对比

    Figure  6.   Target segmentation results and comparison

    图  7   改进SURF的匹配结果及比较

    Figure  7.   Improved SURF algorithm matching results and comparison

    图  8   流速检测效果及比较

    Figure  8.   Flow rate detection effect and comparison

    图  9   不同加药状态下的流速检测结果

    Figure  9.   Flow rate detection results under different dosing conditions

    表  1   四种方法分割性能比较

    Table  1   Comparison of the performance of four methods of segmentation

    Algorithm Under-flotation Normal flotation Over-flotation Running time/s
    IOU Error IOU Error IOU Error
    Ref.[14] 0.7957 0.2799 0.8316 0.2239 0.8682 0.1727 0.4017
    Ref.[18] 0.8251 0.2087 0.8174 0.2185 0.8876 0.1624 0.2240
    Ref.[19] 0.8188 0.2745 0.8541 0.2523 0.8871 0.1361 0.3119
    Ours 0.8357 0.2054 0.8547 0.1847 0.9014 0.1523 0.7301
    下载: 导出CSV

    表  2   匹配精度及运行时间比较

    Table  2   Comparison of matching accuracy and running time

    Algorithm Noise variance 10% Scale 1:2
    Matching accuracy/% Time/s Matching accuracy/% Time/s
    Improved SIFT 95.91 0.9625 98.72 0.9041
    Improved SURF 93.76 0.2604 96.24 0.1943
    Ours 96.12 0.3128 98.64 0.2612
    Algorithm Noise variance 30% Scale 1:8
    Matching accuracy/% Time/s Matching accuracy/% Time/s
    Improved SIFT 82.23 1.1254 81.25 0.8547
    Improved SURF 78.54 0.2321 75.68 0.1269
    Ours 87.12 0.3513 85.03 0.2098
    下载: 导出CSV

    表  3   流速检测结果及比较

    Table  3   Flow rate detection effect and comparison

    Algorithm vx/(pixel⋅s-1) vy/(pixel⋅s-1) V/(pixel⋅s-1) θv Ev/% Eθ/% Time/s
    Ref. [6] 15.5132 14.9353 21.5342 43.9127 1.5132 2.4162 0.3413
    Ref. [7] 15.0139 14.8926 21.1473 44.7676 0.3107 0.5164 0.5451
    Ref. [8] 14.9860 14.9577 21.1734 44.9458 0.1876 0.1204 1.5220
    Ref. [9] 14.9877 15.0659 21.2512 45.1491 0.1791 0.3313 0.6011
    Ours 14.9943 15.0064 21.2137 45.0231 0.0023 0.0513 1.0743
    下载: 导出CSV
  • [1]

    Fonseca R R, Franco I C, Thompson J P, et al. Turbidity control on dissolved air flotation process using fuzzy logic[J]. Water Science and Technology, 2018, 78(12): 2586-2596. DOI: 10.2166/wst.2019.015

    [2]

    XIE Y, WU J, XU D, et al. Reagent addition control for stibium rougher flotation based on sensitive froth image features[J]. IEEE Transactions on Industrial Electronics, 2016, 64(5): 4199-4206. http://www.onacademic.com/detail/journal_1000039773149010_f4aa.html

    [3]

    TAN J, LIANG L, PENG Y, et al. The concentrate ash content analysis of coal flotation based on froth images[J]. Minerals Engineering, 2016, 92: 9-20. DOI: 10.1016/j.mineng.2016.02.006

    [4]

    ZHANG J, TANG Z, LIU J, et al. Recognition of flotation working conditions through froth image statistical modeling for performance monitoring[J]. Minerals Engineering, 2016, 86: 116-129. DOI: 10.1016/j.mineng.2015.12.008

    [5] 陈良琴, 王卫星. 基于气泡跟踪与相位相关的浮选表面气泡平移运动估计[J]. 四川大学学报: 工程科学版, 2016, 48(5): 143-152. https://www.cnki.com.cn/Article/CJFDTOTAL-SCLH201605020.htm

    CHEN L Q, WANG W X. Flotation surface bubble displacement motion estimation based on bubble tracking and phase correlation[J]. Journal of Sichuan University: Engineering Science Edition, 2016, 48(5): 143-152. https://www.cnki.com.cn/Article/CJFDTOTAL-SCLH201605020.htm

    [6]

    Kaartinen J, Hätönen J, Hyötyniemi H, et al. Machine-vision-based control of zinc flotation—a case study[J]. Control Engineering Practice, 2006, 14(12): 1455-1466. DOI: 10.1016/j.conengprac.2005.12.004

    [7]

    Nakhaei F, Irannajad M, Mohammadnejad S. Column flotation performance prediction: PCA, ANN and image analysis-based approaches[J]. Physicochemical Problems of Mineral Processing, 2019, 55(5): 1298-1310. http://www.xueshufan.com/publication/2974543226

    [8]

    WANG Y, SUN B, ZHANG R, et al. Sulfur flotation performance recognition based on hierarchical classification of local dynamic and static froth features[J]. IEEE Access, 2018, 6: 14019-14029. DOI: 10.1109/ACCESS.2018.2805265

    [9] 廖一鹏, 陈诗媛, 杨洁洁. NSST域改进ORB的泡沫流动特征提取及加药状态识别. [J]. 光学精密工程, 2020, 28(12): 2684-2699. DOI: 10.37188/OPE.20202812.2684

    LIAO Y P, CHEN S Y, YANG J J, et al. Dosing status identification and froth flow feature extraction based on improved ORB in NSST domain[J]. Optics and Precision Engineering, 2020, 28(12): 2684-2699. DOI: 10.37188/OPE.20202812.2684

    [10]

    BAY H, TUYTELAARS T, VAN GOOL L. Surf: Speeded up robust features[C]//European Conference on Computer Vision, 2006: 404-417.

    [11]

    SINGH S, ANAND R S, GUPTA D. CT and MR image information fusion scheme using a cascaded framework in ripplet and NSST domain[J]. IET Image Processing, 2018, 12(5): 696-707. DOI: 10.1049/iet-ipr.2017.0214

    [12] 廖一鹏, 王卫星, 付华栋, 等. 结合分数阶微分的浮选泡沫图像NSCT多尺度增强[J]. 华南理工大学学报: 自然科学版, 2018, 46(3): 92-102. DOI: 10.3969/j.issn.1000-565X.2018.03.014

    LIAO Y P, WANG W X, FU H D, et al. Flotation foam image NSCT multi-scale enhancement with fractional differential[J]. Journal of South China University of Technology: Natural Science Edition, 2018, 46(3): 92-102. DOI: 10.3969/j.issn.1000-565X.2018.03.014

    [13]

    PENG Z, QU S, LI Q. Interactive image segmentation using geodesic appearance overlap graph cut[J]. Signal Processing: Image Communication, 2019, 78: 159-170. DOI: 10.1016/j.image.2019.06.012

    [14] 廖苗, 刘毅志, 欧阳军林, 等. 基于非线性增强和图割的CT序列肝脏肿瘤自动分割[J]. 计算机辅助设计与图形学学报, 2019, 31(6): 1030-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906019.htm

    LIAO M, LIU Y Z, OUYANG J L, et al. Automatic segmentation of liver tumor in CT volumes using nonlinear enhancement and graph cuts [J]. Journal of Computer-Aided Design & Computer Graphics, 2019, 31(6): 1030-1038. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201906019.htm

    [15] 林剑萍, 廖一鹏. 结合分数阶显著性检测及量子烟花算法的NSST域图像融合[J]. 光学精密工程, 2021, 29(6): 1406-1419. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202106021.htm

    LIN J P, LIAO Y P. A novel image fusion method with fractional saliency detection and QFWA in NSST[J]. Optics and Precision Engineering, 2021, 29(6): 1406-1419. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM202106021.htm

    [16] 袁丽英, 刘佳, 王飞越. 基于SURF的图像配准改进算法[J]. 探测与控制学报, 2020, 42(2): 65-70. https://www.cnki.com.cn/Article/CJFDTOTAL-XDYX202002014.htm

    YUAN L Y, LIU J, WANG F Y. An improved algorithm of SURF image registration[J]. Journal of Detection & Control, 2020, 42(2): 65-70. https://www.cnki.com.cn/Article/CJFDTOTAL-XDYX202002014.htm

    [17]

    SONG J L, YANG J H, LIU F J, et al. High temperature strain measurement method by combining digital image correlation of laser speckle and improved RANSAC smoothing algorithm[J]. Optics and Lasers in Engineering, 2018, 111: 8-18. DOI: 10.1016/j.optlaseng.2018.07.012

    [18] 邵磊, 张一鸣, 李季, 等. 基于改进的两维Otsu管道红外图像高温区域分割研究[J]. 光谱学与光谱分析, 2019, 39(5): 1637-1642. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN201905055.htm

    SHAO L, ZHANG Y M, LI J, et al. Research on high temperature region segmentation of infrared pipeline image based on improved two-dimensional-Otsu[J]. Spectroscopy and Spectral Analysis, 2019, 39(5): 1637-1642. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN201905055.htm

    [19]

    BI H, TANG H, YANG G Y, et al. Accurate image segmentation using Gaussian mixture model with saliency map[J]. Pattern Analysis and Applications, 2018, 21(3): 869-878. DOI: 10.1007/s10044-017-0672-1

    [20] 牛燕雄, 陈梦琪, 张贺. 基于尺度不变特征变换的快速景象匹配方法[J]. 电子与信息学报, 2019, 41(3): 626-631. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201903017.htm

    NIU Y X, CHEN M Q, ZHANG H. Fast scene matching method based on scale invariant feature transform[J]. Journal of Electronics & Information Technology, 2019, 41(3): 626-631. https://www.cnki.com.cn/Article/CJFDTOTAL-DZYX201903017.htm

    [21] 罗久飞, 邱广, 张毅, 等. 基于自适应双阈值的SURF双目视觉匹配算法研究[J]. 仪器仪表学报, 2020, 41(3): 240-247. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202003026.htm

    LUO J F, QIU G, ZHANG Y, et al. Research on speeded up robust feature binocular vision matching algorithm based on adaptive double threshold[J]. Chinese Journal of Scientific Instrument, 2020, 41(3): 240-247. https://www.cnki.com.cn/Article/CJFDTOTAL-YQXB202003026.htm

  • 期刊类型引用(3)

    1. 朱泽宇,肖满生,徐萌,王瑶瑶,颜谨. 基于改进YOLOv8n的轻量化PCB板表面缺陷检测算法. 软件导刊. 2025(04): 69-74 . 百度学术
    2. 李扬,陈伟,杨清永,李现国,徐常余,徐晟. 基于大核分离和通道先验卷积注意的PCB缺陷检测方法. 燕山大学学报. 2024(06): 519-527+549 . 百度学术
    3. 王崟,陆利坤,齐亚莉,曾庆涛. 基于优化YOLOv8-X的印刷电路板缺陷智能检测方法. 现代计算机. 2024(24): 29-35 . 百度学术

    其他类型引用(0)

图(9)  /  表(3)
计量
  • 文章访问数:  140
  • HTML全文浏览量:  30
  • PDF下载量:  32
  • 被引次数: 3
出版历程
  • 收稿日期:  2022-05-26
  • 修回日期:  2022-06-23
  • 刊出日期:  2023-05-19

目录

/

返回文章
返回