一种基于粗糙集的红外图像多维降噪算法

王加, 周永康, 胡健钏, 潘超, 李泽民, 曾邦泽, 赵德利

王加, 周永康, 胡健钏, 潘超, 李泽民, 曾邦泽, 赵德利. 一种基于粗糙集的红外图像多维降噪算法[J]. 红外技术, 2021, 43(1): 44-50.
引用本文: 王加, 周永康, 胡健钏, 潘超, 李泽民, 曾邦泽, 赵德利. 一种基于粗糙集的红外图像多维降噪算法[J]. 红外技术, 2021, 43(1): 44-50.
WANG Jia, ZHOU Yongkang, HU Jianchuan, PAN Chao, LI Zemin, ZENG Bangze, ZHAO Deli. Infrared Image Denoising Algorithm Based on a Rough Set Approach[J]. Infrared Technology , 2021, 43(1): 44-50.
Citation: WANG Jia, ZHOU Yongkang, HU Jianchuan, PAN Chao, LI Zemin, ZENG Bangze, ZHAO Deli. Infrared Image Denoising Algorithm Based on a Rough Set Approach[J]. Infrared Technology , 2021, 43(1): 44-50.

一种基于粗糙集的红外图像多维降噪算法

详细信息
    作者简介:

    王加(1989-),男,硕士研究生,主要从事红外图像处理算法研究,E-mail: 80393796@qq.com

    通讯作者:

    赵德利(1989-),男,硕士,主要从事电路系统开发,E-mail: 719554525@qq.com

  • 中图分类号: TP751.1

Infrared Image Denoising Algorithm Based on a Rough Set Approach

  • 摘要: 针对红外图像噪声复杂多变,在抑制噪声的同时,还需要兼顾细节增强的问题,本文提出了一种基于粗糙集的红外图像多维降噪算法。对采集到的红外图像通过引导滤波进行分层后运用粗糙集理论进一步多维度的分层,分别处理后合并还原得到输出图像。综合对比主观观察与客观评价指标,该算法能够对红外图像降噪有良好效果,对弱小目标细节有良好的增强效果,另外,该算法复杂度较低,具有良好的实时性,在工程实现方面具有良好的应用前景。
    Abstract: With respect to the complexity and variety of infrared image noise, it is necessary to consider the detailed enhancement of images while suppressing noise. Accordingly, this study developed an infrared image denoising algorithm using the rough set theory. Collected infrared images were first layered by guided filtering. Then, further multi-dimensional stratification was conducted using the rough set theory, and output images were obtained through merging and restoration. Compared with a subjective observation and an objective evaluation index, the algorithm was effective in infrared image denoising and helped to enhance weak and small target details. In addition, the algorithm showed low complexity and good real-time performance. It thus has good application prospects in engineering implementations.
  • 红外成像具有非接触直接测量输变电设备状态的特征,无需停电,在电力领域具有广泛的应用[1-3]。输变电设备在野外严峻环境中长期运行,由于材料老化、污秽闪络、机械受损等因素,常伴随有局部放电、温度增高等现象。绝缘子作为输电线路重要部件,起到电气隔离和机械支撑的作用,当红外图像显示的温度较高,表明其有异常缺陷,这是因为场强不均匀发生局部放电,严重时可能导致线路故障,甚至造成停电故障。文献[4-5]开展了变压器高压套管的红外诊断研究,通过热像特征谱图分析了故障原因。红外图像可应用于交流滤波器的故障分析中,提取其跳闸的典型故障特征[6-8]

    输变电设备红外图谱特征提取主要为图像处理方法,诸如纹理、色彩、边框等图像特征[9-10]。随着无人机航拍技术的发展,输变电设备红外图谱呈现爆发式增长,深度学习提供了一种良好的手段[11-13],采用卷积神经网络(Convolutional Neural Networks,CNN)的方法,对海量图片进行训练学习,提取特征进行测试和验证。CNN通过卷积层计算,输入较深层的特征图,对于小目标绝缘子、套管,权重值相对较少,无法实现小目标的有效提取[14-15]。针对这一缺点,本文对Faster R-CNN方法进行改进,提高绝缘子红外图谱诊断的精度。

    区别于普通的CNN,Faster R-CNN增加了一个区域提取网络(Region Proposal Network,RPN),即图 1中的候选区域,摒弃传统的滑动窗口,可在GPU直接运行计算,极大地加快了计算速度。RPN判断每个像素点对应的多个不同尺度和宽高比的锚框是否为前景目标的二分类,形成候选区域。

    图  1  Faster R-CNN的算法流程
    Figure  1.  Algorithm flow of Faster R-CNN

    Faster R-CNN一般采用随机梯度下降法(Stochastic Gradient Descent,SGD)训练神经网络,见式(1):

    $$ h(x) = \sum\limits_{i = 0}^n {{w_i}} {x_i} = {\mathit{\boldsymbol{W}}^{\rm{T}}}\mathit{\boldsymbol{X}} $$ (1)

    式中:X为输入;W为权重;wixi分别表示第i个权重和输入;h(x)为对应的输出。

    损失函数S(W)基于平方误差实现,见式(2):

    $$ S(\mathit{\boldsymbol{W}}) = \frac{1}{2}\sum\limits_{i = 0}^m {{{({h_W}({x_i}) - {y_i})}^2}} $$ (2)

    式中:yi为真实输出。

    W的更新函数见式(3):

    $$ {W_j} = {W_j} - \alpha \frac{\partial }{{\partial {W_j}}}S(\mathit{\boldsymbol{W}}) $$ (3)

    式中:α为学习率,可设置步长。W通过梯度下降法进行求解,首先正向计算样本输出值,接着根据反向传递的误差迭代计算,常用在CNN训练中。

    RPN的选择本质是通过平移或者尺度变化的方法将合适的区域提取网络R变成$\hat C$,从而接近实际的候选框C

    $$ f({R_x}, {R_y}, {R_w}, {R_h}) = \left( {{{\hat C}_x}, {{\hat C}_y}, {{\hat C}_w}, {{\hat C}_h}} \right) \approx \left( {{C_x}, {C_y}, {C_w}, {C_h}} \right) $$ (4)

    式中:(x, y)、(w, h)分别为矩形区域的中心坐标和宽、高。

    令${t_*}$为矩形区域的平移和缩放量,则有:

    $$ \left\{ {\begin{array}{*{20}{l}} {{t_x} = ({C_x} - {R_x})/{R_{\rm{w}}}}\\ {{t_y} = ({C_y} - {R_y})/{R_{\rm{h}}}}\\ {{t_{\rm{w}}} = \lg ({C_{\rm{w}}}/{R_{\rm{w}}})}\\ {{t_{\rm{h}}} = \lg ({C_{\rm{h}}}/{R_{\rm{h}}})} \end{array}} \right. $$ (5)

    式中:txty为矩形区域的中心坐标平移量;twth分别为矩形区域的宽、高的缩放量。

    预测值计算过程为:

    $$ {d_*}(R) = w_*^{\rm{T}}\phi (R) $$ (6)

    式中:ϕ是最后一次卷积计算。

    损失函数的目标值计算见式(7),通过调整平移和缩放的尺度,确定最终的候选区域[16]

    $$ {L_{{\rm{oss}}}} = \sum\limits_{i = 1}^N {{{(t_*^i - w_*^{\rm{T}}\phi ({C^i}))}^2}} $$ (7)

    为了增强Faster R-CNN的小目标特征提取能力,引入压缩激励结构,即压缩和激励两大操作,设图像的特征参数设置为(H, W, K),分别表示为长、宽和通道数。

    压缩操作Fsq(·)基于各个通道实现特征图空间信息的压缩,见式(8):

    $$ {h_c} = {F_{{\rm{sq}}}}\left( {{k_c}} \right) = \frac{1}{{H \times W}}\sum\limits_{i = 1}^H {\sum\limits_{j = 1}^W {{k_c}(i, j)} } $$ (8)

    式中:kc表示第c个通道;hc表示经过压缩后输出向量h的第c个元素。

    激励操作分为激励Fex(·)和校准Fscale(·)两个过程,分别见式(9)和式(10):

    $$ s = {F_{{\rm{ex}}}}(h, w) = \sigma (g(z, w)) = \sigma ({w_2}\delta ({w_1}z)) $$ (9)

    式中:σ是sigmoid激活函数;w1为$\frac{c}{r} \times \vec C$的实数矩阵,表示通道的缩减,r为缩减因子;δ是ReLU激活函数,w2为$\vec C \times \frac{c}{r}$的实数矩阵,表示通道的恢复。

    $$ {\tilde h_c} = {F_{{\rm{scale}}}}({h_c}, {s_c}) = {s_c}.{h_c} $$ (10)

    式中:sc表示激活向量s的第c个元素;${\tilde h_c}$表示校准后的对应元素。

    本文基于改进的Faster R-CNN方法,对平台的环境搭建要求较高,具体配置见表 1。操作系统为开源Linux,数据库为MySQL;硬件配置较高,CPU采用Intel高端系列,内存和硬盘容量均较大,保证大量数据的高效运算。框架采用2018年初公开的目标检测平台Detectron,包含最具代表性的目标检测、图像分割、关键点检测算法。

    表  1  软硬件配置
    Table  1.  Hardware and software configuration
    Name Model
    Operating system Ubuntu 16.04.1
    Database mysql 5.5.20
    CPU Intel Xeon Silver 4114T 12C
    GPU NVIDIA GTX1080Ti
    Memory 32 G
    Hard disk 1 T
    Frame Detectron
    下载: 导出CSV 
    | 显示表格

    图像数据来源于多条输电线路无人机拍摄的大量绝缘子照片。在神经网络的训练过程中,对正负样本的判定见图 2,主要基于锚框映射图与真实目标框的交并比(Intersection over Union,IoU)来进行计算分类。首先对RPN形成的锚框进行排序筛选形成锚框序列,接着利用边框回归参数向量修正锚框的位置形成候选区域集合,然后计算所有感兴趣区域(Region of Interest,RoI)与真实目标框的IoU,求最大值,并判断其是否大于0.5,若满足,则为正样本,否则为负样本。

    图  2  正负样本判定
    Figure  2.  Positive and negative sample decision

    完成正负样本的判定后,为了使样本的采样尽量均衡,保证双方的训练集和验证集数量一致,同时采用迁移学习的方法,经过相关修正与补偿,扩充样本总量至2375,样本信息配置见表 2

    表  2  样本配置信息
    Table  2.  Information of sample configuration
    sample type training set verification set test set total
    positive 500 250 750 1500
    negative 500 250 125 875
    total 1000 500 875 2375
    下载: 导出CSV 
    | 显示表格

    普通的CNN方法,原始图像经过卷积层和池化层后,全链接层输出结果,本文方法的结构如图 3所示,引入压缩激励的过程,压缩特征图的空间信息,并通过激励操作学习通道间的依赖关系,可自适应分配每个通道的权重值,提取有利于任务的重要特征通道,最终能进一步增强网络模型的特征提取能力,采用SE-DenseNet-169框架的Faster R-CNN模型。

    图  3  改进的Faster R-CNN结构
    Figure  3.  Structure of improved Faster R-CNN

    改进模型主要完成绝缘子异常状态的精准识别,首先对红外原始图像进行相关修正与补偿实现样本扩充,然后采用本文方法进行训练,收敛后,获得最终的改进Faster R-CNN模型。

    CNN学习中,精确度的衡量一般会采用准确率(Precision)和召回率(Recall),其计算过程分别见式(11)和式(12):

    $$ {P_{{\rm{re}}}} = \frac{{{\rm{TP}}}}{{{\rm{TP}} + {\rm{FP}}}} $$ (11)
    $$ {P_{{\rm{ca}}}} = \frac{{{\rm{TP}}}}{{{\rm{TP + FN}}}} $$ (12)

    式中:TP表示是实际值和预测值均是异常绝缘子的个数;FP表示预测值是异常绝缘子,实际值却不是的个数;FN表示是实际值是异常绝缘子,预测值却不是的个数。

    为进一步衡量改进模型的优劣,这里采用平均检测精度(mean Average Precision,mAP),其中AP等价于召回率和准确率形成曲线与横轴包围的几何图形的面积,对所有类别的AP求平均值即可得到mAP。

    基于样本数据,开展BP、Faster R-CNN以及本文方法的精确度和效率对比研究,不同方法的实验结果统计见表 3。Faster R-CNN和本文方法在Precision方面均明显优于BP方法,本文方法的Recall最高,mAP也最高,相对于BP提高了近10%,这说明经过改进的Faster R-CNN对于小目标的特征提取具有明显的优势。本文方法通过压缩激励结果,减少了数据量的计算,所以相对于其他方法,有更高的效率。

    表  3  不同方法的实验结果统计
    Table  3.  Statistics of experimental results by different methods
    Name Precision Recall mAP Time/s
    BP 93.5% 90.4% 80.3% 2.3
    Faster R-CNN 98.7% 95.3% 88.7% 1.2
    BFEM 99.2% 97.6% 90.2% 0.9
    下载: 导出CSV 
    | 显示表格

    绘制其准确率-召回率关系曲线,如图 4所示,可更加形象直观地反映出本文方法对绝缘子异常特征的提取优势,因为另外两种方法的曲线均被完整的覆盖,说明本文方法改进效果明显。

    图  4  准确率-召回率关系曲线
    Figure  4.  Relation curves of precision and recall

    常见绝缘子排列有单Ⅰ型、双Ⅰ型以及Ⅴ型。本文开展这3类绝缘子的红外图像研究,比较不同排列方式的诊断准确率,如图 5所示。根据电力标准DL/T 664-2008[19],图(b)和图(c)绝缘子端部明显发热,属于异常情况。

    图  5  不同类型绝缘子的红外图像
    Figure  5.  Infrared image of different types of insulators

    不同类型绝缘子的异常诊断准确率见表 4,准确率均较高,均在90%以上;Ⅰ型和Ⅴ型绝缘子的准确率明显优于双Ⅰ型绝缘子,这是因为双Ⅰ型绝缘子会出现两排绝缘子重叠的情况,对红外图像的研究造成一定的影响,为此无人机对于该种类型绝缘子的线路需开展多种角度的拍摄。

    表  4  绝缘子异常诊断的准确率
    Table  4.  Accuracy of insulator anomaly diagnosis
    Insulator type Abnormal total Detected number Accuracy
    Single Ⅰ 62 61 98.4%
    Double Ⅰ 47 44 93.6%
    31 31 100.0%
    下载: 导出CSV 
    | 显示表格

    本文提出一种改进的Faster R-CNN方法,引入激励压缩环节,搭建训练模型,完成绝缘子红外图像的异常诊断,并成功应用于电力现场运维。本文方法可高效并精准地识别出绝缘子的异常缺陷,mAP达到90.2%。研究结果可为输电线路绝缘子缺陷识别研究提供一定的参考。

  • 图  1   本文红外图像降噪算法框图

    Figure  1.   Infrared image denoising algorithm block diagram

    图  2   3×3滑动窗口

    Figure  2.   3×3 sliding window

    图  3   4个2×2滑动窗口之一

    Figure  3.   One of four 2×2 sliding windows

    图  4   引导滤波分层红外图像

    Figure  4.   Guided filtering layered infrared image

    图  5   粗糙集多维分层处理细节层红外图像

    Figure  5.   Multi dimensional hierarchical processing of detail layer infrared image based on rough set

    图  6   本文算法与对比红外图像

    Figure  6.   This algorithm is compared with infrared image

    图  7   不同算法效果条纹噪声抑制对比

    Figure  7.   Comparison of different algorithms for fringe noise suppression

    表  1   不同算法降噪效果客观评价指标

    Table  1   Objective evaluation index of noise reduction effect of different algorithms

    Algorithm Peak Signal To Noise Ratio(PSNR) Entropy
    Guided filtering 54.5211 6.1239
    Bilateral filtering 55.3598 6.1274
    Least square filtering 57.7474 6.3115
    The algorithm in this paper 58.7371 6.4126
    下载: 导出CSV

    表  2   不同算法运行时间对比

    Table  2   Running time comparison of different algorithms

    Algorithm Time complexity Running time/s
    Guided filtering O(N) 2.744
    Bilateral filtering O(σ2) 5.273
    Least square filtering O(mN) 4.397
    The algorithm in this paper O(N) 3.174
    下载: 导出CSV
  • [1] 王洋, 潘志斌.红外图像降噪与增强技术综述[J]. 无线电工程, 2016, 46(10): 1-7, 28. DOI: 10.3969/j.issn.1003-3106.2016.10.01

    WANG Yang, PAN Zhibin. Review of De-noise and Enhancement Technology for Infrared Image[J]. Radio Engineering, 2016, 46(10): 1-7, 28. DOI: 10.3969/j.issn.1003-3106.2016.10.01

    [2]

    ZHANG Qiang, PAN Weijun, ZHU Xinping, et al. Enhancement Method for Infrared Dim-Small Target Images Based on Rough Set[C]//2017 4th International Conference on Information Science and Control Engineering (ICISCE). IEEE Computer Society, 2017: 301-306

    [3] 惠建江, 刘朝晖, 刘文.红外图像的噪声分析和弱小目标的增强[J]. 红外技术, 2005, 27(2): 135-138. DOI: 10.3969/j.issn.1001-8891.2005.02.009

    HUI Jianjiang, LIU Chaohui, LIU Wen. Noise analysis of infrared image and Muti-dim-small Targets Enhancement.[J]. Infrared Technology, 2005, 27(2): 135-138. DOI: 10.3969/j.issn.1001-8891.2005.02.009

    [4]

    Phophalia A, Mitra S K, Rajwade A K. Medical image denoising from similar patches derived by Rough Set[C]//Image Information Processing (ICⅡP), 2013: 586-591

    [5] 葛朋, 杨波, 韩庆林, 等.一种基于引导滤波图像分层的红外图像细节增强算法[J]. 红外技术, 2018, 40(12): 1161-1169. http://hwjs.nvir.cn/article/id/hwjs201812008

    GE Peng, YANG Bo, HAN Qinglin, et al. Infrared Image Detail Enhancement Algorithm Based on Hierarchical Processing by Guided Image Filter[J]. Infrared Technology, 2018, 40(12): 1161-1169. http://hwjs.nvir.cn/article/id/hwjs201812008

    [6]

    Pawlak Z. Rough sets[J]. International Journal of Computer and Information Sciences, 1982, 11(5): 341-356. DOI: 10.1007/BF01001956

    [7] 常蓬勃.粗糙集方法在红外图像增强中的应用[D].西安: 西安电子科技大学, 2010.

    CHANG Pengbo. The Application of Rough Set Method in Infrared Image Enhancement[D]. Xi'an: Xidian University, 2010.

    [8] 张瑞兰.基于粗糙集理论的水下红外图像增强[J]. 海洋技术, 2010, 29(2): 63-65. DOI: 10.3969/j.issn.1003-2029.2010.02.016

    ZHANG Ruilan. Underwater Infrared Image Enhancement Based on Rough Sets[J]. Ocean Technology, 2010, 29(2): 63-65. DOI: 10.3969/j.issn.1003-2029.2010.02.016

    [9] 焦圣喜, 魏宏建.一种基于粗集与小波的声纳图像降噪方法[J]. 科学技术与工程, 2013, 13(24): 7082-7086. DOI: 10.3969/j.issn.1671-1815.2013.24.022

    JIAO Shengxi, WEI Hongjian. A Denoising Algorithm for Sonar Images Based on Rough Set and Wavelet[J]. Science Technology and Engineering, 2013, 13(24): 7082-7086. DOI: 10.3969/j.issn.1671-1815.2013.24.022

    [10] 李杨, 闫岩.结合直方图均衡和模糊集理论的红外图像增强研究[J].计算机与数字工程, 2019, 47(2): 428-430, 450. DOI: 10.3969/j.issn.1672-9722.2019.02.034

    LI Yang, YAN Lei. Study of Infrared Image Enhancement Based on Histogram Equalization and Fuzzy Set Theory[J]. Computer and Digital Engineering, 2019, 47(2): 428-430, 450. DOI: 10.3969/j.issn.1672-9722.2019.02.034

    [11] 刘杰, 张建勋, 代煜.基于多引导滤波的图像增强算法[J]. 物理学报, 2018, 67(23): 293-302.

    LIU Jie, ZHANG Jianxun, Dai Yu. Image enhancement based on multi-guided filtering[J]. Acta Physica Sinica, 2018, 67(23): 293-302.

    [12] 樊启明.基于滤波分层的红外图像细节增强算法研究[D].武汉: 华中科技大学, 2017.

    FAN Qiming. Research on infrared image detail enhancement algorithm based on image layering by filter[D]. Wuhan: Huazhong University of Science and Technology, 2017.

    [13] 邢占峰, 吕扬生, 张力新, 等.粗糙集理论在超声心动图噪声抑制中的应用[J]. 医疗设备信息, 2003(4): 4-7. DOI: 10.3969/j.issn.1674-1633.2003.04.002

    XING Zhanfeng, LV Yangsheng, ZHANG Lixin, et al. Application of rough sets on echocardiographic images denoising[J]. Information of Medical Equipment, 2003(4): 4-7. DOI: 10.3969/j.issn.1674-1633.2003.04.002

    [14] 周永康, 朱尤攀, 曾邦泽, 等.宽动态红外图像增强算法综述[J]. 激光技术, 2018, 42(5): 718-726.

    ZHOU Yongkang, ZHU Youpan, ZENG Bangze, et al. A Review for High Dynamic Range Infrared Image Enhancement Algorithms[J]. Laser Technology, 2018, 42(5): 718-726.

  • 期刊类型引用(8)

    1. 李明超,闫宽,张聪,胡记伟,欧锴,陈绪兵. 用于激光软钎焊温度测量的高精度红外辐射测温装置. 红外技术. 2025(01): 108-114 . 本站查看
    2. 秦沛强,聂传杰,吝曼卿,卢永雄,张岸勤,何家冰. 磷矿巷道岩爆风险的可视化及特征增强研究. 矿业研究与开发. 2025(02): 123-131 . 百度学术
    3. 李贞,魏勇. 基于BP神经网络的红外测温补偿算法研究. 机械制造与自动化. 2023(01): 170-172+176 . 百度学术
    4. 曾飞,胡文祥,高彦鑫,宋杰杰. 基于激光扫描的输送带横向跑偏检测系统. 制造业自动化. 2023(05): 21-24 . 百度学术
    5. 杨帆,徐军,吴振生,孙明晓,金添. 基于Web端多节点红外热成像传感系统设计. 激光杂志. 2022(02): 154-157 . 百度学术
    6. 何翔. 非接触式检测装置综合实验设计. 电子技术与软件工程. 2022(07): 148-151 . 百度学术
    7. 谢彬棽. 基于双CAN总线的露天矿带式输送机速度自动化控制方法. 煤矿机械. 2022(12): 214-217 . 百度学术
    8. 武存喜. 回转窑焚烧设备退火温度模糊自适应控制技术. 工业加热. 2022(12): 27-31 . 百度学术

    其他类型引用(2)

图(7)  /  表(2)
计量
  • 文章访问数:  808
  • HTML全文浏览量:  297
  • PDF下载量:  141
  • 被引次数: 10
出版历程
  • 收稿日期:  2020-11-02
  • 修回日期:  2020-12-29
  • 刊出日期:  2021-01-19

目录

/

返回文章
返回