多特征融合下的高光谱图像混合卷积分类

熊余; 单德明; 姚玉; 张宇

多特征融合下的高光谱图像混合卷积分类

熊余^{1, 2, 3,},
单德明^{1, 2, 3},
姚玉^{1, 2, 3},
张宇^{1, 2, 3}

1.
重庆邮电大学通信与信息工程学院，重庆 400065
2.
重庆高校市级光通信与网络重点实验室，重庆 400065
3.
泛在感知与互联重庆市重点实验室，重庆 400065

基金项目:

国家自然科学基金资助项目 61401052

国家留学基金委资助项目 201608500030

重庆市教委科学技术研究资助项目 KJ1400418

重庆市教委科学技术研究资助项目 KJ1500445

重庆邮电大学博士启动基金资助项目 A2015-09

详细信息

作者简介:
熊余（1982-），男，研究员，博士，主要研究方向为教育大数据，光网络。E-mail：xiongyu@cqupt.edu.cn

中图分类号: TP391.41
计量
- 文章访问数: 264
- HTML全文浏览量: 56
- PDF下载量: 48
出版历程
- 收稿日期: 2020-11-01
- 修回日期: 2021-01-24
- 刊出日期: 2022-01-19

Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion

XIONG Yu^{1, 2, 3,},
SHAN Deming^{1, 2, 3},
YAO Yu^{1, 2, 3},
ZHANG Yu^{1, 2, 3}

1.
School of Communication and Information Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China
2.
Key Laboratory of Optical Communication and Networks in Chongqing, Chongqing 400065, China
3.
Key Laboratory of Ubiquitous Sensing and Networking in Chongqing, Chongqing 400065, China

摘要

摘要: 针对现有高光谱遥感图像卷积神经网络分类算法空谱特征利用率不足的问题，提出一种多特征融合下基于混合卷积胶囊网络的高光谱图像分类策略。首先，联合使用主成分分析和非负矩阵分解对高光谱数据集进行降维；然后，将降维所得主成分通过超像素分割和余弦聚类生成一个多维特征集；最后，将叠加后的特征集通过二维、三维多尺度混合卷积网络进行空谱特征提取，并使用胶囊网络对其进行分类。通过在不同高光谱数据集下的实验结果表明，在相同20维光谱维度下，所提策略相比于传统分类策略在总体精度、平均精度以及Kappa系数上均有明显提升。
- 图像分类 /
- 高光谱图像 /
- 降维 /
- 超像素 /
- 混合卷积胶囊网络
Abstract: To address the problem of insufficient utilization of spatial-spectrum features in existing convolutional neural network classification algorithms for hyperspectral remote sensing images, we propose a hyperspectral image classification strategy based on a hybrid convolution capsule network under multi-feature fusion. First, a combination of principal component analysis and non-negative matrix decomposition is used to reduce the dimensionality of a hyperspectral dataset. Second, the principal components obtained through dimensionality reduction are used to generate a multidimensional feature set through super-pixel segmentation and cosine clustering. Finally, the superimposed feature set is used to extract spatial-spectrum features through a two-dimensional and three-dimensional multi-scale hybrid convolutional network, and a capsule network is used to classify them. We performed experiments on different hyperspectral datasets, and the results revealed that under the same 20-dimensional spectral setting, the proposed strategy significantly improves the overall accuracy, average accuracy, and Kappa coefficient compared to traditional classification strategies.
- image classification /
- hyperspectral image /
- dimensionality reduction /
- superpixel /
- hybrid convolution capsules network

HTML全文

0. 引言

目标检测一直以来都是计算机视觉领域的研究重点^[1]，也是计算机视觉领域的难点^[2]之一。在工业生产、无人驾驶、视频监控等领域都有广泛应用^[3]。红外图像目标检测系统具有抗干扰性、全天候工作等特点，在电力行业发挥了重要的作用，红外图像检测质量将直接影响电网系统正常工作的有效作用距离、监控设备及人员的配置，在红外图像预警系统中发挥着至关重要的作用。

在设备采集的过程中，红外图像分辨率受环境因素（大气吸收和散射）的影响，不能还原真实分辨率，对比度表现效果不足，不能完全反映待检测目标的纹理信息^[4]。通过传统机器学习方法不能精准分类识别户外一次设备^[5]缺陷，同时受到其他环境因素及非一次运行设备发热点影响，易造成误判断。

传统的目标检测方法提出使用一些特征描述来检测目标^[6]，取得了一些效果但是检测精度太低，在真实变电站场景下不具备广泛适用性，不能满足实践需求。

在没有结合深度学习以前，传统的目标检测方法主要有两大类：目标实例检测和传统的目标类别检测^[7]。2014年以来，主要有两类目标检测方法：one-stage类别的目标检测方法和two-stage类别的目标检测方法。目前常用的典型one-stage网络有（You Only Look Once，YOLO）^[8]、YOLO9000^[9]、YOLO v3^[9]结合YOLO和（Regions with Convolutional Neural Networks，RCNN）模型特点的（Single Shot MultiBox Detector，SSD）^[10]系列。常用的典型two-stage网络有RCNN^[11]系列。不管two-stage方法还是one-stage方法都各有优劣。受限于模型的架构大小和检测标准要求，这两类方法在实际场景中的应用达不到预期的效果。

2019年4月，中科院联合牛津大学、华为诺亚方舟实验室在已有基础上提出了新的检测方法CenterNet^[12]。该方法提供了一种新的思路，将物体检测的问题转换为中心关键点的检测，在目标不完整的前提下就能获得感知物体内部信息的能力，模型结构简单直接，对计算能力的要求较小，在数据集（Common Objects in Context，COCO）上，检测准确率达到47%，领先以往one-stage算法的幅度至少达4.9%，是目标检测现阶段算法中性能最好的方法。

目前应用于变电站设备检测的CenterNet模型研究还处于初级阶段。因此，本文在CenterNet模型的基础上，研究变电站红外图像的目标检测技术，针对基于红外图像的目标检测算法检测精度低的问题，给出基于改进高斯卷积核的变电站设备红外图像检测方法，该目标检测方法模型网络结构精简，模型计算量较小，从而实现红外图像中变电站设备中心点位及目标分类，提高一次设备和关键点位^[13]的识别定位的精准度。通过收集现场变电站设备红外热图像数据样本，训练及验证算法模型，最终实现红外图像变电设备目标检测。

1. 变电站设备红外数据集

通过巡检机器人搭配红外热成像仪器对变电站设备进行红外图像采集，对得到的红外图像通过（Open Source Computer Vision Library，OpenCV）技术进行数据预处理，包括翻转变换、随机修剪、旋转变换、仿射变换、尺度变换等操作。为后续送入无锚点深度学习模型训练做充足准备。

训练使用的变电站红外数据集一共有1570张图像，分为10类目标，图像分辨率640×480。如表 1所示。

表 1 红外图像数据集

Table 1. Infrared image data set

Classname	Label name	Picture numbers
Arrester	Arrester	123
Breaker	Breaker	166
Current transformer	Current transformer	137
Disconnector	Disconnector	73
Electricreactor	Electricreactor	150
Voltage transformer	Voltage transformer	303
Aerial conductor	Aerial conductor	86
Condenser	Condenser	236
Main transformer	Main transformer	224
Tubular busbar	Tubular busbar	72

下载: 导出CSV

| 显示表格

在图 1中可以看到，变电站设备红外图像数据集具有以下特点：目标部分信息丢失，看不到目标整体轮廓；图像失焦，几乎没有较大像素值之间的变化，对比度较差，温度区间界限不明显；红外图像中设备被探测设备实时显示数据遮挡；红外图像中设备类型多且复杂^[15]。对于以上特点，用现有的目标检测算法对红外图像中的设备识别有较大难度。

图 1 训练数据集部分样本

Figure 1. Somesamples of the training data set

下载: 全尺寸图片幻灯片

2. 实践依据

2.1 无锚点目标检测方法介绍

基于无锚点方法的CenterNet网络目标检测流程如图 2所示。

图 2 目标检测流程图

Figure 2. Flow chart of target detection

下载: 全尺寸图片幻灯片

得到一些预测参数：预测中心点的heatmap以及基于中心点(x, y)的预测框宽w和高h。整个模型除了识别属性类别以外，只对x, y, w, h进行回归，即中心点(x, y)以及(w, h)。

通过主网络得到图像的特征图，再通过高斯核函数^[16]将关键点分布到特征图上。根据特征图上的值筛选出100个大于或者等于周围8个相邻点值的点作为初步预测的中心点；使用3×3的MaxPooling取100个中心点。

通过网络预测出中心关键点的偏移量（i表示第i个目标）：

$$ \hat O{\rm{ = }}\left( {\delta {{\hat x}_i},\delta {{\hat y}_i}} \right) $$

(1)

和当前点对应目标的长宽：

$$ \hat S = \left( {{{\hat w}_i},{{\hat h}_i}} \right) $$

(2)

得到预测的bounding box的坐标值（标定框）：

$$ \left[ {\left( {{{\hat x}_i} + \delta {{\hat x}_i} - \frac{{{{\hat w}_i}}}{2},{{\hat x}_i} + \delta {{\hat x}_i} - \frac{{{{\hat h}_i}}}{2}} \right),\left( {{{\hat y}_i} + \delta {{\hat y}_i} + \frac{{{{\hat w}_i}}}{2},{{\hat y}_i} + \delta {{\hat y}_i} + \frac{{{{\hat h}_i}}}{2}} \right)} \right] $$

(3)

CenterNet将图像像素点和中心点结合使用。预测每一个像素点是否为物体中心，如果是的话，针对中心点预测物体边界。预测框的选择标准是，首先尽可能选择与标签图（Ground Truth，GT）有高交并比的预测框，以及满足GT的中心区域与预测框的中心区域重合，若以上条件都满足则选择该预测框，如图 3所示。

图 3 通过中心点预测候选框

Figure 3. The candidate box is predicted by the center point

下载: 全尺寸图片幻灯片

2.2 热力图生成

输入红外图像I表示如下：

$$ I \in R^{W \times H \times 3} $$

(4)

式中：W和H分别是红外图像的宽和高，目标输出则是生成关键点的热力图（key point heatmap）^[17]：

$$ \hat Y \in {\left[ {0,1} \right]^{\frac{W}{R} \times \frac{H}{R} \times C}} $$

(5)

式中：R是变换尺度，对应原图的步长；C是关键点类型数目（输出特征通道数、类别数），本次实验红外目标共10类，因此C＝10；变换尺度R＝4，且当${\hat Y_{x,y,c}} \approx 1$时表示在当前坐标(x, y)中检测到了这种类别的物体，存在检测的红外目标。

${\hat Y_{x,y,c}} \approx 0$表示当前坐标中不存在该类别的红外目标，即背景。

2.3 关键点分布到特征图

对于每个标签图中类别数C，关键点p的计算方式：

$$ p = \left( {\frac{{{x_1}{\rm{ + }}{x_{\rm{2}}}}}{{\rm{2}}}\frac{{{y_1}{\rm{ + }}{y_{\rm{2}}}}}{{\rm{2}}}} \right) $$

(6)

计算下采样后的坐标$\tilde p$：

$$ \tilde p = \left[ {\frac{p}{R}} \right] $$

(7)

式中：R是下采样因子，R＝4，最终计算出来的中心点是对应低分辨率的中心点。通过高斯核Y_xyc计算将关键点分布到特征图上，如下所示：

$$ {Y_{xyc}} = \exp \left( { - \frac{{{{\left( {x - {{\tilde p}_x}} \right)}^2} + {{\left( {y - {{\tilde p}_y}} \right)}^2}}}{{2{\sigma _p}^2}}} \right) $$

(8)

2.4 无锚点算法损失函数

计算损失函数，总的损失函数公式如下：

$$ {L_{\det }} = {L_{\rm{k}}} + {\lambda _{{\rm{size}}}}{L_{{\rm{size}}}} + {\lambda _{{\rm{off}}}}{L_{{\rm{off}}}} $$

(9)

式中：L_k表示中心点损失函数；L_size表示目标大小的损失函数；L_off表示目标中心点偏置损失函数。λ_size和λ_off为权重系数，λ_size＝0.1，λ_off＝1。

3. 改进高斯核函数

实验希望GT框和候选框左上角和右下角存在一个可控的误差范围，为了计算该范围，我们引入高斯核函数。设置热力图GT的时候，我们不能仅仅只在top-left/bottom-right的位置标签，如图 4所示。

图 4 多个满足条件的候选框

Figure 4. Several candidate boxes that satisfy the criteria

下载: 全尺寸图片幻灯片

其中实线框为GT框，虚线框其实同样可以很好地包围目标。所以检测中只要预测的范围在top-left/bottom-right点的某一个半径r内，并且其与GTbox的交并比（Intersection over Union，IOU）大于阈值0.7，不直接将这些点的标签置为0，采用一种改进的二维高斯核，在原高斯散射核的热力图计算上加以改进。正常情况下，热力图在实际检测中是椭圆，调整半径计算方法。有3种情况，如图 5所示。

图 5 预测框与GT box三种不同位置关系图

Figure 5. Three different position relation diagrams of prediction box and GT box

下载: 全尺寸图片幻灯片

首先确定高斯核半径r，以上3种情况整理为r的方程，overlap为预测框与GTbox的比值，如下所示：

第一种情况：

$$ {\rm{overlap}} = \frac{{h \times w}}{{\left( {h + 2r} \right)\left( {w + 2r} \right)}} $$

(10)

$$ {r_1} = \frac{{\sqrt {h + w - 4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)} }}{4}{\kern 1pt} {\kern 1pt} + \frac{{h + w}}{4} $$

(11)

第二种情况：

$$ {\rm{overlap}} = \frac{{\left( {h - 2r} \right)\left( {w - 2r} \right)}}{{h \times w}} $$

(12)

$$ {r_2} = \frac{{\sqrt {{{\left( {h + w} \right)}^2} - 4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)} }}{4}{\kern 1pt} + \frac{{h + w}}{4} $$

(13)

第三种情况：

$$ {\rm{overlap}} = \frac{{\left( {h - r} \right)\left( {w - r} \right)}}{{2 \times h \times w - \left( {h - r} \right)\left( {w - r} \right)}} $$

(14)

$$ {r_3} = \frac{{\sqrt {{{\left( {h + w} \right)}^2} - \frac{{4\left( {1 - {\rm{overlap}}} \right)\left( {h \times w} \right)}}{{1 + {\rm{overlap}}}}} }}{2}{\kern 1pt} {\kern 1pt} + \frac{{h + w}}{2} $$

(15)

综合3种情况，设这3个中的最小值为高斯半径，即r＝min(r₁, r₂, r₃)。但是实践应用中构造热力图GT的过程中存在这样的情况：

1）待检测目标的高斯半径是相等的（圆形）。

2）bbox计算的坐标范围未覆盖整个热力图。

因为待检测目标的形状往往是不规则的，使用普通的高斯核函数无法完全匹配热力图形状，需要让热力图随着待检测目标长宽的趋势进行变化，然后根据待检测目标尺寸计算一个自适应半径，再全图构造热力图。高斯核半径计算需要注意以下两各方面：

① 对待检测目标，高斯核半径应该随着目标的宽w和高h的趋势变化；

② 计算的坐标范围应该限于目标框以内。

修改前与修改后的区别如图 6所示，左图表示对于不同形状的待检测目标都是一个圆形热力图，不随着目标形状变化而变化，右图表示热力图随着目标形状而发生改变。左图bbox以外存在大于0的热力值，而右图中bbox包含整个热力图。这种差异带来的差别是，左图的热力图构造方式会导致正负样本划分模糊，在计算loss时加权不准确，迷惑卷积网络的自主学习，加重模型的计算量。

图 6 高斯卷积核改进前后的Boundingbox和Heatmap示意图

Figure 6. Bounding box and Heat map before and after the improvement of Gaussian convolution kernel

下载: 全尺寸图片幻灯片

除了中心点外，其他都为负样本。但是负样本损失是有权重的，离中心点越近，负样本损失权重越低，反之越高。那么对于bbox外的点，都是负样本，理论上反映到热力图上，bbox外的值应该为0，由此可见改进后的热力图更加合理的。否则采用改进前的热力图计算时，bbox外的样本损失权重大于1，但实际是小于1的值，本来严格的负样本变得有一定的权重偏向于正样本，这与实际不符。

采用改进的高斯卷积核，热力图随着目标的长宽发生改变，热力图在实际检测中是椭圆，平均精确度（Average Precision，AP）值越高，检测效果越好。

用3D方式展示高斯核函数，通过调用matplotlib的函数，画出二维高斯核函数的三维网格图，如图 7、图 8所示。

图 7 σ＝1的高斯核函数

Figure 7. The Gaussian kernel at σ＝1

下载: 全尺寸图片幻灯片

图 8 σ＝5的高斯核函数

Figure 8. The Gaussian kernel at σ＝5

下载: 全尺寸图片幻灯片

图中：σ是一个与目标大小(w, h)相关的标准差，每个点$\hat Y$的范围是0~1，其中1代表的是这个目标的中心点，也是我们要预测学习的点。

σ＝1和σ＝5时，如果同一类别的两个高斯分布重合了，我们使用重合部分取最大值的方法来作为高斯的函数值。最中心的位置标签值为1，周围的标签呈${{\mathop{\rm e}\nolimits} ^{ - \frac{{{x^2} + {y^2}}}{{2{\sigma ^2}}}}}$规律递减。

4. 实验结果与分析

实验使用Windows10操作系统，PyTorch深度学习框架，计算机硬件配置如表 2所示。在图片训练之前用Labelimg对采集到的红外图像进行设备标注，然后整理成符合COCO标准图片格式的训练集，完成后使用CenterNet进行多次对照实验训练，每个步骤迭代训练200次，学习速率为0.001。

表 2 计算机硬件配置

Table 2. Computer hardware configuration

Name	Type
CPU	Intel Core I7 9700K
GPU	Nvidia RTX 2080 Ti
hard disk	4T SAS 7.2K*1
memory	512 G

下载: 导出CSV

| 显示表格

实验通过基于改进的高斯卷积核目标检测系统，完成了对变电站红外图像的训练和测试，通过训练得到的模型，在测试集上进行预测。分析常用的目标检测评价指标，如平均精度均值（Mean Average Precision，mAP）、交并比IOU和Loss值，对模型进行评价。

计算目标检测算法的结果参照两个指标^[18]：

1）能否正确地预测框物体的类别。

2）预测的框和人工标注框的重合程度。

平均精度均值，即先计算每个类别的精度均值，再各自取出每一类的精度均值，然后计算所有类别的精度均值的平均值，结果是对检测结果的整体测评^[19]。交并比用来判断预测的物体框和真实框的重合程度。设置交并比IOU＝0.5的阈值评价最终结果性能，模型根据该IOU进行计算，大于该值，就找到了符合条件的检测结果，该结果可以作为计算平均精度均值的评价指标。

在DLA-34、Res-101、Res-18三个基础网络上做了高斯卷积核改进前后的对比实验，结果如下所示：

由表 3测试结果可知，DLA-34、ResNet-101、ResNet-18的mAP值分别提升了2.9%、9.4%、25.7%，平均提升mAP值12.7%。通过改进高斯卷积，模型的训练准确度总体有所上升，其中ResNet -18模型提升的最为明显。通过实验证明，改进高斯卷积核后的模型，目标检测精度方面表现优于原Centenet模型。

表 3 红外图像数据集测试结果

Table 3. Test results of infrared image data set

bn	Model	mAP	Epoch	hm_loss	wh_loss	off_loss	Loss
DLA-34	before	0.685	200	1.2178887	3.385998	0.229195	1.646682
DLA-34	after	0.705	200	1.1233817	2.775918	0.212195	1.415212
Res-101	before	0.661	200	0.396270	3.179799	0.244151	1.138400
Res-101	after	0.723	200	0.521400	1.897403	0.232067	1.043208
Res-18	before	0.463	200	0.451421	2.713203	0.262212	0.994953
Res-18	after	0.582	200	0.813421	2.113203	0.256721	0.87198

下载: 导出CSV

| 显示表格

由表 3可知，应用改进后的高斯卷积核后，ResNet-101基础网络的mAP值最大，因此将其作为改进后CenterNet模型的基础网络。本次实验测试是在真实场景下进行的，使用了387张变电站红外图片，结果如表 4所示。

表 4 针对变电站真实条件下的性能试验记录表

Table 4. Performance test record for substation

Type	Picture numbers	Target numbers	Correct detection number	Average accuracy	Miss raio	Fallout ratio	Total time
Aerialconductor	12	16	12	0.750	0.250	0	1.080
Arrester	38	62	54	0.871	0.129	0	3.040
Breaker	45	125	114	0.912	0.024	0.064	4.562
Condenser	83	83	71	0.855	0.133	0.012	8.088
Currenttransformer	33	91	83	0.912	0.030	0.058	2.699
Disconnector	16	16	13	0.813	0.187	0	1.746
Electricreactor	34	65	56	0.862	0.138	0	2.919
Maintransformer	42	42	36	0.857	0.143	0	3.606
Tubular busbar	8	15	12	0.800	0.200	0	0.874
Voltagetransformer	76	146	133	0.911	0.048	0.041	6.519

下载: 导出CSV

| 显示表格

由表 4可知，断路器、电流互感器、电压互感器这3类的平均准确度（被正确预测的正样本）均达到了90%以上。将所有的平均准确率相加除以类别数，得到所有类别的平均准确度达到85.4%，能够满足变电站红外图像目标检测高精度的要求，有广泛的应用前景。

检测图像的部分检测结果如图 9所示。

图 9 部分检测结果图

Figure 9. Some detection result graph

下载: 全尺寸图片幻灯片

结果表明，通过该方法可以有效排除红外图片中的多种干扰因素，自动定位并识别出变电站设备类型，提高了变电站设备的识别定位精度。

5. 结语

红外图像目标检测系统在电网领域具有抗干扰性、全天候工作等特点，在电力行业发挥了重要的作用，红外图像检测质量将直接影响电网系统正常工作的有效作用距离及监控设备和人员的配置，在红外图像预警系统中发挥着至关重要的作用。但在变电站设备红外目标检测实际检测过程中面临目标部分信息丢失、图像失焦、图像被遮挡、设备类型多等多种因素干扰，给红外图像变电站设备检测造成了一定的困难和挑战。

本文给出了基于改进高斯卷积核的变电站设备红外图像检测方法。实验结果表明，该方法可以从较为复杂的红外图像中以较高的准确率将红外图像中的变电站设备识别定位出来，具备较好的检测效果，为变电站设备红外检测提供了更加精准高效的检测思路。

图 1 Pavia University数据集PCA降维成分方差比例分布图

Figure 1. The distribution of variance ratio of PCA dimension reduction components in Pavia University dataset

下载: 全尺寸图片幻灯片

图 2 Pavia University降维图

Figure 2. Pavia University dimensionality reduction image

下载: 全尺寸图片幻灯片

图 3 胶囊网络神经元解析图

Figure 3. Analytic diagram of capsule network neurons

下载: 全尺寸图片幻灯片

图 4 HCCN分类示意图

Figure 4. Schematic diagram of HCCN classification

下载: 全尺寸图片幻灯片

图 5 MFF-HCCN算法结构图

Figure 5. MFF-HCCN algorithm structure diagram

下载: 全尺寸图片幻灯片

图 6 Indian Pines伪彩色图及其标记图

Figure 6. Pseudo-color map of Indian Pines and its marker map

下载: 全尺寸图片幻灯片

图 7 各算法在Indian Pines数据集10%训练样本下分类图像

Figure 7. Each algorithm classifies images under 10% of the training samples in the Indian Pines dataset

下载: 全尺寸图片幻灯片

图 8 Pavia University伪彩色图及其标记图

Figure 8. Pseudo-color map of Pavia University and its marker map

下载: 全尺寸图片幻灯片

图 9 各算法在Pavia University数据集2%训练样本下分类图像

Figure 9. Each algorithm classifies images under 2% of the training samples in the Pavia University dataset

下载: 全尺寸图片幻灯片

图 10 WHU-Hi-Longkou伪彩色图及其标记图

Figure 10. Pseudo-color map of WHU-Hi-Longkou and its marker map

下载: 全尺寸图片幻灯片

图 11 各算法在WHU-Hi-Longkou数据集0.5%训练样本下分类图像

Figure 11. Each algorithm classifies images under 0.5% of the training samples in the WHU-Hi-Longkou dataset

下载: 全尺寸图片幻灯片

图 12 不同训练样本下的总体分类精度OA曲线图

Figure 12. OA curves of overall classification accuracy under different training samples

下载: 全尺寸图片幻灯片

表 1 Pavia University数据集卷积分类各层的参数

Table 1 Parameters of each layer of convolutional classification of Pavia University dataset

Network layer (type)	Convolution kernel	Stride	Parameter	Output
Input layer Conv3D layer1 Conv3D layer2 Conv3D layer3 Conv3D layer4 Reshape1 Conv2D layer1 Reshape2 Conv2Dlayer2 Reshape3 Conv2Dlayer3 Reshape Concatenate Capsule Output layer	(3, 2, 3, 16) (2, 3, 3, 16) (2, 1, 3, 64) (1, 2, 7, 64) (1, 1, 64) (2, 2, 64) (3, 3, 64)	(1, 1, 1) (1, 1, 1) (1, 1, 1) (1, 1, 1) (1, 1) (1, 1) (1, 1)	0 304 4624 6208 57408 0 32832 0 131136 0 294976 0 0 9216	(11, 11, 20) (9, 10, 18) (8, 8, 16) (7, 8, 14) (7, 7, 8) (7, 7) (7, 7) (49, 64) (6, 6) (36, 64) (5, 5) (25, 64) (110, 64) (9, 16) 9

下载: 导出CSV

表 2 Indian Pines数据集的地物类别和样本数

Table 2 Land cover classes and numbers of samples in Indian Pines dataset

No.	Class name	Numbers of samples
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16	Alfalfa Corn-notill Corn-min Corn Grass-pasture Grass-trees Grass-pasture-mowed Hay-windrowed Oats Soybean-notill Soybean-mintill Soybean-clean Wheat Woods Buildings-grass-trees-crives Stone-steel-towers	46 1428 830 237 483 730 28 478 20 972 2455 593 205 1265 386 93
	Total	10249

下载: 导出CSV

表 3 Pavia University数据集的地物类别和样本数

Table 3 Land cover classes and numbers of samples in Pavia University dataset

No.	Class name	Numbers of samples
1 2 3 4 5 6 7 8 9	Asphalt Meadows Gravel Trees Painted metal sheets Bare soil Bitumen Self-blocking bricks Shadows	6631 18649 2099 3064 1345 5029 1330 3682 947
	Total	42776

下载: 导出CSV

表 4 WHU-Hi-Longkou数据集的地物类别和样本数

Table 4 Land cover classes and numbers of samples in WHU- Hi-Longkou dataset

No.	Class name	Numbers of samples
1 2 3 4 5 6 7 8 9	Corn Cotton Sesame Broad-leaf soybean Narrow-leaf soybean Rice Water Roads and houses Mixed weed	34511 8374 3031 63212 4151 11854 67056 7124 5229
	Total	204542

下载: 导出CSV

表 5 各算法在Indian Pines数据集10%训练样本下的分类结果比较

Table 5 Comparison of the classification results of each algorithm under 10% training samples of the Indian Pines dataset

	SVM	PCA-SVM	MFF-SVM	3DCNN	PCA-3DCNN	MFF-3DCNN	PCA-Hybrid SN	MFF-HCCN
OA(%) AA(%) Kappa×100	80.369 75.027 77.493	65.431 54.874 59.306	89.442 86.284 87.964	91.09 90.443 89.743	86.101 80.647 84.134	92.926 94.204 91.943	96.758 95.871 96.309	99.230 97.795 99.123
Train times/s				590.3	275.2	275.2	248.2	733.4

下载: 导出CSV

表 6 各算法在Pavia University数据集2%训练样本下分类结果比较

Table 6 Comparison of the classification results of each algorithm under 2% training samples of the Pavia University dataset

	SVM	PCA-SVM	MFF-SVM	3DCNN	PCA-3DCNN	MFF-3DCNN	PCA-HybridSN	MFF-HCCN
OA(%) AA(%) Kappa$ \times $100	91.913 88.899 89.204	78.147 64.517 69.417	95.274 93.946 93.699	93.338 90.960 91.137	95.840 94.157 94.475	97.674 96.386 96.904	97.941 97.304 97.267	99.253 98.621 99.010
Train times/s	-	-	-	366.6	256.2	256.2	212.9	574.4

下载: 导出CSV

表 7 各算法在WHU-Hi-Longkou数据集0.5%训练样本下分类结果比较

Table 7 Comparison of the classification results of each algorithm under 0.5% training samples of the WHU-Hi-Longkou dataset

	SVM	PCA-SVM	MFF-SVM	3DCNN	PCA-3DCNN	MFF-3DCNN	PCA-HybridSN	MFF-HCCN
OA(%) AA(%) Kappa$ \times $100	95.036 83.133 93.437	88.933 58.389 85.388	98.032 94.894 97.400	94.233 83.464 92.409	98.336 98.736 95.163	98.759 96.309 98.369	98.716 97.233 98.315	99.024 97.278 98.718
Train times/s	-	-	-	491.2	382.1	382.1	353.9	816.3

下载: 导出CSV

参考文献(17)

[1]	蓝金辉, 邹金霖, 郝彦爽, 等. 高光谱遥感图像混合像元分解研究进展[J]. 遥感学报, 2018, 22(1): 13-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201801002.htm LAN J, ZOU J, HAO Y, et al. Research progress on unmixing of hyperspectral remote sensing imagery[J]. Journal of Remote Sensing, 2018, 22(1): 13-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201801002.htm
[2]	徐金环, 沈煜, 刘鹏飞, 等. 联合核稀疏多元逻辑回归和TV-L1错误剔除的高光谱图像分类算法[J]. 电子学报, 2018, 46(1): 175-184. DOI: 10.3969/j.issn.0372-2112.2018.01.024 XU J, SHEN Y, LIU P, et al. Hyperspectral image classification combining kernel sparse multinomial logistic regression and TV-L1 error rejection[J]. Acta Electronica Sinica, 2018, 46(1): 175-184. DOI: 10.3969/j.issn.0372-2112.2018.01.024
[3]	刘启超, 肖亮, 刘芳, 等. SSC DenseNet: 一种空-谱卷积稠密网络的高光谱图像分类算法[J]. 电子学报, 2020, 48(4): 751-762. DOI: 10.3969/j.issn.0372-2112.2020.04.017 LIU Q, XIAO L, LIU F, et al. SSC DenseNet: a spectral-spatial convolutional dense network for hyperspectral image classification[J]. Acta Electronica Sinica, 2020, 48(4): 751-762. DOI: 10.3969/j.issn.0372-2112.2020.04.017
[4]	LI S, SONG W, FANG L, et al. Deep learning for hyperspectral image classification: an overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709. DOI: 10.1109/TGRS.2019.2907932
[5]	Nanjun H, Paoletti M E, Mario H J, et al. Feature extraction with multiscale covariance maps for hyperspectral image classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 57(2): 755-769.
[6]	GAO H, LIN S, LI C, et al. Application of hyperspectral image classification based on overlap pooling[J]. Neural Processing Letters, 2019, 49(3): 1335-1354. DOI: 10.1007/s11063-018-9876-7
[7]	YU C, ZHAO M, SONG M, et al. Hyperspectral image classification method based on CNN architecture embedding with hashing semantic feature[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(6): 1866-1881. DOI: 10.1109/JSTARS.2019.2911987
[8]	YING L, Haokui Z, QIANG S. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67-88. DOI: 10.3390/rs9010067
[9]	HE M, LI B, CHEN H, et al. Multi-scale 3D deep convolutional neural network for hyperspectral image classification[C]//IEEE International Conference on Image Processing, 2017: 3904-3908.
[10]	Roy S K, Krishna G, Dubey S R, et al. Hybrid SN: exploring 3D-2D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281. DOI: 10.1109/LGRS.2019.2918719
[11]	WEI W, ZHANG J, LEI Z, et al. Deep cube-pair network for hyperspectral imagery classification[J]. Remote Sensing, 2018, 10(5): 783-801. DOI: 10.3390/rs10050783
[12]	Baisantry M, SAO A K. Band selection using segmented PCA and component loadings for hyperspectral image classification[C]//IEEE International Geoscience and Remote Sensing Symposium, 2019: 3812-3815.
[13]	ZHANG W, FU K, SUN X, et al. Joint optimisation convex-negative matrix factorisation for multi-modal image collection summarisation based on images and tags[J]. IET Computer Vision, 2018, 13(2): 125-130.
[14]	Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282. DOI: 10.1109/TPAMI.2012.120
[15]	Achanta R, Süsstrunk S. Superpixels and polygons using simple non-iterative clustering[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4895-4904.
[16]	Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]// Proceedings of the 2017 International Conference on Neural Information Processing Systems, 2017: 3856-3866.
[17]	ZHONG Y, WANG X, XU Y, et al. Mini-UAV-Borne hyperspectral remote sensing: from observation and processing to applications[J]. IEEE Geoscience and Remote Sensing Magazine, 2018, 6(4): 46-62.

施引文献(16)

期刊类型引用(11)

1.	冯青文，王丹辉，张德贤. LSTM-SVM算法下软件潜在溢出漏洞检测仿真. 计算机仿真. 2024(02): 487-491 . 百度学术
2.	姚迎乐，冯乃勤. 广义神经网络在数据流量预测中的应用仿真. 计算机仿真. 2024(04): 382-386 . 百度学术
3.	赵莎莎，袁葆，安亚刚，朱雅魁，苏欣. 智能电网需求侧用户参与度研究模型. 电网与清洁能源. 2024(03): 60-66 . 百度学术
4.	郑奕捷，李翠玉，郑祖芳. RNN循环神经网络的服务机器人交互手势辨识. 机械设计与制造. 2024(04): 282-285 . 百度学术
5.	聂萌瑶，刘鑫. 正则化极限学习下细粒度网络入侵检测仿真. 计算机仿真. 2024(05): 419-423 . 百度学术
6.	涂剑峰，李芳丽. 冒充性攻击下无线传感节点信息数据安全推荐算法. 传感技术学报. 2024(08): 1434-1440 . 百度学术
7.	周德，张霖，何小宇，唐伟晔. 基于光谱的天然气组分定量分析方法研究. 自动化与仪表. 2023(06): 115-119 . 百度学术
8.	翁渊瀚，李南. 基于时间序列模型的文本数据压缩存储算法. 吉林大学学报(工学版). 2023(07): 2109-2114 . 百度学术
9.	王尚文. 基于深度学习的高压输电线双极短路故障检测. 自动化与仪表. 2023(08): 69-73+93 . 百度学术
10.	盛丽华，沈晖. 多源异构数据边缘融合信息化监测仿真. 计算机仿真. 2023(09): 477-481 . 百度学术
11.	薛峪峰，马晓琴，罗红郊，田光欣. 海量冗余数据冲击下网络入侵检测方法. 电子设计工程. 2023(22): 167-170+175 . 百度学术

其他类型引用(5)

资源附件(0)

图(12) / 表(7)

计量

文章访问数: 264
HTML全文浏览量: 56
PDF下载量: 48
被引次数: 16

0. 引言
1. 变电站设备红外数据集
2. 实践依据
2.1 无锚点目标检测方法介绍
2.2 热力图生成
2.3 关键点分布到特征图
2.4 无锚点算法损失函数
3. 改进高斯核函数
4. 实验结果与分析
5. 结语

多特征融合下的高光谱图像混合卷积分类

作者简介: 熊余（1982-），男，研究员，博士，主要研究方向为教育大数据，光网络。E-mail：xiongyu@cqupt.edu.cn

计量

出版历程

Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion

0. 引言

1. 变电站设备红外数据集

2. 实践依据

2.1 无锚点目标检测方法介绍

2.2 热力图生成

2.3 关键点分布到特征图

2.4 无锚点算法损失函数

3. 改进高斯核函数

4. 实验结果与分析

5. 结语

期刊类型引用(11)

其他类型引用(5)

计量

出版历程

目录

0. 引言

1. 变电站设备红外数据集

2. 实践依据

2.1 无锚点目标检测方法介绍

2.2 热力图生成

2.3 关键点分布到特征图

2.4 无锚点算法损失函数

3. 改进高斯核函数

4. 实验结果与分析

5. 结语

作者简介:
熊余（1982-），男，研究员，博士，主要研究方向为教育大数据，光网络。E-mail：xiongyu@cqupt.edu.cn