多特征融合下的高光谱图像混合卷积分类

熊余, 单德明, 姚玉, 张宇

熊余, 单德明, 姚玉, 张宇. 多特征融合下的高光谱图像混合卷积分类[J]. 红外技术, 2022, 44(1): 9-20.
引用本文: 熊余, 单德明, 姚玉, 张宇. 多特征融合下的高光谱图像混合卷积分类[J]. 红外技术, 2022, 44(1): 9-20.
XIONG Yu, SHAN Deming, YAO Yu, ZHANG Yu. Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion[J]. Infrared Technology , 2022, 44(1): 9-20.
Citation: XIONG Yu, SHAN Deming, YAO Yu, ZHANG Yu. Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion[J]. Infrared Technology , 2022, 44(1): 9-20.

多特征融合下的高光谱图像混合卷积分类

基金项目: 

国家自然科学基金资助项目 61401052

国家留学基金委资助项目 201608500030

重庆市教委科学技术研究资助项目 KJ1400418

重庆市教委科学技术研究资助项目 KJ1500445

重庆邮电大学博士启动基金资助项目 A2015-09

详细信息
    作者简介:

    熊余(1982-),男,研究员,博士,主要研究方向为教育大数据,光网络。E-mail:xiongyu@cqupt.edu.cn

  • 中图分类号: TP391.41

Hyperspectral Image Hybrid Convolution Classification under Multi-Feature Fusion

  • 摘要: 针对现有高光谱遥感图像卷积神经网络分类算法空谱特征利用率不足的问题,提出一种多特征融合下基于混合卷积胶囊网络的高光谱图像分类策略。首先,联合使用主成分分析和非负矩阵分解对高光谱数据集进行降维;然后,将降维所得主成分通过超像素分割和余弦聚类生成一个多维特征集;最后,将叠加后的特征集通过二维、三维多尺度混合卷积网络进行空谱特征提取,并使用胶囊网络对其进行分类。通过在不同高光谱数据集下的实验结果表明,在相同20维光谱维度下,所提策略相比于传统分类策略在总体精度、平均精度以及Kappa系数上均有明显提升。
    Abstract: To address the problem of insufficient utilization of spatial-spectrum features in existing convolutional neural network classification algorithms for hyperspectral remote sensing images, we propose a hyperspectral image classification strategy based on a hybrid convolution capsule network under multi-feature fusion. First, a combination of principal component analysis and non-negative matrix decomposition is used to reduce the dimensionality of a hyperspectral dataset. Second, the principal components obtained through dimensionality reduction are used to generate a multidimensional feature set through super-pixel segmentation and cosine clustering. Finally, the superimposed feature set is used to extract spatial-spectrum features through a two-dimensional and three-dimensional multi-scale hybrid convolutional network, and a capsule network is used to classify them. We performed experiments on different hyperspectral datasets, and the results revealed that under the same 20-dimensional spectral setting, the proposed strategy significantly improves the overall accuracy, average accuracy, and Kappa coefficient compared to traditional classification strategies.
  • 太阳X射线-极紫外成像仪是风云三号卫星上的重要遥感仪器之一,它的任务和功能是利用太阳辐射的X射线波段和极紫外光线,用来监测和预报影响空间天气变化的主要太阳活动,成像资料为更准确地预报空间天气提供参考[1-2]。为保证对太阳指向跟踪的精度以及稳定性,设计高精度太阳导行镜指向跟踪系统,系统核心之一是四象限光电探测器[3]。航天任务中,对使用电子元器件的质量等级要求很高,真空特性、温度特性、抗辐照特性均要满足系统要求,需要对所选用的低等级器件进行筛选。通过筛选试验揭示探测器的质量缺陷及其他潜在缺陷,剔除早期失效的器件,确保器件在高可靠性领域的空间应用需求[4-5]

    长期以来国外对于各类光电二极管的性能参数测试方法做大量的研究,如采用动态谱分析仪测量以及CCD读出电路测量等方法[6],例如,美国萨诺夫公司研制了一套CCD/CMOS相机性能参数系统。在国内,四象限探测器测量精度[7-9]的研究较多, 筛选四象限探测器的报道较少,多数筛选工作围绕图像探测器进行。金伟等[10]提出一种有利于空间外差光谱仪光谱复原的探测器筛选方法,通过影响空间外差光谱仪光谱复原的探测器响应参数进行相应试验测试,筛选出性能最优的探测器。朱双双[11]等是将星载红外探测器组件进行温度循环、力学及高温老炼等环境试验考核,分析组件试验前后相对光谱响应率变化,分析组件的环境适应性。多片线性CCD进行高温老练试验,观察数字图像的信噪比获取性能最优的探测器。姚萍萍等[12]通过测量面阵探测器筛选试验前后暗电流,像元响应非一致性,量子效率以及非线性误差等参数变化,选择参数最优探测器作为遥感仪器的装机器件。

    本文中太阳导行镜指向跟踪系统选用进口四象限探测器作为导行镜探测器。为保证四象限探测器能够满足航天的严酷要求,提出四象限探测器筛选方法。筛选方法如下:对同批次四象限探测器依次进行温度贮存、温度循环以及高温老练等环境应力筛选试验,通过四象限探测器试验前后暗电流,响应度以及象限响应度均匀性的变化,依据判据挑选出参数性能最优的探测器,确保器件可靠性和稳定性,有效保证太阳导行镜对日指向跟踪系统的稳定性及可靠性。本文设计的筛选系统及提出的筛选方法能够有效完成四象限探测器筛选,剔除早期不合格的器件。

    为使太阳X-EUV成像仪能够实现对日指向和跟踪,设计高精度太阳导行镜指向跟踪系统。其功能实现过程如下:太阳辐射经过透射望远镜照射到焦面上的四象限探测器上,由四象限探测器采集方位和俯仰两个方向上四个太阳边缘信号,经过电流电压转换电路将电流信号转换为电压信号,再经过增益变换电路将信号放大至合适值,获得相对的太阳边缘信号,经模数转换电路传递至FPGA,FPGA处理得到方位和俯仰上对日指向的偏差信号,利用偏差信号驱动太阳X-EUV成像仪的指向驱动机构实现对日指向的精密跟踪。

    四象限探测器作为太阳导行镜指向跟踪系统的关键部件,必须对其进行环境适应性验证和环境应力筛选试验,以满足严酷环境的要求。为此本文设计一套面向空间应用的四象限探测器筛选系统,系统框图如图 1所示。其内容主要包括:在黑暗的环境下,保持筛选试验前后测试环境温度湿度等条件一致,采用卤钨灯作为光源发射光,利用积分球(Integrating Sphere)将发散光转换成均匀光输出,使用AXUV100G探测器对积分球辐射强度及稳定性进行实时监测,保证测试中光强条件保持一致。试验过程中,将筛选系统放置光学平台(Optical Platform)上,调整筛选系统的工装(Tooling),使待测四象限探测器对应工装的窗口(Window)与积分球的出光口水平对准,保证出射光均匀照射至四象限探测器上。四象限输出信号经过电流电压转换电路及增益变换电路后转变为合适的电压信号,利用美国国家仪器公司的采集设备(NI Acquisition Device)进行数据采集,将数据传输至LabVIEW对应的上位机上进行波形显示及数据存储。通过该筛选系统可完成对四象限探测器关键性能参数测试,如暗电流,响应度及象限响应均匀性等,进而评价四象限探测器的性能。

    图  1  筛选系统的结构框图
    Figure  1.  The diagram of the screening system

    选择同批次5片进口四象限探测器进行筛选,筛选过后选择其中一片性能最优的探测器使用至太阳导行镜指向跟踪系统。该类探测器工作原理如下:器件是利用半导体的“横向效应”原理制作而成。如图 2所示,探测器的四个输出电极X+、X-、Y+、Y-相当于直角坐标系的XY轴。当器件接收的目标信号光斑位置变化时,器件的输出光电流也随着位置变化而线性地变化,为此准确地测出目标的位置。该探测器主要参数见表 1,该探测器具有大光敏面,低暗电流,低噪声,高响应度以及高可靠性等特点,可以广泛应用于位置角度测定,跟踪制导,定位,对准以及自动聚焦等场景。

    图  2  四象限探测器示意图
    Figure  2.  The diagram of the four quadrant detector
    表  1  四象限探测器典型参数
    Table  1.  Typical parameters of the four-quadrant detector
    Parameter Value
    Detector type AXUVPS7
    Effective area 146 mm2
    Responsiveness 0.3 A/W@570 nm
    Equivalent dark current <1 nA@VR=10 mV
    Working temperature in
    atmospheric environment
    -10℃ to 40℃
    下载: 导出CSV 
    | 显示表格

    四象限探测器暗电流数值较小,电路噪声对其测量结果具有较大影响,特对系统电路噪声进行分析。四象限探测器信号处理电路主要包括IV转换电路及增益变换电路,以其中一通道信号处理电路为例,其噪声分析模型如图 3所示。

    图  3  电路噪声分析模型
    Figure  3.  Circuit noise analysis model

    为保证测量四象限探测器暗电流的准确性,对电路的噪声性能进行评估,分析电路每一部分的噪声源贡献[13-14]。由图 2可见,该电路噪声源主要包括电阻的约翰逊噪声、运算放大器AD549的等效输入电压噪声以及等效输入电流噪声,运算放大器OP27的等效输入电压噪声。其中电阻的约翰逊噪声计算方式如公式(1)所示:

    $$ {E_{{\rm{N\_R}}}} = \sqrt {4kTRB} $$ (1)

    式中:EN_R表示热噪声电压,Vrms;k是玻尔兹曼常数,1.38×10-23 J/K);T表示温度,K;R是电阻,Ω;B是噪声带宽,Hz。

    运算放大器等效电压输入噪声计算方式如公式(2)所示:

    $$ {U_{\rm{N}}} = \sqrt {\int_a^b {D_{\rm{U}}^2{\rm{d}}f} } $$ (2)

    式中:UN为等效电压输入噪声,Vrms;DU为电压等效噪声密度,V/Hz;a, b表示噪声带宽。

    运算放大器等效电流输入噪声计算方式如公式(3)所示:

    $$ {I_{\text{N}}} = \sqrt {\int_a^b {D_{\text{I}}^{\text{2}}{\text{d}}f} } $$ (3)

    式中:IN为等效电流输入噪声,Arms;DI为电流等效噪声密度,A/Hz;a, b表示噪声带宽。

    IV转换电路中设计带宽为10 Hz,运算放大器AD549在0.1~10 Hz带宽内等效输入电压噪声UN_U1为6 μVpp,等效输入电流噪声为0.5 fArms,将电流噪声转换为等效电压噪声UN_I为0.05 μVrms,反馈电阻R5选用100 MΩ,利用公式(1)获得其等效噪声4.06 μVrms。四象限探测器在25℃下等效电阻为20 MΩ,利用公式(1)获得其等效噪声为1.81 μVrms,折算至Ⅳ转换电路输出端噪声密度UN_Rd为9.05 μVrms。四象限探测与IV转换电路总输出噪声计算可得EN_1为11.6 μVrms。其中增益变换电路中电阻较小,利用公式(1)转换的约翰逊噪声较小,可忽略。增益变换电路中运算放大器OP27A,等效输入电压噪声密度DN_U2为3.5 nV/Hz,利用公式(3)计算可得其等效输入电压噪声UN_U2为11.01 nVrms。在无增益档位下,IV转换电路与二级放大电路总输出噪声EN_Out为11.60 μVrms,等效为电路前端输入电流噪声0.58 fArms。

    针对暗电流的测量,所测模拟信号过于微小,同时筛选器件较多,输入电源线及输出信号线较多,若处理不当,通常会引起干扰,如长线传输的互感,50 Hz的工频干扰,空间的磁场耦合以及不同接地点间电位差引起的共模干扰等。这些干扰都将为微弱模拟信号测量增加难度,为此本文做出以下处理,以降低干扰,其框图如图 4所示。其中包括:①电源引入的干扰是系统主要干扰之一,为此,所有信号处理电路板电源输入端均加钽电容及贴片陶瓷电容进行去耦;②因输入电源线及输出信号线数量较多,考虑降低信号间相互串扰,将输入电源线与输出信号线分开走线,线长尽可能短,且所有线均采用屏蔽双绞线以降低干扰,这样可有效抑制长线传输的互感以及来自空间耦合产生的差模干扰;③设备金属外壳均进行接地处理,其中包括供电电源、NI采集设备、计算机电脑、信号处理电路板工装以及放置探测器的工装等,并且将工装利用铜皮包裹,进一步降低空间干扰。

    图  4  抗干扰设计框图
    Figure  4.  The diagram of anti-interference design

    试验中探测器数量较多,5片进口四象限探测器共输出20路模拟信号。鉴于对采集通道数目要求较多,选择PXLE-6358模块实现对模拟信号的采集,该采集卡具有高采样速度、高精度、宽采集范围的特点,其指标如下:可实现32路采集,位数16位,采样速率1.25 MS/s,采集电压范围-10~10 V。接线采用的NI SCB-68A是一款屏蔽式I/O接线盒,用于将I/O信号连接至配有68针连接端口的插入式DAQ设备。结合屏蔽式电缆时,SCB-68A可提供坚固且噪音极低的信号终端。最后,匹配LABVIEW提供的NI采集设备的上位机,即可完成对信号的实时监测和数据存储。

    为保证所选用的探测器满足环境条件严酷的航天需求,对同批次的5片四象限探测器进行环境适应性分析。对同批次四象限探测器进行二次深筛和性能优选,观察试验前中后四象限探测器主要性能参数的变化,如暗电流、响应度及象限响应度均匀性等,其中试验内容包括温度贮存、温度循环及高温老炼等温度评估试验,在通过全部测试的四象限探测器中依据合格判据挑选参数指标最优的四象限探测器安装至太阳导行镜指向跟踪系统上。

    对四象限探测器进行环境应力筛选试验,依次进行温度贮存,温度循环,高温老炼等试验。低温贮存试验可考验器件工作在低温的情况下不改变其特性的能力,高温贮存试验则能够加快光电二极管内部物理及化学反应,提前剔除潜在易失效器件;温度循环试验变化的范围和速率能够考察光电探测器内部热胀冷缩程度和频次,增加产品的热应力;高温老炼试验是使产品在规定的高温条件下连续工作,消除器件内部应力,增加器件可靠性。

    整个试验在高低温箱内进行,试验前中后需要对四象限探测器加电进行暗电流测试,为了避免温度变化影响电子学测量精度,将5片四象限探测器安装至带有插座的电路板上,并且利用工装封装,筛选测试系统放置在高低温箱体外,安装5片四象限探测器的电路板通过短屏蔽线缆与信号处理测试系统相连。NI采集设备与信号处理筛选系统通过线缆相连,并将采集的数据传递至电脑上位机端进行数据显示及存储。试验过程中,依据四象限探测器的工作环境温度为-10℃~40℃,分别设定试验低温及高温温度为-7℃及38℃,低温允许误差为±3℃,高温允许误差为±2℃。为保证试验过程中温度的准确性,在放置四象限探测器工装内粘贴铂电阻PT1000,用于监测四象限探测器温度变化。

    光电二极管的暗电流越小,其性能越稳定。为考察四象限探测器的各通道暗电流值的变化,在相同温度及湿度的黑暗环境下,对筛选试验前后各四象限探测器各通道的暗背景电压值进行测试与记录,如图 5所示,将获得暗背景电压值经过电压电流的转换即可获得四象限探测器各通道的暗电流值。

    图  5  筛选试验前后暗电流对比
    Figure  5.  Comparison of dark current before and after screening test

    响应度可以表征探测器将辐射信号转换成为输出信号的能力,为探测器的输出信号与入射到探测器的辐射功率之比。为考察四象限探测器的各通道响应度性能,保证筛选试验前后,加光强度不改变,测试环境不变的情况下,对各四象限探测器进行加光测试。即保证试验前后入射到探测器的辐射功率一致,则可以用探测器的输出信号表征其响应度。试验流程如下:待光源加电工作0.5 h,即光源强度稳定后,打开光源遮光罩,使用待测探测器测试积分球光辐射强度,获得输出信号强度a;关闭光源遮光罩,使用待测探测器测试环境光辐射强度,获得输出信号强度响应度b;将各通道获得的信号强度ab作差,即可获得各通道实际信号响应度。各探测器各通道信号响应度对比如图 6所示。同时对各探测器各通道筛选试验前后信号响应度变化进行计算并记录,即筛选前后信号响应度作差与筛选后信号响应度相除。

    图  6  筛选试验前后信号响应度对比
    Figure  6.  Comparison of signal response intensity before and after screening test

    象限响应均匀性(Quadrant response uniformity)是四象限探测器在太阳导行镜跟踪系统中产生非线性误差的主要原因,其表示四象限探测器的各象限在相同入射光辐射的条件下各象限输出信号的均匀性。若4个象限的输出信号分别为VaVbVcVd,理想情况下,4个象限输出信号应该相等,4个象限间的差别即为象限响应度不一致性(Quadrant Response Inconsistency),任意两个象限ij的响应不一致性di, ji, ja, b, c, d)用公式(4)表示:

    $$ {d_{i, j}} = \frac{{2\left| {{V_i} - {V_j}} \right|}}{{{V_i} + {V_j}}} \times 100\% $$ (4)

    式中:di, j为任意两个象限响应不一致性,%;ViVj为任意两个象限输出信号值,V。

    整个四象限探测器的象限响应不一致性为所有di, j的均方根,如公式(5)所示:

    $$ d = \sqrt {\frac{{d_{a, b}^2 + d_{a, c}^2 + d_{a, d}^2 + d_{b, c}^2 + d_{b, d}^2 + d_{c, d}^2}}{6}} $$ (5)

    式中:d为整个四象限探测器象限响应不一致性,%;da, bda, cda, ddb, cdb, ddc, d为四象限探测器任意两个象限间的响应不一致性,%。

    则四象限探测器象限响应均匀性如公式(6)所示:

    $$ U=1-d $$ (6)

    式中:U为四象限探测器象限响应均匀性,%。

    通过上式计算试验前后各四象限探测器的响应度均匀性变化,如图 7所示。由图 7可见,在保证测试环境不变的情况下,筛选的所有四象限探测器试验前后响应度均匀性均在99%以上,且变化较小。

    图  7  筛选试验前后响应度均匀性对比
    Figure  7.  Comparison of response uniformity before and after screening test

    采用上述筛选系统和测试方法,对5片四象限探测器进行温度贮存、温度循环和高温老炼等温度评估试验,在筛选前后进行四象限探测器性能测试。经过筛选试验前后四象限探测器是否合格的判别准则如下:筛选试验前后四象限探测器各通道响应度及象限响应度均匀性允许变化范围为±5%,即若四象限探测器上述性能参数变化范围超过5%时,则认为四象限探测器失效;筛选试验前后及温度评估试验过程中,若四象限探测器某一通道暗电流绝对值大于x值(x值由太阳导行镜指向跟踪系统决定),则认为四象限探测器暗电流参数不合格。

    以编号4号的四象限探测器为例,其筛选试验前后及温度评估试验中四象限探测器各象限暗电流绝对值最大值如表 2所示,其筛选前后响应度及象限响应度非一致性参数变化如表 3所示。筛选试验前后及温度评估过程中4号四象限探测器X+、X-、Y+、Y-通道的暗电流绝对值最大值为6.08 pA,小于太阳导行镜指向跟踪系统要求的x值;筛选试验前后四象限探测器X+、X-、Y+、Y-通道的响应度变化最大值为0.716%,小于5%;筛选试验前后四象限探测器各通道的象限响应度不一致性分别为0.795%及0.805%,即象限响应度均匀性分别为99.205%及99.195%,象限响应度非一致性筛选前后变化为1.24%,小于5%。经过测试,编号4号的四象限探测器的各项指标皆满足测试要求,说明经过环境试验考核后的四象限探测器具有较好的稳定性和可靠性,满足航天产品应用需求。

    表  2  编号4号探测器各阶段暗电流
    Table  2.  Dark current in each stage of No. 4 detector
    Test background Channel
    X+ X- Y+ Y-
    pre-screening 2.32 5.22 2.96 2.91
    temp-storage 4.21 4.38 3.21 6.08
    temp-cycle 2.12 1.2 1.27 1.37
    burn-in 2.46 1.31 1.49 1.86
    post-screening 2.47 4.84 2.95 2.75
    下载: 导出CSV 
    | 显示表格
    表  3  编号4号探测器响应度等参数变化
    Table  3.  Changes in parameters such as responsivity of No. 4 detector
    NO.4 Test
    background
    Channel Inconsistency/%
    X+ X- Y+ Y-
    Responsiveness/V pre-screening 6.924 6.843 6.852 6.900 0.795
    post-screening 6.974 6.89 6.901 6.948 0.805
    Variation/% pre-post 0.716 0.688 0.708 0.697 1.24
    下载: 导出CSV 
    | 显示表格

    5片四象限探测器经过筛选试验后性能优选结果如表 4所示,该表描述各四象限探测器在筛选前后及温度评估试验中,各通道暗电流测试绝对值最大值,各通道响应度变化的最大值,各通道筛选前后象限响应度非一致性最大值以及前后变化值。对优选四象限探测器的评估标准如下:首先,优选筛选前后象限响应度非一致性小,且试验前后变化小的四象限探测器;其次,保证筛选试验前后响应度变化小;在此基础上,挑选满足暗电流绝对值最大值小于x的四象限探测器,且暗电流绝对值越小越好。通过试验结果与分析,选用试验编号为4号的四象限探测器使用在太阳X-EUV成像仪导行镜指向跟踪系统。

    表  4  四象限探测器优选结果
    Table  4.  Optimization results of four-quadrant detector
    Serial number Max dark
    current/pA
    Max responsiveness changes/% Pre- Inconsistency/% Post-Inconsistency/% Inconsistency changes/%
    1 12.68 3.22 0.815 0.849 4.00
    2 9.18 1.53 0.815 0.786 -3.69
    3 12.64 -4.30 0.872 0.831 -4.93
    4 6.08 0.72 0.795 0.805 1.24
    5 10.85 2.94 0.911 0.898 -1.45
    下载: 导出CSV 
    | 显示表格

    针对航天载荷应用的四象限探测器,设计筛选系统,该装置电路具有高准确度,其电路等效输入电流噪声为0.58 fArms,为避免暗电流测量时外界干扰,提出多种抗干扰设计保证测量准确度;提出筛选方法,合理设定试验条件完成温度贮存,温度循环以及高温老炼等筛选试验;结合筛选前后四象限探测器各象限的暗电流,响应度以及象限响应度均匀性等性能参数变化,提出通过筛选试验的四象限探测器的合格判据及优选四象限探测器的评估标准,挑选性能最优的探测器。结果表明:依据评估标准最终优选的四象限光电探测器各通道暗电流绝对值最大值为6.08 pA,各通道的响应度变化最大值为0.716%,各象限响应度非一致性筛选前后变化最大值为1.24%。该探测器已应用到风云三号系列卫星的有效载荷太阳X-EUV成像仪太阳导行镜指向跟踪系统,已实现高精度指向跟踪,满足航天产品应用需求。

  • 图  1   Pavia University数据集PCA降维成分方差比例分布图

    Figure  1.   The distribution of variance ratio of PCA dimension reduction components in Pavia University dataset

    图  2   Pavia University降维图

    Figure  2.   Pavia University dimensionality reduction image

    图  3   胶囊网络神经元解析图

    Figure  3.   Analytic diagram of capsule network neurons

    图  4   HCCN分类示意图

    Figure  4.   Schematic diagram of HCCN classification

    图  5   MFF-HCCN算法结构图

    Figure  5.   MFF-HCCN algorithm structure diagram

    图  6   Indian Pines伪彩色图及其标记图

    Figure  6.   Pseudo-color map of Indian Pines and its marker map

    图  7   各算法在Indian Pines数据集10%训练样本下分类图像

    Figure  7.   Each algorithm classifies images under 10% of the training samples in the Indian Pines dataset

    图  8   Pavia University伪彩色图及其标记图

    Figure  8.   Pseudo-color map of Pavia University and its marker map

    图  9   各算法在Pavia University数据集2%训练样本下分类图像

    Figure  9.   Each algorithm classifies images under 2% of the training samples in the Pavia University dataset

    图  10   WHU-Hi-Longkou伪彩色图及其标记图

    Figure  10.   Pseudo-color map of WHU-Hi-Longkou and its marker map

    图  11   各算法在WHU-Hi-Longkou数据集0.5%训练样本下分类图像

    Figure  11.   Each algorithm classifies images under 0.5% of the training samples in the WHU-Hi-Longkou dataset

    图  12   不同训练样本下的总体分类精度OA曲线图

    Figure  12.   OA curves of overall classification accuracy under different training samples

    表  1   Pavia University数据集卷积分类各层的参数

    Table  1   Parameters of each layer of convolutional classification of Pavia University dataset

    Network layer (type) Convolution kernel Stride Parameter Output
    Input layer
    Conv3D layer1
    Conv3D layer2
    Conv3D layer3
    Conv3D layer4
    Reshape1
    Conv2D layer1
    Reshape2
    Conv2Dlayer2
    Reshape3
    Conv2Dlayer3
    Reshape
    Concatenate
    Capsule
    Output layer

    (3, 2, 3, 16)
    (2, 3, 3, 16)
    (2, 1, 3, 64)
    (1, 2, 7, 64)
     
    (1, 1, 64)
     
    (2, 2, 64)
     
    (3, 3, 64)
     

     

    (1, 1, 1)
    (1, 1, 1)
    (1, 1, 1)
    (1, 1, 1)
     
    (1, 1)
     
    (1, 1)
     
    (1, 1)
     

     
    0
    304
    4624
    6208
    57408
    0
    32832
    0
    131136
    0
    294976
    0
    0
    9216
     
    (11, 11, 20)
    (9, 10, 18)
    (8, 8, 16)
    (7, 8, 14)
    (7, 7, 8)
    (7, 7)
    (7, 7)
    (49, 64)
    (6, 6)
    (36, 64)
    (5, 5)
    (25, 64)
    (110, 64)
    (9, 16)
    9
    下载: 导出CSV

    表  2   Indian Pines数据集的地物类别和样本数

    Table  2   Land cover classes and numbers of samples in Indian Pines dataset

    No. Class name Numbers of samples
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    Alfalfa
    Corn-notill
    Corn-min
    Corn
    Grass-pasture
    Grass-trees
    Grass-pasture-mowed
    Hay-windrowed
    Oats
    Soybean-notill
    Soybean-mintill
    Soybean-clean
    Wheat
    Woods
    Buildings-grass-trees-crives
    Stone-steel-towers
    46
    1428
    830
    237
    483
    730
    28
    478
    20
    972
    2455
    593
    205
    1265
    386
    93
    Total 10249
    下载: 导出CSV

    表  3   Pavia University数据集的地物类别和样本数

    Table  3   Land cover classes and numbers of samples in Pavia University dataset

    No. Class name Numbers of samples
    1
    2
    3
    4
    5
    6
    7
    8
    9
    Asphalt
    Meadows
    Gravel
    Trees
    Painted metal sheets
    Bare soil
    Bitumen
    Self-blocking bricks
    Shadows
    6631
    18649
    2099
    3064
    1345
    5029
    1330
    3682
    947
    Total 42776
    下载: 导出CSV

    表  4   WHU-Hi-Longkou数据集的地物类别和样本数

    Table  4   Land cover classes and numbers of samples in WHU- Hi-Longkou dataset

    No. Class name Numbers of samples
    1
    2
    3
    4
    5
    6
    7
    8
    9
    Corn
    Cotton
    Sesame
    Broad-leaf soybean
    Narrow-leaf soybean
    Rice
    Water
    Roads and houses
    Mixed weed
    34511
    8374
    3031
    63212
    4151
    11854
    67056
    7124
    5229
    Total 204542
    下载: 导出CSV

    表  5   各算法在Indian Pines数据集10%训练样本下的分类结果比较

    Table  5   Comparison of the classification results of each algorithm under 10% training samples of the Indian Pines dataset

    SVM PCA-SVM MFF-SVM 3DCNN PCA-3DCNN MFF-3DCNN PCA-Hybrid SN MFF-HCCN
    OA(%)
    AA(%)
    Kappa×100
    80.369
    75.027
    77.493
    65.431
    54.874
    59.306
    89.442
    86.284
    87.964
    91.09
    90.443
    89.743
    86.101
    80.647
    84.134
    92.926
    94.204
    91.943
    96.758
    95.871
    96.309
    99.230
    97.795
    99.123
    Train times/s 590.3 275.2 275.2 248.2 733.4
    下载: 导出CSV

    表  6   各算法在Pavia University数据集2%训练样本下分类结果比较

    Table  6   Comparison of the classification results of each algorithm under 2% training samples of the Pavia University dataset

    SVM PCA-SVM MFF-SVM 3DCNN PCA-3DCNN MFF-3DCNN PCA-HybridSN MFF-HCCN
    OA(%)
    AA(%)
    Kappa$ \times $100
    91.913
    88.899
    89.204
    78.147
    64.517
    69.417
    95.274
    93.946
    93.699
    93.338
    90.960
    91.137
    95.840
    94.157
    94.475
    97.674
    96.386
    96.904
    97.941
    97.304
    97.267
    99.253
    98.621
    99.010
    Train times/s - - - 366.6 256.2 256.2 212.9 574.4
    下载: 导出CSV

    表  7   各算法在WHU-Hi-Longkou数据集0.5%训练样本下分类结果比较

    Table  7   Comparison of the classification results of each algorithm under 0.5% training samples of the WHU-Hi-Longkou dataset

    SVM PCA-SVM MFF-SVM 3DCNN PCA-3DCNN MFF-3DCNN PCA-HybridSN MFF-HCCN
    OA(%)
    AA(%)
    Kappa$ \times $100
    95.036
    83.133
    93.437
    88.933
    58.389
    85.388
    98.032
    94.894
    97.400
    94.233
    83.464
    92.409
    98.336
    98.736
    95.163
    98.759
    96.309
    98.369
    98.716
    97.233
    98.315
    99.024
    97.278
    98.718
    Train times/s - - - 491.2 382.1 382.1 353.9 816.3
    下载: 导出CSV
  • [1] 蓝金辉, 邹金霖, 郝彦爽, 等. 高光谱遥感图像混合像元分解研究进展[J]. 遥感学报, 2018, 22(1): 13-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201801002.htm

    LAN J, ZOU J, HAO Y, et al. Research progress on unmixing of hyperspectral remote sensing imagery[J]. Journal of Remote Sensing, 2018, 22(1): 13-27. https://www.cnki.com.cn/Article/CJFDTOTAL-YGXB201801002.htm

    [2] 徐金环, 沈煜, 刘鹏飞, 等. 联合核稀疏多元逻辑回归和TV-L1错误剔除的高光谱图像分类算法[J]. 电子学报, 2018, 46(1): 175-184. DOI: 10.3969/j.issn.0372-2112.2018.01.024

    XU J, SHEN Y, LIU P, et al. Hyperspectral image classification combining kernel sparse multinomial logistic regression and TV-L1 error rejection[J]. Acta Electronica Sinica, 2018, 46(1): 175-184. DOI: 10.3969/j.issn.0372-2112.2018.01.024

    [3] 刘启超, 肖亮, 刘芳, 等. SSC DenseNet: 一种空-谱卷积稠密网络的高光谱图像分类算法[J]. 电子学报, 2020, 48(4): 751-762. DOI: 10.3969/j.issn.0372-2112.2020.04.017

    LIU Q, XIAO L, LIU F, et al. SSC DenseNet: a spectral-spatial convolutional dense network for hyperspectral image classification[J]. Acta Electronica Sinica, 2020, 48(4): 751-762. DOI: 10.3969/j.issn.0372-2112.2020.04.017

    [4]

    LI S, SONG W, FANG L, et al. Deep learning for hyperspectral image classification: an overview[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6690-6709. DOI: 10.1109/TGRS.2019.2907932

    [5]

    Nanjun H, Paoletti M E, Mario H J, et al. Feature extraction with multiscale covariance maps for hyperspectral image classification[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 57(2): 755-769.

    [6]

    GAO H, LIN S, LI C, et al. Application of hyperspectral image classification based on overlap pooling[J]. Neural Processing Letters, 2019, 49(3): 1335-1354. DOI: 10.1007/s11063-018-9876-7

    [7]

    YU C, ZHAO M, SONG M, et al. Hyperspectral image classification method based on CNN architecture embedding with hashing semantic feature[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12(6): 1866-1881. DOI: 10.1109/JSTARS.2019.2911987

    [8]

    YING L, Haokui Z, QIANG S. Spectral-spatial classification of hyperspectral imagery with 3D convolutional neural network[J]. Remote Sensing, 2017, 9(1): 67-88. DOI: 10.3390/rs9010067

    [9]

    HE M, LI B, CHEN H, et al. Multi-scale 3D deep convolutional neural network for hyperspectral image classification[C]//IEEE International Conference on Image Processing, 2017: 3904-3908.

    [10]

    Roy S K, Krishna G, Dubey S R, et al. Hybrid SN: exploring 3D-2D CNN feature hierarchy for hyperspectral image classification[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 17(2): 277-281. DOI: 10.1109/LGRS.2019.2918719

    [11]

    WEI W, ZHANG J, LEI Z, et al. Deep cube-pair network for hyperspectral imagery classification[J]. Remote Sensing, 2018, 10(5): 783-801. DOI: 10.3390/rs10050783

    [12]

    Baisantry M, SAO A K. Band selection using segmented PCA and component loadings for hyperspectral image classification[C]//IEEE International Geoscience and Remote Sensing Symposium, 2019: 3812-3815.

    [13]

    ZHANG W, FU K, SUN X, et al. Joint optimisation convex-negative matrix factorisation for multi-modal image collection summarisation based on images and tags[J]. IET Computer Vision, 2018, 13(2): 125-130.

    [14]

    Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282. DOI: 10.1109/TPAMI.2012.120

    [15]

    Achanta R, Süsstrunk S. Superpixels and polygons using simple non-iterative clustering[C]//IEEE Conference on Computer Vision and Pattern Recognition, 2017: 4895-4904.

    [16]

    Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules[C]// Proceedings of the 2017 International Conference on Neural Information Processing Systems, 2017: 3856-3866.

    [17]

    ZHONG Y, WANG X, XU Y, et al. Mini-UAV-Borne hyperspectral remote sensing: from observation and processing to applications[J]. IEEE Geoscience and Remote Sensing Magazine, 2018, 6(4): 46-62.

图(12)  /  表(7)
计量
  • 文章访问数:  255
  • HTML全文浏览量:  54
  • PDF下载量:  48
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-11-01
  • 修回日期:  2021-01-24
  • 刊出日期:  2022-01-19

目录

/

返回文章
返回
x 关闭 永久关闭

尊敬的专家、作者、读者:

端午节期间因系统维护,《红外技术》网站(hwjs.nvir.cn)将于2024年6月7日20:00-6月10日关闭。关闭期间,您将暂时无法访问《红外技术》网站和登录投审稿系统,给您带来不便敬请谅解!

预计6月11日正常恢复《红外技术》网站及投审稿系统的服务。您如有任何问题,可发送邮件至编辑部邮箱(irtek@china.com)与我们联系。

感谢您对本刊的支持!

《红外技术》编辑部

2024年6月6日