本技术介绍了一种融合图注意力网络(GAT)与卷积神经网络(CNN)的高光谱图像分类方法。该方法首先将高光谱数据集分为训练集、测试集和验证集,接着构建一个包含CNN和GAT的双分支特征提取架构,以实现特征的加权融合,提高分类精度。
背景技术
高光谱图像在可见光和红外波段内具有数百甚至数千个连续波段,能够捕捉物体和地表材质在不同波段的特征光谱信息。相比传统的彩色或单波段图像只能提供有限的颜色或波段信息,高光谱图像能够提供更为丰富和详细的地物光谱特征,使得对地物进行更精确的分析和识别成为可能。因此,高光谱图像已广泛应用于农业作物监测、环境污染检测、城市规划、矿产勘探、气象预测和军事侦察等领域。高光谱图像凭借其丰富的光谱信息和多样化的应用能力,成为现代遥感技术中不可或缺的重要组成部分。这些应用的前提是精确地对高光谱图像(HSI)中的每个像素进行分类。
在过去的几十年里,各种基于机器学习的分类器已经被开发出来用于高光谱图像分类。早期的分类方法通常是以高纬度的高光谱信息映射到低纬度上,并对低纬度数据进行处理。因此,如何建立映射函数和寻找可分离超平面成为研究的目标。例如,逻辑回归和极限学习机已被用于开发像素级HSI分类器。然而,像素化方法通常会在最终的分类图中产生相当大的误差或异常值,为了缓解这一问题,利用核支持向量机和多核学习等核技巧来提高线性可分性。但这些方法通常侧重于分类器的设计,而忽略了特征的表示和学习。为了充分利用光谱信息,已经开发了基于表示的典型方法,如稀疏表示、低阶表示、和协作表示。通过表征学习,可以揭示光谱的内在数据结构,减少对标记样本的依赖。此外,还探索了HSI的空间结构,如图构建、超像素分割、形态分割等,以促进光谱-空间特征学习。通过对HSI的空间结构进行显式建模,可以更好地利用其空间信息。然而,受人工特征和经验参数的限制,上述方法不能从HSI中学习稳健的深层特征表示。
相比于传统机器学习分类方法,深度学习方法可以从训练数据中自动学习自适应和稳健的深度特征。目前,许多经典的深度学习方法已经被应用到HSI分类中,并取得了良好的效果。如从一维卷积神经网络(CNN)到3D CNN的变体,从单一CNN到混合CNN,深度学习方法在HSI图像分类中的优势在于能够更好地利用大数据和强大的计算能力,从而提高分类精度、减少人工特征工程的需求,并且能够处理更复杂和高维度的数据特征。由于计算复杂度较高,这种混合CNN需要较高的计算力和较长的训练时间。以往的深度学习模型都是针对欧几里得数据而设计的,它们往往忽略了相邻土地覆盖之间的内在相关性。近年来,由于能够对任意结构的图进行卷积运算,图神经网络(GNN)受到越来越多的关注,通过将HSI编码成图,可以显式地利用相邻土地覆盖之间的相关性,并且GNN可以更好地模拟HSI的空间上下文结构。GNN即可以对非欧氏数据进行描述学习,也可以同时对节点特征信息和结构信息进行端到端的表示学习。HSI数据可以通过基于超像素的方法转换为图形数据,然后使用GNN方法可以有效地对光谱-空间上下文信息进行建模,通过这种方式,隐式扩展了标签的数量,在一定程度上缓解了小样本的问题。基于超像素的GNN可以在图形上模拟土地覆盖的各种空间结构,但它不能为每个像素生成细微的单独特征。相比之下,CNN可以在像素水平上学习局部光谱-空间特征,但其接受范围通常限于一个小正方形窗口,因此,HSI的大尺度上下文结构可能很难捕捉到。如何将基于超像素级的GNN和基于像素级CNN优点相互融合,数据互通逐渐成为HSI分类领域的重点问题。
实现思路