本技术介绍了一种基于KAN-Mamba模型的遥感图像语义分割技术及其装置,旨在提升遥感图像语义分割的精确度。该技术涵盖KAN-Mamba特征提取网络和Uper_He网络,以实现更高效的特征提取和图像分割。
背景技术
通过遥感技术获取地表光谱信息可以监测诸多环境问题,像植被覆盖变化、水体污染、土地利用变化等。例如,凭借多光谱或高光谱遥感数据,能分辨不同植被类型,评估植被健康状况,进而有效监测生态系统。此外,遥感技术在监测自然灾害方面也大有用处,比如洪水、干旱、森林火灾等,能为灾害预警和应急响应提供关键信息。同时,伴随遥感技术与无人机技术的迅猛发展,获取高分辨率图像的能力持续增强。然而,怎样从海量图像数据中提取有用信息,特别是进行像素级的语义分割,已成为亟待解决的难题。
当下,利用光学遥感图像进行检测与分析是常见手段。但这仅是单一的遥感数据源,难以满足实际需求。仅用光学遥感影像进行分析和分割时,存在诸多明显缺陷:光学影像易受天气状况影响,诸如云层、雨水、雾霾等会严重降低影像质量,致使部分区域信息缺失;光学遥感主要获取可见光和近红外波段信息,缺少对其他波段(如热红外、微波等)的观测,限制了对某些特定地物(如水体、湿地等)的有效剖析;建筑物和树木产生的阴影可能造成地面特征被错分类。并且,某些地物(如水面、光滑地面)在不同角度的反射可能干扰观测结果,引发误判;在城市或森林这类复杂环境中,建筑物或树木可能遮挡地面特征,导致部分信息不可见,影响地物的准确辨认。
为克服上述难题,运用多种遥感图像提供互补特征是切实可行的方案。在多源分割中,可通过数据融合技术整合不同源的数据。例如,将光学图像的颜色特征与SAR图像的纹理特征相结合,因为SAR能在各种天气条件(包括云层、雨水和夜间)下获取图像,不受光照影响;同时SAR可提供高空间分辨率的图像,利于细节分析与特征提取。如此能更全面地展现地物特性,从而提升分类准确率。然而,鉴于多源数据的异质性,直接将其融入现有的遥感检测方法存在一定难度,或者难以达到预期性能。
在计算机视觉领域,Mamba是一种创新方法。一方面,它能化解卷积神经网络(CNN)和视觉变换器(ViT)面临的困境。CNN善于提取局部特征,但不修改复杂架构就难以捕捉长距离依赖关系;ViTs能有效模拟全局关系,却因自我注意机制的二次方复杂性导致计算成本颇高。另一方面,Mamba借助选择性结构化状态空间模型,以线性计算复杂度有效捕捉长程依赖关系。这使其在克服现有方法局限性方面表现出色,为遥感图像分割领域的发展带来新的可能。
科尔莫戈洛夫-阿诺尔德表示定理(Kolmogorov-Arnold representationtheorem)指出,若f是有界域上的多元连续函数,那么f可写成单变量连续函数的有限组合与二元加法运算。MLP的灵感源于通用近似定理,而KAN的灵感源自科尔莫戈洛夫-阿诺尔德表示定理。与MLP相同,KAN具有全连接结构。不过,MLP在节点(“神经元”)上设置固定的激活函数,KAN则在边(“权重”)上设置可学习的激活函数。因此,KAN根本没有线性权重矩阵:每个权重参数均由一个参数化为样条线的可学习一维函数替代。KAN的节点仅需对输入信号求和,无需应用任何非线性因素。所以,KAN的计算图通常比MLP小很多。
现有的遥感图像分割方法仍面临众多困难:1、多源数据可能包含冗余或无关信息,难以选取合适特征并有效提取,从而难以规避信息噪声;2、为有效处理多源数据,模型可能需要更复杂的架构,这增加了训练和优化的难度,易导致过拟合;3、不同类型的遥感数据在语义上可能存在差异,例如SAR图像和光学图像对同一地物的呈现方式不同,可能致使模型在分类时出错。为应对这些难题,一种有效的解决途径是找到一种具备更优处理来自卫星和航空图像高维数据能力的方法,使之适应遥感图像分割领域。
实现思路