本技术涉及图像处理技术,特别是一种利用频率驱动Transformer进行遥感图像变化检测的新方法和系统。该技术框架首先对图像进行特征提取,获取初级和深层特征,进而通过频率驱动Transformer模型分析特征变化,实现高效准确的遥感图像变化检测。
背景技术
遥感影像分的变化检测就是从不同时期的遥感数据中,定量地分析和确定地表变化的特征与过程。高辨率遥感图像由于不同的成像条件以及场景中物体具有复杂多样的特点,具有相同语义概念的物体在不同的时间和空间位置上可能表现出不同的光谱特征,这对变化检测任务仍具有很大挑战。为了准确识别复杂场景中的变化区域,变化检测模型需要识别场景中变化区域的高级语义信息,从复杂的无关变化区域中区分真实的变化。
通过利用自注意力对时空中像素对间的语义关系进行建模,可以取得较好的检测效果。2020年,北京航空航天大学的Hao Chen等人提出STANet,它是一种新的基于度量和时空注意力的孪生网络,将网络划分不同尺度,在每个小区域内嵌入自注意力,用于建模像素间的长距离依赖关系,使用批量平衡对比损失函数缓解样本不平衡的问题,帮助网络提取富含上下文信息的特征。但模型的计算效率很低,计算复杂度很高且随着像素的数量呈二次比例增长。
目前许多基于深度卷积神经网络(Convolutional Neural Network,CNN)的变化检测方法无法有效捕获像素间远距离的依赖关系的问题,北京航空航天大学的Hao Chen等人在此背景下提出了双时相图像Transformer(Bitemporal Image Transformer,BIT)检测算法,在变化检测任务中取得了不错的效果。但由于Transformer中多头注意力的每个头只负责输入token序列的一个子集,当子集的通道维度较小时query和key的点积无法构成信息函数,会导致网络性能降低。同时BIT采用直接相减的特征融合方式不仅容易对特征结构造成破坏,还可能产生噪音干扰。
实现思路