本技术介绍了一种高光谱重建技术,该技术利用单幅RGB图像进行处理。其核心在于一个锥形多尺度特征提取模块,该模块对经过切片分区的RGB图像特征进行提取,实现高光谱数据的重建。
背景技术
高光谱(Hyperspectral,HS)成像技术记录了物体的反射率或透射率,结合成像技术和光谱技术来检测目标的二维几何空间和一维光谱信息,从而获得具有高光谱分辨率的连续窄带图像。依靠该技术所获取的高光谱图像(Hyperspectral image,HSI)通常具有从红外光谱到紫外光谱的多个光谱波段。丰富的光谱特征已被广泛用于遥感领域中,例如地质勘探、海洋环境监测、船舶探测、军事侦察、生态研究和农作物生长等方面。然而近年来HS成像的发展遇到瓶颈,因为已有的高光谱成像设备制造涉及光学、机械、计算机等领域,集成复杂度较高,设备体型较大。同时由于成像技术的限制,获取这类包含丰富光谱信息的高时空分辨率的高光谱图像耗时较长,从而不可避免地限制了高光谱成像技术的应用范围。特别是在便携式平台和高速移动场景中的相关应用。解决这个问题的一种方法是通过从给定的RGB图像中恢复丢失的光谱信息来生成此类高光谱图像,这种方法可称之为基于RGB图像的高光谱重建。它是指通过发现一个逆响应函数来实现高光谱成像的逆过程。但是由于HSI的数量可以投射到任何RGB输入,因此对于同一个RGB图像可能存在多种合理的HS图像组合,如何重建出最佳的HS图像成为了研究的核心与热点问题。
为了解决该问题,已提出了大量的光谱重建(Spectral Reconstruction,SR)方法,大致可分为传统方法、机器方法和深度学习方法。
现有的传统方法包括使用插值技术、主成分分析法、伪逆法、维纳法等,但这些传统方法表达能力差,泛化能力有限,因此限制了它们在图像上的良好性能。
现有的基于机器学习的光谱重建方法主要集中在从特定的高光谱建立稀疏编码或相对浅层的学习模型,这些方法依然存在容易手外部因素影响、训练数据需求量大、训练耗时较长、重建图像质量有待提高等问题。
现有的深度学习方法已经实现了较好的性能,但重建的高光谱图像的精度还有待进一步提高。此外,为获取更高级的特征表达,多数方法致力于设计更深的网络结构,同时也缺乏对局部区域间的信息和像素间远程依赖关系的探索,限制了网络对细节的追随度和区分性学习。
总之现有的光谱重建方法还有进一步提高生成图像质量的空间。
实现思路