关键词:
高光谱遥感图像
高光谱解混
卷积自编码器
注意力机制
多尺度
摘要:
高光谱图像是由成像光谱仪获取的三维数据立方体,每个像元包含数十到数百个窄波段光谱信息。丰富的光谱信息提高了其探测地物属性特征的能力。然而,由于高光谱成像设备在空间分辨率方面的固有局限性以及观测场景中的地物分布错综复杂,导致高光谱图像中存在大量混合像元,影响了后续的实际应用。高光谱解混是解决混合像元问题的一项重要技术,其目的是将混合像元分解为一组纯光谱特征(端元)及其相应的分数比例(丰度)。
在高光谱解混领域,深度学习因其强大的学习和数据表示能力受到越来越多的关注。自编码器作为深度学习的代表,可以学习数据的低维嵌入(丰度),并利用相应的权重(端元)重建数据,已被广泛应用于高光谱解混任务中。传统自编码器往往忽略了高光谱图像的空间信息,而卷积自编码器可以提取联合光谱空间特征,已成为现有基于深度学习的高光谱解混方法的主要网络结构。本文基于卷积自编码器架构,从提高光谱信息和空间信息在解混过程中的高效应用,增强局部和全局多尺度特征在解混过程中的联合挖掘与协同学习能力的角度对高光谱遥感图像解混展开研究。本文的主要研究工作概括如下:
(1)针对现有的patch-to-pixel卷积自编码器解混网络平等处理所有光谱波段和邻域空间信息的问题,受注意力机制的启发,提出了一种光谱空间注意力网络,以提取重要的光谱信息和空间信息。该网络直接将原始3-D立方体patch作为输入数据,无需额外的特征工程。首先,设计一个光谱注意力模块,用于自适应学习原始输入数据中每个光谱波段的权重,以从丰富的光谱信息中筛选出重要的光谱特征。然后,设计一个空间注意力模块,用于自适应学习每个邻域像元对中心像元解混的重要性,以强调对中心像元贡献大的像元,抑制对中心像元贡献小的像元。最后,将利用光谱注意力系数和空间注意力系数加权后的patch输入到卷积自编器中进行高光谱解混。实验结果表明,提出的光谱空间注意力网络能够抑制冗余波段和对中心像元贡献小的像元的权重,提升了高光谱解混算法的性能。
(2)针对现有卷积自编码器解混网络仅考虑单一尺度特征图中的局部或全局空间信息,而无法探索多尺度特征的问题,提出一种由粗到细的多流金字塔协同解混网络,以探索输入图像尺度的多尺度表示。该网络由三个卷积自编码器流组成,利用图像金字塔提取不同层次的特征,以生成多尺度特征金字塔。早期卷积自编码器流旨在扩大网络的感受野,以学习多尺度上下文信息,而最后一个卷积自编码器流则直接对原始输入图像进行操作,以保留最终输出丰度图所需的精细局部细节。为了融合不同尺度的特征,设计一种跨流特征融合机制。该机制不仅能促进协同表示,而且还能在保留局部细节的同时学习多尺度上下文信息。同时,引入注意力机制,以引导不同尺度的相关信息进行精细融合。此外,该网络是共享一个解码器的多流解混网络,其中三个卷积自编码器流以共享端元信息权重的方式交替训练。实验结果表明,提出的多流金字塔协同解混网络能够捕获局部和全局多尺度特征,提升了高光谱解混算法的性能。