关键词:
建筑风格分类
零样本学习
双注意力机制
通道注意力
空间注意力
公共子空间
加权图卷积神经网络
摘要:
准确的建筑风格分类对建筑历史研究、建筑遗产保护和城市建设方面都具有重要意义。然而,由于不同建筑风格之间存在相似性,同一建筑风格又存在差异性,使得数据集中缺乏有标签的建筑类别。因此,利用零样本分类技术对标签数据缺失的建筑图像进行分类成为一个值得研究的主题。目前建筑风格分类主要存在两个不足:一是由于建筑风格的独特性,大多数特征提取方法很难有效提取建筑风格的关键特征。二是多种新兴建筑保留前期的建筑元素,不同类别语义标签之间关系相近,难以学习到适应度较高的分类器。通道-空间注意力能够关注到图像中与任务相关的重要区域,忽视不重要的元素。图卷积网络可以利用知识图表达类别之间的关系,通过聚集节点的邻域特征来更新每个节点的特征向量,生成与语义数据相关的分类器。因此,为了在建筑图像标签数据缺失的情况下,能够有效提取建筑物主体及其细节特征并挖掘各风格之间语义标签的强关联性,本文对基于双注意力机制和加权图卷积网络的零样本建筑图像分类进行研究。主要工作如下:(1)为有效定位建筑图像中与分类任务相关的建筑元素,提出一种基于双注意力机制的零样本建筑图像分类方法。首先引入通道注意和空间注意两种模型以增强图像特定区域的表示。其中,通道注意网络学习不同通道权重以定位图像中的建筑物;空间注意网络将位置信息嵌入通道注意图捕获目标中的细节特征,获取具有通道和空间双层维度的特征表示。其次,为减少空间映射过程中出现的信息损失,使用生成器重建视觉特征。最后,设计公共空间嵌入的零样本建筑图像分类模型,在子空间对齐视觉特征和语义特征,通过最近邻匹配实现分类任务。实验验证了方法的有效性。(2)考虑到建筑风格语义标签之间的强相关性,借助显式知识图挖掘类别之间的关系,提出一种基于加权图卷积网络的零样本建筑图像分类方法。首先利用特征提取网络提取到建筑特征展开为向量表示;其次,将所有风格标签之间的上下位层级距离关系作为先验知识构建图结构,计算语义特征之间的距离对节点之间的关系进行加权,使用加权图卷积网络训练更新节点的特征,以缓解由于网络层数过多导致的过平滑问题,提升同类别建筑的聚集度,增强不同类之间的区别性,并为所有建筑类别训练分类器;最后,将视觉特征与分类器作点积运算,在预测过程中利用分类器对未知风格进行分类,进一步增强模型的迁移能力。实验结果表明,所提方法较当前零样本学习方法而言,在建筑风格数据集Architecture Style Dataset上的平均分类准确率提高0.6个百分点。(3)实现了一个零样本建筑图像分类原型系统。设计实现了基于双注意力机制和加权图卷积神经网络的零样本建筑图像分类原型系统。