毕业设计我帮你

基于时空注意力机制的遥感图像变化检测

摘要

遥感图像变化检测是对同一地区不同时间拍摄的遥感图像中的变化区域进行识别。变化检测可为灾害监测、海洋资源检测、植被变化检测等方面提供了辅助手段。随着遥感探测技术的发展，遥感图像数据规模和精度日益提高，且实际应用要求更高的遥感图像变化检测精度和效率，传统的变化检测方法已不能取得理想的结果。近年来深度学习技术快速进步，在计算机视觉领域表现出优越的性能，非常适合应用于遥感图像变化检测上。因此，本文在充分调研已有方法的基础上，对已有方法进行验证，并以此提出改进的变化检测模型。本文研究工作主要包括以下两个方面。

（1）实现了基于孪生网络的时空注意力变化检测算法（Spatial-Temporal Attention-Based Net,STANet），该算法包括三种模型，模型一采用基于ResNet的全卷积网络作为特征提取器提取双时相特征，并计算其欧式距离得到变化图像预测图；模型二利用时空注意力机制融合双时相特征图，使生成的特征图包含彼此的信息；模型三进一步改进时空注意力机制，将时空注意力机制应用于金字塔型场景解析网络中，以多尺度的应用时空注意力进行变化检测。该模型在两组公开的数据集上进行消融实验，结果表明，时空注意力机制和金字塔型场景解析网络的引入，可以提升变化检测的性能。

（2）提出了基于U-Net语义分割网络和互注意力的模型（Swin U-Net and Mutual Attention Network,SUMANet)。该模型将U-Net语义分割模型作为特征提取器用于提取特征，其中，下采样的工作由图像块融合和Transformer完成，图像块融合负责缩小特征图的分辨率和扩大通道数量，Transformer负责特征变换，对应地，图像块扩展负责上采样中扩大特征图分辨率和减小通道数量，上采样的特征变换仍由Transformer完成。提取特征后用互注意力融合双时相特征图之间固有的信息，使得生成的新特征图兼具彼此的特征。实验证明，基于Transformer搭建的U-Net网络在变化检测上可以取得不错的性能，互注意力机制的引入可以提高模型对小目标变化区域的检测准确度。

关键词：变化检测，神经网络，注意力，语义分割

 

目录

第一章 绪论 6

1.1研究背景及意义 6

1.2国内外研究现状 7

1.2.1传统遥感图像变化检测 7

1.2.2基于深度学习的遥感图像变化检测 9

1.3主要研究内容 10

1.4论文组织结构 10

第二章 相关方法理论 11

2.1神经网络基本结构 11

2.1.1多层感知机 11

2.1.2激活函数 12

2.1.3反向传播原理 14

2.2卷积神经网络 15

2.3 Transformer模型 17

2.3.1 Transformer模型理论 17

2.3.2基于滑动窗口的Transformer网络 19

2.4本章小结 21

第三章 基于时空注意力的遥感图像变化检测 22

3.1引言 22

3.2孪生时空注意力变化检测模型 22

3.2.1特征提取器 23

3.2.2时空注意力模块 24

3.2.3解码器模块 26

3.2.4损失函数 26

3.3实验与结果分析 27

3.3.1实验数据 27

3.3.2变化检测评价指标 28

3.3.3实验结果分析 29

3.4本章小结 32

第四章 基于互注意力融合的遥感图像变化检测 33

4.1引言 33

4.2基于互注意力融合的变化检测算法 33

4.2.1 SUMANet网络结构 33

4.2.2基于Transformer的特征提取器 34

4.2.3基于互注意力的特征融合 35

4.3实验与结果分析 36

4.3.1实验数据和环境 36

4.3.2实验结果分析 36

4.4本章小结 38

第五章 总结与展望 39

5.1总结 39

5.2展望 39

参考文献 41

致谢 44

毕业设计小结 45

 

第一章 绪论

1.1研究背景及意义

自然界的变化与人类生活息息相关，为了人类与自然和谐发展、人类社会的可持续发展，研究相关技术对地表进行变化监测有重要意义。遥感是在远距离上的非接触式的探测技术。遥感技术是通过电磁波理论借用各种传感仪器对待观测的目标如地球或其他天体等的资源环境信息进行采集、处理最后成像的综合技术。遥感技术的高低取决于一个国家经济水平和科技实力，是一个国家综合国力的体现，世界各大国都在遥感技术方面他投入了大量的科研经费与科研人员。遥感领域中的一个重要研究方向是变化检测，变化检测借用图像学的处理手段，建立数理模型结合一些先验知识如遥感图像成像机理和地物特性等对多时相遥感图像数据（多张同一地区不同时刻拍摄的遥感图像数据）进行处理分析，找出相关地理空间数据中关注的变化信息，从而识别多时相遥感图像之间的变化区域和未变化区域。基于遥感的变化检测已经被广泛地应用于海洋水体监测[1]、农业林业监测[2]、自然灾害监测[3]等多个领域。

早期的遥感以光学图像为主，这些图像的缺点是分辨率不高，且要求拍摄时的天气和太阳的光照角度一致，不能精确预测地表的变化情况。红外图像技术在遥感领域的应用解决了光照不一致带来的问题，但天气不一致造成的影响的依然无法解决。为了解决光照和天气的问题，人们将SAR 图像用于遥感领域，描述地表信息，但 SAR 图像的传感器的成像机理会导致无法避免的相干斑噪声[4]。 SAR 图像的变化检测主要是通过降低 SAR 图像的相干斑噪声在变化检测任务中的影响来差生成变化图像和分析。近年来，得益于大量的研发投入，遥感有了快速发展，捕获多时相遥感图像的手段逐渐增多，遥感的分辨率和数量逐渐提高，为变化检测任务能够检测更加丰富的变化信息提供了可能。一方面，高分辨率变化检测数据集带来了更丰富的纹理和更多的图像细节，另一方面这也带来全新的挑战，例如精确配准困难、混合像元等干扰因素更加敏感，突出的“同谱异物”和“同物异谱”等[5]。传统的低分辨率遥感图像变化检测算法已经不适合应用高分辨率图像中。

在上个世纪末，深度学习受限于计算机算力的不足和相关理论知识缺乏，未能在机器视觉和模式识别领域得到大范围应用。近年来计算机算力得到大幅度提升，理论方面相继出现了卷积神经网络[6]、循环神经网络[7]、注意力机制[8]等方法凭借其强大的拟合能力使深度学习在计算机视觉上大放异彩，也为遥感处理提供了新的方法。这些深度学习的方法在不仅在操作上用类似黑盒的操作避免了人工使用先验知识来设计特征，还在结果上通过其强大的拟合能力提高了检测的精度。因此，研究将深度学习的方法应用到高分辨率遥感图像上进行自动化的变化检测工作获得优异的检测结果具有重要意义。

1.2国内外研究现状

变化检测是一个非常活跃的研究领域，全世界范围内的相关研究人员都对此展开了深入研究，并取得了突破性的进展。近年来，遥感技术接连突破，捕获多时相遥感图像的手段逐渐增多，得到的遥感变化检测数据集逐渐丰富。这些数据集的加入和理论方法的提出使得遥感变化检测的手段的检测质量大幅度提升。国内外的学者们根据应用领域的不同实现了大量不同的变化检测方法。按照不同的角度可以把检测方法分为不同的种类体系，同一种分类方法可以被分类为不同的体系，不同体系之间没有严格的界限划分，目前为止并没有统一的分类方法。本文从是否使用深度学习的角度对这些方法进行分类，分为传统的遥感变化检测和基于深度学习方法的遥感变化检测。

1.2.1传统遥感图像变化检测 

传统的变化检测方法大体上可分为两步：图像预处理、生成变化图。

图像学中通常用图像滤波、几何配准、辐射校正等方法进行图像预处理[5]。为了最大程度的避免由非真实变化区域引起的多时相遥感图像中的差异，应该用同一型号的传感器乃至拍摄设备在天气一致的情况下采用相同的空间分辨率、幅宽和波谱从同一角度进行拍摄。但上述条件很难同时满足，这些拍摄条件的缺少会导致取得的多时相遥感对中对应的像素点表示的不是同一位置的。为了能够逐像素对多时相遥感对进行判断得到变化区域图，需要对在变化检测前对图像进行预处理配准校正。主要校正手段是通过辐射校正、图像滤波等方式减小未变化区域对应像素点之间的距离，同时通过几何校正等方式让同一像素点表示同一地表位置。完成图像预处理后通常就是逐像素对比多时相遥感生成变化图。变化图的像素数值被约束在某一区间范围内，越接近区间内的上限表示该像素点为变化区域的可能性越大，越接近于下限表示为未变化的可能性更大。在得到变化图后还需要对其进行聚类或者阈值分割处理得到最终的分割结果，最终分割结果的像素值为0或者1，像素值为 0 表示该像素点对应变化区域，像素值为 1 表示该像素点对应为变化区域。目前的变化检测算法研究的重难点主要是变化图像的获取和变化图的分割，下面分别介绍这两步的研究现状。

（1）变化图像的获取 

差值法：该方法通过计算预处理后的多时相遥感的欧几里得距离得到变化图。这种方法特点是简单快速，缺点是要求像素点之间已经精确配准，并且辐射校正后的色差和噪声无法消除都会影响检测结果。差值法只能针对多时相遥感所有区域的灰度值进行计算，并不能选择某一种或者几种感兴趣的语义信息的进行变化检测。 

比值法：该方法逐像素计算预处理后的多时相遥感的比值得到变化图。Ingladahe和 Mercier[9]通过均值比算子对多时相遥感进行预测，均值比算子对变化区域更兴趣，但并不能抑制未变化区域。

相似性法：该方法依据多时相遥感中对应像素点之间的相似性得到变化图。通常用统计学中度量两个变量之间的相似性的工具互信息来衡量像素点之间的相似性。Gupta等人[10]提出了一种基于互信息的变化检测技术，该技术利用每个像素周围的空间邻域信息来获得互信息和相应的特征。此外，在特征空间中创建差异特征向量，为变化检测任务提供判别信息。这些来自多光谱图像所有波段的差异特征向量被连接起来，得到最终的特征向量。也有人用距离度量方法来衡量相似性，通常用KL散度来度量距离，Zheng 和 You[11]提出 Jeffery 散度提高了向量相似性的稳定度。 

特征变化法：该方法先将多时相遥感映射到一个新的特征空间中，要求新的特征空间对变化区域感兴趣，对未变化的区域进行抑制。再通过差值法、相似性法等对特征空间中的特征向量进行变化性分析。代表性的特征变化法有主成分分析（PCA）和穗帽变换（Kautlr-Thomas Transformation）。Deng等人[12]用基于PCA的方法增强来自传感器数据的变化信息。主成分分析法将M维特征映射到N维上抑制多时相遥感中的的冗余信息，突出表达感兴趣的语义信息。

（2）变化图的分割 

遥感变化图要求用1表示变化区域，用0表示非变化区域。这就需要对变化图进行阈值分割，基于阈值、聚类、马尔可夫随机场的是最常用的分割方法。

阈值法：阈值法利用先验知识人为的设定一个阈值，利用该阈值对变化图进行判断，变化图像素点的值大于该阈值点的被判定为变化区域，设置为1，小于该阈值点的被判定为未变化区域，设置为0。Bazi 等人[13]利用广义高斯假设推导出基于KI准则(Kittler-Illingworth)的双阈值分割算法，该算法对变化类和不变类进行建模能够更好的拟合图像中两种类别的条件密度。Moser 等人[14]又在非高斯假设下推导出了广义的KI阈值分割算法。 

聚类法：聚类法按照某一种特定度量标准把样本分割成不同的类或者簇，被分为同一类或者簇之间的样本在这种的度量标准下的相似性尽可能大，不同类的差异性尽可能大。目前用的最广泛的聚类法是 K 均值聚类（K-means，KM）和模糊 C 均值聚类（Fuzzy C-means, FCM）。Ghosh等人[15]利用FCM和 Gustafson-Kessel 聚类 (GKC) 比较在不同时间在同一地理区域上获取的两幅图像产生的差异图像的相邻像素之间的空间相关性。Gong 等人[16]提出了模糊局部信息 C 均值（Reformulated Fuzzy Local Information C-means, RFLICM），该算法将邻域信息引入模糊 C 均值聚类算法，通过分别应用硬聚类和软聚类技术（即 k-means 和模糊 c-means）对特征进行分类，并对两种聚类算法的结果进行比较。该方案将局部空间信息结合在一起，有效的增强了差异图像的对比度。 

马尔科夫随机场：遥感变化图中像素点之间含有的信息并不是独立的，像素之间彼此存在相关性。马尔科夫条件随机场模型综合考虑变化图中每个像素点及周围像素点的上下文信息。Yousif 等人[17]把非局部均值的思想引入到马尔可夫随机场中解决了计算分割结果时不能很好地处理边缘信息的问题。Gu等人[18]提出一种改进的马尔可夫变随机场方法，设计线性权重来把像素划分为不变类、变化类和不确定类，并引入空间吸引力模型来细化空间邻域关系，旨在提高马尔科夫随机场中空间信息的准确性。

1.2.2基于深度学习的遥感图像变化检测 

从是否需要人工标记的角度可以把基于深度学习的遥感影响变化检测方法分为有监督变化检测和无监督变化检测。无监督的方法不需要人工标记类别，直接训练模型通过提取双时相遥感中的有用信息直接生成变化图。Gong等人[19]提出了一种用于多光谱图像变化检测的生成判别分类网络（Generative discriminatory classified network，GDCN），其中使用了由生成对抗网络生成的标记数据、未标记数据和新的假数据。 GDCN由判别分类网络 (DCN) 和生成器组成。DCN 将输入数据分为变化类、未变化类和额外类，即伪类。生成器从输入噪声中恢复真实数据以提供额外的训练样本，从而提高 DCN 的性能。最后，将双时相多光谱图像输入DCN，得到最终的变化图。在真实多光谱图像数据集上的实验结果表明，与现有方法相比，由未标记数据和少量标记数据训练的所提出的 GDCN 可以实现具有竞争力的性能。 

有监督的方法需要人工标记类别，此类算法能够受数据驱动学习图像中感兴趣的变化区域。如Shi等[20]提出了一种基于深度监督下注意力度量的网络（DSAMNet）。 DSAMNet 中采用了一个度量模块，通过深度度量学习来学习变化图，其中集成了卷积块注意模块（Convolutional block attention modules，CBAM） 以提供更多的区分特征。Wang等人[21]提出了用于高光谱图像变化检测的通用端到端二维卷积神经网络 (GETNET) 框架。该模型提出了一种简单有效的混合亲和矩阵（Mixed-affinity matrix），可以更好地挖掘空间像素上两个对应谱向量之间的变化模式。与以前的方法不同，混合亲和矩阵将两个一维像素矢量(光谱信息)转换为二维矩阵 ，用于变化检测任务，提供了更丰富的梯度信息。此外，混合亲和矩阵可以有效地同时处理多源数据，有利于GETNET更好地学习光谱之间的代表性特征。

1.3主要研究内容

本文对 U-Net网络[22]和Transformer [8]两种网络进行重点研究，并以此设计了双时相遥感变化检测的算法，主要研究内容如下：

（1）本文实现了基于时空注意力机制的遥感图像变化检测。该算法引入时空注意力机制对双时相遥感之间的时空关系进行建模。用金字塔型场景解析网络实现不同尺度变化检测。本文在两组数据集上进行消融实验，佐证了时空注意力机制和金字塔型场景解析网络的引入有利于提高变化检测性能。

（2）本文设计了一种基于U-Net语义分割和互注意力的模型SUMANet，该网络模型以Transformer构建U-Net语义分割模型作为特征提取器用于提取特征，在特征提取后引入互注意力融合双时相图像之间固有的信息，使得生成的新特征图兼具彼此的上下文信息。该算法能够自适应的检测感兴趣的语义信息，抑制不感兴趣的区域。

1.4论文组织结构

本文的组织结构如下：

第一章是绪论。首先对遥感变化检测的研究背景及意义进行介绍；然后阐述了遥感变化检测的国内外研究现状；最后介绍了论文的研究内容及基本的组成结构。

第二章是基础理论和方法，首先介绍了深度学习中神经网络的基础原理和卷积神经网络，其次介绍了以注意力机制为核心的Transformer。这些框架结构不仅仅被应用于遥感的变化检测任务还被广泛应用到遥感目标分类、语义分割等任务中。 

第三章是基于时空注意力的遥感图像变化检测。首先介绍了基于时空注意力方法的遥感图像变化检测模型的总体架构，包括以ResNet[23]为核心的全卷积网络[24]、时空注意力机制和基于度量学习[25]的解码器。然后设置对比实验并对实验结果进行分析，验证模型性能。

第四章是基于互注意力融合的遥感图像变化检测。本章方法是第三章方法的改进。本章首先分析了第三章方法待改进之处，然后提出了SUMANet模型，并详细介绍该模型的原理。最后设置对比试验验证所提出方法的有效性。

第五章是总结与展望。对文章的重点研究内容进行总结，并提出本文研究的不足之处，对今后的改进工作进行展望。

 

参考文献

[1] Rokni K, Ahmad A, Selamat A, et al. Water feature extraction and change detection using multitemporal Landsat imagery[J]. Remote sensing, 2014, 6(5): 4173-4189.

[2] Song D-X, Huang C, Sexton J O, et al. Use of Landsat and Corona data for mapping forest cover change from the mid-1960s to 2000s: Case studies from the Eastern United States and Central Brazil[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 103: 81-92.

[3] Sun W, Shi L, Yang J, et al. Building collapse assessment in urban areas using texture information from postevent SAR data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(8): 3792-3808.

[4] 陈少波. SAR图像相干斑抑制算法研究[D]. 华中科技大学, 2010.

[5] 孙杰. 基于孪生注意力融合网络的遥感图像变化检测[D]. 西安电子科技大学, 2021.

[6] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[J]. Advances in neural information processing systems, 2012, 25.

[7] Graves A, Mohamed A-R, Hinton G. Speech recognition with deep recurrent neural networks[C]. 2013 IEEE international conference on acoustics, speech and signal processing, 2013: 6645-6649.

[8] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.