SPGAN-DA如何实现遥感图像语义分割中的语义保留与领域自适应？

作者: Yansheng Li 发表年代: 2023 使用的方法: 无监督领域自适应(UDA)、GAN、ClassMix、边界增强 来源: IEEE TGRS 方向: 语义分割 期刊层次: CCF B；工程技术1区；IF 8.2 文献链接： https://doi.org/10.1109/TGRS.2023.3313883 Li Y, Shi T, Zhang Y, et al. SPGAN-DA: Semantic-Preserved Generative Adversarial Network for Domain Adaptive Remote Sensing Image Semantic Segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023. SPGAN-DA：用于领域自适应遥感图像语义分割的语义保留生成对抗网络 要解决什么问题？ 减少源域和目标域之间的域偏移对语义分割任务的影响，在遥感图像中实现有效的领域自适应语义分割。 背景： 域偏移的主要挑战 a. 跨成像模式 b. 跨地理位置 c. 跨景观布局 无监督领域自适应（UDA）方法：通过调整源域和目标域的分布来缓解域偏移问题。 现有方法可分为三种 a. 图到图的转换：通过基于生成对抗网络(GAN)的方法转换源域图像，使其在视觉上与目标域相似。有助于训练前减少域差异。 b. 对抗性学习方法： 判别器网络：最大限度地减少源特征分布与目标特征分布之间的差异。 判别器从语义分割网络中获取特征图，并尝试区分输入的域。同时，对分割网络进行训练，使其能够骗过判别器，并对源域和目标域产生良好的分割效果。 c. 自学习方法：主要思想是利用集合模型或先前模型的高置信度预测作为未标记数据的伪标签，从而迫使模型以隐含的方式学习领域不变特征。 主要贡献： SPGAN：它从源域到目标域进行无偏转换（即视觉内容不变转换），以对齐光谱信息或成像模式。这是通过在GAN框架中引入表征不变和语义保留的约束来实现的，并以端到端的方式进行优化。 类别分布对齐（CDA）语义分割模块：进一步缩小不同数据集之间的横向布局差距。 a. 模型输入层，首先通过ClassMix操作将转换图像中的对象粘贴到目标图像上。 b. 模型输出层，提出了边界增强来改进对象边界的性能。 c. 利用这两个方面来协同训练领域自适应语义分割模型。 SPGAN-DA可以在经典的遥感跨域语义分割基准上持续发挥良好作用。 具体结构： 整体框架 a. 阶段一：通过SPGAN转移风格，把源域映射到目标域。 b. 阶段二：转换后的类目标图像和目标域图像协同训练一个鲁棒的分割模型。 语义保留的生成对抗网络（SPGAN）： a. 图像一致性损失：让图像在转换过程中更多地保留源内容 源→目标→源，再现原始样本，增强循环一致性 \(|| · ||_1\) 表示 \(ℓ1\) 常模，又称曼哈顿常模 在概率论和统计学中，锥形符号 (\(\sim\)) 表示 "从......抽取 "或 "从......采样"。例如，\(E_{x\sim X}\) 表示对整个领域 \(X\) 的期望值，其中 \(x\) 是从 \(X\) 中采样的。 b. 表征不变损失： 考虑了高层次的表征不变信息，确保两个相反生成网络的中间表征具有相同的分布。 这使得生成的图像在分布上更接近目标图像，并能很好地保留细节。 可确保表征包含更多的高频和抽象信息，从而提高领域自适应语义分割模型的有效性。 c. 语义保留损失：不需要源域上的预训练模型 确保翻译后的图像保持一致的语义内容 \(ℓ(·)\) 表示交叉熵损失函数 d. SPGAN 整体的损失函数: e. \(G_{enc}\) 负责编码图像，\(G_{dec}\) 负责解码图像，\(G_{seg}\) 是一个新引入的分支，用于进行语义分割，以便 \(G\) 能够以监督方式保留语义信息。通过这种方式在转换过程中保留了语义信息，从而有助于减轻转换图像的偏差，并对齐源域和目标域的光谱信息。 f. 生成器 \(G\) ：源域→目标域，生成器 \(F\) ：目标域→源域。允许模型在两个方向上学习不同域之间的映射，确保语义信息在两个域中都得到保留并保持一致。 类别分布对齐（CDA）语义分割模块： a. ClassMix：在转换后的图像中随机粘贴一半的类别，然后将相应的像素剪切下来粘贴到目标域的图像上。