https://arxiv.org/pdf/1805.08318.pdf

Abstract

提出了 SAGAN，其允许在图像生成任务上进行 attention-driven, long-range dependency modeling。

SAGAN 中可以结合特征图的所有部分来生成细节，并通过应用谱归一化（spectral normalization）来 improve training dynamics.

SAGAN 的 IS 为 52.52，FID 为 18.65，达到了新的 SOTA。

Introduction

现有的基于卷积神经网络的 GAN 没有办法学习到在某些类别中经常出现的 geometric or structural patterns，一种可能的解释是这些模型严重依赖卷积去对跨越多个图片区域的依赖进行建模，然而卷积算子只有一个局部的感受野，长距离的依赖只能在其被传入多个卷积层后才能被处理，一种可能解决此问题的方法是增大卷积核的尺寸，以此来提升网络的表现能力。但是这将增大计算量并损失统计上的效率（loses the computational andstatistical efficiency obtained by using local convolutional structure）。

针对此问题，作者引入了 self-attention 机制，其与卷积互补，帮助建模 long range, multi-level dependencies across image regions 。

同时，基于前人的研究结论：well-conditioned generators tend to perform better，作者建议通过在生成器上应用光谱归一化来强制 good conditioning of GAN generators。

Methodology

self-attention mechanism

其中 ，C 表示通道数，N 表示特征位置的数目。

其表示模型在生成第 j 个区域时对第 i 个位置的关注程度。

attention layer 的输出：

γ 首先被初始化为 0，使模型首先探索局部空间信息，之后再利用自注意力机制来做进一步的提升。

我们将自注意力机制应用于每一个卷积层。

spectral normalization

不仅在辨别器上应用 spectral normalization，同时也在生成器上应用该归一化手段，用以使得 GAN 的训练更加 stable。

TTUR

为辨别器和生成器各自使用不同的学习率，使得在相同时间内模型可以产生更好的结果。

Experiments

从最左面的图可以看到当 baseline 模型采用 1:1 地对 D 和 G 进行更新时，训练过程很不稳定（原本 baseline 是 5:1 ）。

同样也可以看到 TTUR 对于模型训练稳定性的显著作用。

feat_k 表示在 k*k 特征图上添加自注意力。

通过这里的对比，表面性能的提升不是简单地因为模型深度与学习能力的提升造成的。

右边三个图是生成器的最后一个使用注意力机制的网络层的 attention map 的可视化，三种颜色的点分别代表不同的 query location。