Abstract

提出了一个用于图片生成的新方法。

提出了两种新的评价生成样本的可区分度以及多样性的分析方法。

 

Introduction

现有的 GAN 模型难以生成全局一致的，高分辨率的样本，尤其是对于高多样性的数据集来说。

 

具体来说，本文的贡献如下：

1. 演示了一个可以在 ImageNet 上所有 1000 个分类上生成 128*128 分辨率样本的模型。
2. Measure how much an image synthesis model actually uses its output resolution.
3. 提出了一个快速的，易于计算的用以度量 GAN 的 perceptual variability 以及坍缩行为的方法。
4. 表面了样本数量太多是导致难以使用 GAN  在 ImageNet 上生成样本的重要原因，并提供了一个明确的解决方法。
5. 通过实验展示了那些表现出色的 GAN 并不是在记住样本。
6. 在 CIFAR-10 上的 IS 标准上达到了新的 SOTA。

 

Methodology

The log-likelihood of the correct source：

The log-likelihood of the correct class：

D is trained to maximize Lc+Ls.

G is trained to maximize Lc-Ls.

 

模型架构对比

 

Experiment

实验表明当模型不变时，增大训练集的类别数目会降低生成样本的质量。

AC-GAN 模型的结构允许按类别将大型数据集分离为子集，并为每个子集训练生成器和鉴别器。本文中所有在 ImageNet 上的实验都是使用 100 个 AC-GAN 进行的，每个 AC-GAN 在 10 个样本划分上进行训练。

 

把生成的样本输入到一个预训练好的 Inception Network 里做分类，通过其准确率来间接体现出生成样本的可辨识度（discriminability）。实验表明（将生成的高分辨率的图片手动降低分辨率，对比降低前后的可辨识度）生成高分辨率的图片有助于提升辨识度。

 

使用 MS-SSIM 来衡量生成样本的多样性，注意 MS-SSIM 本来是拿来衡量图片压缩算法的质量的。

红线是训练失败的类别（生成器坍缩），黑线是训练成功的类别，红色虚线表示在所有 ImageNet 上类别的最大 MS-SSIM 值。

 

通过使用 L1 距离度量的最近邻算法找出最接近的图片，之后进行对比，说明模型并不是简单地记住训练数据。

通过在模型的隐空间做插值实验，也可以用来说明模型过拟合的程度。

 

固定 z，但是改变类别 c，这样可以生成结构相似但是风格不同的样本：

每一行的 z 都相同；每一列的 c 都相同。

（这个效果是真的 impressive）

 

 

类别要怎么划分呢？具体来说：

1. 每个 split 有多少个类别比较合适？这里作者做了对比实验：

2. 每个 split 中的类别是相关的好还是不相关的好？实验表明类别的选择对生成样本的质量没太大影响。

作者认为既然类别数目增加时生成器的坍缩率也上升了，因此用于解决生成器坍缩的方法可能也适合用于解决这个类别数目不能过多的问题。