JustSong Archive Link About
Projects
Categories
Others

(AC-GAN) Conditional Image Synthesis with Auxiliary Classifier GANs

Tag: 论文阅读笔记 GAN OneNote Posted on 2020-10-15 20:53:33 Edited on 2020-10-15 21:13:45 Views: 52

https://arxiv.org/pdf/1610.09585.pdf

 

Cited by 1431

 

https://github.com/clvrai/ACGAN-PyTorch


Abstract

提出了一个用于图片生成的新方法。

提出了两种新的评价生成样本的可区分度以及多样性的分析方法。

 

Introduction

现有的 GAN 模型难以生成全局一致的,高分辨率的样本,尤其是对于高多样性的数据集来说。

 

具体来说,本文的贡献如下:

  1. 演示了一个可以在 ImageNet 上所有 1000 个分类上生成 128*128 分辨率样本的模型。
  2. Measure how much an image synthesis model actually uses its output resolution.
  3. 提出了一个快速的,易于计算的用以度量 GAN perceptual variability 以及坍缩行为的方法。
  4. 表面了样本数量太多是导致难以使用 GAN  ImageNet 上生成样本的重要原因,并提供了一个明确的解决方法。
  5. 通过实验展示了那些表现出色的 GAN 并不是在记住样本。
  6. CIFAR-10 上的 IS 标准上达到了新的 SOTA

 

Methodology

The log-likelihood of the correct source

LS E[log real I 
= fake Xfake)]

The log-likelihood of the correct class

Lc EliogP(C = c IXreal)l+ 
EliogP(C Xfake)l

D is trained to maximize Lc+Ls.

G is trained to maximize Lc-Ls.

 

模型架构对比

C (ebSSJ 
Conditional GAN 
(Mm Chindera 2014)

(Present

 

Experiment

实验表明当模型不变时,增大训练集的类别数目会降低生成样本的质量。

AC-GAN 模型的结构允许按类别将大型数据集分离为子集,并为每个子集训练生成器和鉴别器。本文中所有在 ImageNet 的实验都是使用 100 AC-GAN 进行的,每个 AC-GAN 10 样本划分上进行训练。

 

把生成的样本输入到一个预训练好的 Inception Network 做分类通过其准确率来间接体现出生成样本的可辨识度(discriminability。实验表明(将生成的高分辨率的图片手动降低分辨率,对比降低前后的可辨识度)生成高分辨率的图片有助于提升辨识度。

 

使用 MS-SSIM 衡量生成样本的多样性,注意 MS-SSIM 本来是拿来衡量图片压缩算法的质量的。

1.0 
0.8 
0.6 
0.4 
0.2 
0.0 
10 
30 
thousands of minibatches

红线是训练失败的类别(生成器坍缩),黑线是训练成功的类别,红色虚线表示在所有 ImageNet 类别的最大 MS-SSIM 值。

 

通过使用 L1 距离度量的最近邻算法找出最接近的图片,之后进行对比,说明模型并不是简单地记住训练数据。

 

 

通过在模型的隐空间做插值实验,也可以用来说明模型过拟合的程度。

 

固定 z但是改变类别 c这样可以生成结构相似但是风格不同的样本:

每一行的 z 都相同;每一列的 c 相同。

(这个效果是真的 impressive

 

 

类别要怎么划分呢?具体来说:

  1. 每个 split 多少个类别比较合适?这里作者做了对比实验:

  1. 每个 split 的类别是相关的好还是不相关好?实验表明类别的选择对生成样本的质量没太大影响。

作者认为既然类别数目增加时生成器的坍缩率也上升了,因此用于解决生成器坍缩的方法可能也适合用于解决这个类别数目不能过多的问题。

未经允许,禁止转载,本文源站链接:https://iamazing.cn/