机器之心报道
参与：路、李泽南
去年引起热议、能够生成逼真图像的 声名鹊起，相关论文后被 ICLR 2019 收录为 Oral 论文。今天论文一作 Andrew Brock 发推称：论文更新版已上传，模型架构有所更新——网络深度是原来的 4 倍、模型参数仅为原来的一半。Andrew Brock 还表示新版 BigGAN（BigGAN-deep）相比原版训练速度更快、FID 和 IS 均优于原版，且新版 BigGAN 在一些较难类别上的表现也优于原版，如人群和人脸，尤其是在 128×128 分辨率图像上。
论文作者表示，BigGAN-deep 的预训练模型将会随后放出。
BigGAN 横空出世
BigGAN 在去年 9 月一经提出即引起了大量关注，被称为「史上最强 GAN 图像生成器」，其生成图像的目标和背景都高度逼真、边界自然，并且图像插值每一帧都相当真实。
这些图像都是 BigGAN 自动生成的。
该论文一经发布，就引起了著名人工智能学者 Oriol Vinyals、Ian Goodfellow 的关注。11 月图片生成器，ICLR 2019 的论文评审结果出炉，这篇 BigGAN 论文获得了 8、7、10 的评分。BigGAN 的原版在 ImageNet 数据集下 Inception Score 竟然比此前最好 GAN 模型 SAGAN 提高了 100 多分（接近 2 倍）！
BigGAN 已被众多研究者们「玩坏」：如果把两种不同类型的事物合并，BigGAN 则会生成诡异的效果。
BigGAN 将正交正则化的思想引入 GAN，通过对输入先验分布 z 的适时截断大大提升了 GAN 的生成性能，通过截断隐空间来精调样本保真度和多样性的权衡。这种修改方法可以让模型在类条件的图像合成中达到当前最佳性能。
这项研究成功地将 GAN 生成图像和真实图像之间的保真度和多样性 gap 大幅降低。其主要贡献如下：
BigGAN vs. BigGAN-deep
目前，这篇论文已经出了更新版，模型架构也有所改进，新版模型名为 BigGAN-deep，从名字中我们可以猜测出二者在深度方面似乎有所区别。
在 128×128 分辨率的 ImageNet 上训练时，BigGAN 可以达到 166.3 的 Inception 分数（IS），以及 9.6 的 Frechet Inception 距离（FID）；而 BigGAN-deep 可达到 166.5 的 IS，7.4 的 FID，均优于原版 BigGAN。
BigGAN-deep 与 BigGAN 在 128×128 图像上的 IS 和 FID 对比。
那么 BigGAN-deep 相比于 BigGAN 有何不同呢？
BigGAN-deep 和 BigGAN 在不同分辨率图像上的评估结果对比。
模型架构
二者的模型架构如下图所示：
BigGAN 模型架构。
BigGAN-deep 模型架构。
从命名上我们可以看到更新版比原版多了个后缀「-deep」。据作者介绍，BigGAN-deep 的深度是原来的 4 倍。从模型架构上来看图片生成器，BigGAN 模型使用 ResNet 架构，在生成器 G 中使用了单个共享类别嵌入，对 latent vector z 应用了跳过连接（skip-z）。具体来说，研究者使用了层级潜在空间，使得 latent vector z 按照通道维度被分割为同等大小的块（该研究案例中是 20-D），每个块被级联到共享类别嵌入，并传输到对应的残差块作为条件向量。每个残差块的条件向量被线性投影，以为残差块 BatchNorm 层生成每个样本的 gain 和偏差。偏差投影以零为中心，而 gain 投影以 1 为中心。由于残差块依赖于图像分辨率，因此 z 对于 128 × 128 图像的完整维度是 120，对 256 × 256 图像的完整维度是 140，对 512 × 512 图像的完整维度是 160。
BigGAN-deep 和 BigGAN 的区别主要体现在以下几个方面：BigGAN-deep 使用了 skip-z 条件的一个更简单的变体：作者不是先将 z 分割成块，而是将整个 z 与类别嵌入连接起来，并通过跳过连接将得到的向量传递给每个残差块。BigGAN-deep 基于带有 bottleneck 的残差块，它合并了两个额外的 1 × 1 卷积：第一个卷积将通道数缩减为原来的 1/4，比之前的 3 × 3 卷积开销要小；第二个卷积产生所需数量的输出通道。无论何时通道的数量需要改变，BigGAN 在跳过连接中都依赖 1 × 1 卷积，但 BigGAN-deep 则选择了不同的策略，以在跳过连接中保持 identity。G 中的通道数需要减少，因此研究者保留第一组通道舍弃其他通道，以使最终通道数符合要求。D 中的通道数需要增加，因此研究者将输入通道原封不动地馈入 D，并将其与 1 × 1 卷积生成的其余通道级联起来。至于网络配置，判别器是生成器的完美反映。该模型中对每个分辨率使用两个模块（BigGAN 使用 1 个），因此 BigGAN-deep 的深度是 BigGAN 的 4 倍。尽管深度有所增加，但 BigGAN-deep 的参数却远远少于 BigGAN，这主要是因为前者残差块的瓶颈结构。例如，128 × 128 BigGAN-deep G 和 D 分别具备 50.4M 和 34.6M 个参数，而对应的原版 BigGAN 分别具备 70.4M 和 88.0M 个参数。所有 BigGAN-deep 模型在 64 × 64 分辨率、通道宽度乘数 ch = 128、z ∈ R^128 时使用注意力。
BigGAN-deep 效果
目前 BigGAN-deep 尚未开源，但作者已经把新模型的生成图像样本放在了论文所附链接中。
2018明星学术公众号TOP10重磅发布，机器之心再次上榜
1、本站资源针对会员完全免费，站点中所有资源大部分为投稿作者付费教程，切勿轻易添加教程上除本站信息外的任何联系方式，谨防被割，如有疑问请随时联系客服。
2、本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
×