GP-GAN: Towards Realistic High-Resolution Image Blending

About Merging Algorithm:

GP-GAN其实就是将融合任务拆解成了两个部分:
1.让GAN来学会低清晰度上融合后的颜色约束
2.加上poisson融合的梯度约束,来保留高纹理细节

步骤:

1) 先用alpha融合后的图取laplacian金字塔的coarsest scale作为输入图，来训练一个GAN让他学会在低清晰度上做融合(GAN高清任务无法克服),得到x_L，再up-sample到x_h的分辨率,并且被输入x的finer scale的laplician金字塔优化。生成的图作为后续融合的颜色约束。
2) 然后再用Gaussian-Poisson 方程进行迭代计算。

Detail:

1.训练blending GAN的时候，采用WGAN的方式,不同的是中间层加了个全连接层用于(Fuse the global information)融合全局信息，只是卷积在图像融合task中会缺乏全局信息)
Loss采用 L2作为content loss(文章中说perceptual loss 更好。但是为了快速训练就用了L2) 加上GAN loss

这里的GAN loss 权重为0.001

2.在第二次进行融合的时候，用了Gaussian 和 Poisson, 前者常用于提取低频颜色信息,后者用于高频纹理信息,迭代优化cost function:

beta值就是背景颜色保留度,在这里设为1.

迭代优化过程:

laplacian金字塔提取不同的维度,在不同的金字塔下迭代优化:

Data:

数据方面用的是同个位置的图像在不同季节,天气,以及一天中不同时间段的图像。
因为groudtruth比较难获取,就选用了要融进去的背景图作为groudtruth,copy-PASTE的作为前景
( (d) false/ (b) true)

作者还说了,尽管用了中心patch的mask1作为训练,但是还是学到了比较好的网络,当输入为任意的mask时,能够很好的输出结果. 如上图,就是用了标注工具,标注出下面田野作为mask输入,输出图可以学到很好的融合。

对比实验:

用了copy&paste的图像前的图像作为颜色约束,和用GAN出来的图像作为颜色约束,会更好。

评估方式:

1.用了一个叫做RealismCNN(能分辨出真实还是合成图片的一个网络)的网络来评估。

2.用了AMT来评估: （输入为要融的前景和背景）、 (输出为结果图)
(poisson融合最低,较好是改良的poisson融合)

存在问题:

对于远离训练数据集内的数据,生成会有问题,意味着要收集大量场景的数据集。