GP-GAN: Towards Realistic High-Resolution Image Blending

Published:

img

About Merging Algorithm:

GP-GAN其实就是将融合任务拆解成了两个部分:
1.让GAN来学会低清晰度上融合后的颜色约束
2.加上poisson融合的梯度约束,来保留高纹理细节

步骤:

1) 先用alpha融合后的图取laplacian金字塔的coarsest scale作为输入图,来训练一个GAN让他学会在低清晰度上做融合(GAN高清任务无法克服),得到x_L,再up-sample到x_h的分辨率,并且被输入x的finer scale的laplician金字塔优化。生成的图作为后续融合的颜色约束。
2) 然后再用Gaussian-Poisson 方程进行迭代计算。

img

Detail:

1.训练blending GAN的时候,采用WGAN的方式,不同的是中间层加了个全连接层用于(Fuse the global information)融合全局信息,只是卷积在图像融合task中会缺乏全局信息)
Loss采用 L2作为content loss(文章中说perceptual loss 更好。但是为了快速训练就用了L2) 加上GAN loss

img

这里的GAN loss 权重为0.001

img

2.在第二次进行融合的时候,用了Gaussian 和 Poisson, 前者常用于提取低频颜色信息,后者用于高频纹理信息,迭代优化cost function:

img

beta值就是背景颜色保留度,在这里设为1.

迭代优化过程:

laplacian金字塔提取不同的维度,在不同的金字塔下迭代优化:

img

Data:

数据方面用的是同个位置的图像在不同季节,天气,以及一天中不同时间段的图像。
因为groudtruth比较难获取,就选用了要融进去的背景图作为groudtruth,copy-PASTE的作为前景
( (d) false/ (b) true)

img

作者还说了,尽管用了中心patch的mask1作为训练,但是还是学到了比较好的网络,当输入为任意的mask时,能够很好的输出结果. 如上图,就是用了标注工具,标注出下面田野作为mask输入,输出图可以学到很好的融合。

对比实验:

img

用了copy&paste的图像前的图像作为颜色约束,和用GAN出来的图像作为颜色约束,会更好。

评估方式:

1.用了一个叫做RealismCNN(能分辨出真实还是合成图片的一个网络)的网络来评估。
img

2.用了AMT来评估: (输入为要融的前景和背景)、 (输出为结果图) img
(poisson融合最低,较好是改良的poisson融合)

img

存在问题:

对于远离训练数据集内的数据,生成会有问题,意味着要收集大量场景的数据集。

Leave a Comment