首页 理论教育 深度学习与深度合成:CycleGAN

深度学习与深度合成:CycleGAN

时间:2023-11-18 理论教育 版权反馈
【摘要】:也就是CycleGAN提出了一种在没有成对样本的约束条件下将图像从源域X转换到目标域Y的学习算法。图7-10CycleGAN的风格迁移想要实现风格转换,CycleGAN做了两个比较重要的改进,第一是设置了双生成器和双判别器。图7-11CycleGAN的循环一致性损失

深度学习与深度合成:CycleGAN

CycleGAN是一种完成图像到图像的转换的一种GAN网络,使用该算法可以把图像转换为另外一种不同的风格,比如把一张拍摄的自然风景图像照片转换为凡·高画风的风格,或者把一张人物生活照转换成动漫人物风格等,如图7-10将自然风景照片被赋予莫奈、凡·高等人的绘画风格。

在CycleGAN之前,Pix2Pix算法也可以实现风格转换,但是这类算法需要有成对的训练数据,要求源图像和目标图像只是风格不同,但是在内容上要非常相似,这对数据集的建立提出了较高要求;而CycleGAN的训练数据则没有这一要求,源图像和目标图像在内容上可以完全不同,算法同样可以实现把源图像的内容迁移到目标图像的风格中。也就是CycleGAN提出了一种在没有成对样本的约束条件下将图像从源域X转换到目标域Y的学习算法。

图7-10 CycleGAN的风格迁移(www.xing528.com)

想要实现风格转换,CycleGAN做了两个比较重要的改进,第一是设置了双生成器和双判别器。如图7-11中(a)所示,对应两个分布X、Y有两个生成器G、F,分别代表X到Y和Y到X的映射关系,两个判别器DX、DY分别对转换后的图片进行判别。第二定义了循环一致性损失(c cle-consistenc loss),将X的图片转换到Y空间后再转换为,为保持一致性,希望X与尽量相同,它们二者之间的距离定义循环一致性损失,这样可以有效防止G和F过拟合,例如,想把一个风景照片转化成凡·高风格,如果没有循环一致性损失,生成器可能会生成一张任意的凡·高风格画作来骗过D X,而无视输入的内容。

图7-11 CycleGAN的循环一致性损失

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈