据外媒报道，上个月，一组韩国研究人员提出了一种方法，利用图像转化，将一张简单的自拍照变成一张经典的日式动漫脸。与以往的前沿技术相比，这种新的“u - ga - it”方法产生了更好的视觉效果。
2014年生成式对抗网络（GANs）的诞生为图像合成的广泛应用奠定了基础，其中最引人注目的是图像转化。研究人员可以使用监督学习从成对的数据样本中学习映射模型，也可以使用非监督学习学习共享的潜在空间和周期一致性假设。在图像转化中，一个尚未解决的挑战是如何提高GAN模型在不同形状的图像之间的转化性能，比如从猫到狗，或者从自拍到卡通。
此次创新解决了这个问题：一个端到端框架，它包含一个新的注意模块和自适应层实例规范化（AdaLIN）。注意模块嵌入到发生器和鉴别器中，识别源图像和目标图像中的鉴别图像区域。研究人员针对特征图的重要权重训练辅助分类器，然后生成一组注意力地图，引导模型聚焦于眼睛和嘴巴等重要区域。
将AdaLIN应用于生成器的解码器中，可以在不调整模型结构或超参数的情况下，灵活地控制形状和纹理的变化程度。研究人员将u - ga - it模型与CycleGAN、UNIT、MUNIT和DRIT在5个未配对的图像数据集上进行了比较——自拍动漫、斑马和梵高、猫狗和人像。他们使用不同的评估指标来评估模型性能。在一项评估中，135名评委收到了来自不同方法的转化结果，并被要求选出他们最喜欢的。u - ga - it模型在四个数据集上明显优于其他模型。结果如下所示。
研究人员还使用核起始距离（KID）进行量化评估。KID的分数越低，真假图像之间的视觉相似性就越多。以下是实验结果。
这篇论文的三位作者——Junho Kim、Minjae Kim和Hyeonwoo Kang——都来自NCSoft，这家韩国电子游戏巨头以角色扮演游戏系列而闻名。NCSOFT自2011年推出其人工智能和自然语言处理（NLP）中心以来，一直在加大对人工智能的投入。去年，该公司推出了一款以强化学习为动力的人工智能系统，在其自主开发的游戏《刀锋战士》（Blade & Soul）中对抗人类职业玩家。
0