韩国游戏巨头研究头像AI卡通化，终于实现了翻译的“信达雅”

韩国游戏巨头研究AI头像卡通化，最终实现“忠实优雅”的翻译。

文字| 光谱

在年轻一代中，很多人都是ACG（动画、漫画和游戏）的铁杆粉丝。 在社交网络上，你经常会看到动漫人物的头像，因为对于这些用户来说，共同的爱好是他们识别彼此、增进交流的有效方式。

但存在两个小问题：一是热门动漫作品不多永恒之塔宠物，撞头事故时常发生。 而且，无论账号所有者的性别如何，头像都是可爱的女孩，久而久之就变得认不出来了。 每次在网上看帖子，就像看着一群动漫人物互相留言、点赞……

众所周知，基于神经网络的人工智能近年来发展迅速。 其中一种技术称为风格转移。 简单来说，就是让A图片获得了B图片的风格，但仍然具有A的明显特征。

通过这项技术，二次元爱好者也可以让自己的头像具有动漫风格。 但效果还是不太理想。 看起来就像是用画笔和颜色来描画脸部照片：

这种风格转移其实是违背初衷的：很多人用动漫头像是为了可爱，但最终输出的效果却一点也不可爱。

不过ACG迷们并不会停下脚步！

一组韩国人工智能研究人员最近发表了一篇论文，展示了他们在图像到图像翻译方面取得的重要进展。

他们达到的效果看起来更像是他们找到了一位漫画家，仔细地重新创作了原始照片。 效果超越现有的所有头像卡通化技术：

红色框标记的是原始图像（a）和输出结果（e）。 输出的头像不仅风格更接近我们在动画中经常看到的图像，而且与原图的辨识度也很高。

基于无监督学习方法和生成对抗网络（GAN）的架构，研究人员添加了新的注意力模块，并发明了一种称为“自适应层-实例归一化”的归一化方法（），统一机制并开发了新的神经网络。

这项研究被命名为 U-GAT-IT: with Layer- for Image-to-Image [1]。

正是因为研究人员设计了新的注意力和归一化机制，我们从输出结果中可以看到这个神经网络对不同特征的处理是不同的。

应该放大的特征，例如眼睛，被放大； 应该缩小的特征，例如鼻子和嘴巴，也被缩小； 至于其他特征，比如发型、发色、肤色，甚至面部阴影，也都还原得相当准确。

下图分别展示了该生成对抗网络的生成器和判别器的架构：

研究人员指出，之前的图像风格迁移结果之所以看起来像笔划，是因为必须将原始图像的线条背景映射到输出结果； 他们开发的注意力和标准化机制可以映射原始图像和输出结果。 目标风格图进行注意力绘制，然后引导模型对不同区域和特征进行不同的重建。

换句话说，这个新模型可以理解动漫头像必须有更大的眼睛，更线性的头发，以及更明亮的头发和眼睛颜色。 它将根据这些原则进行翻译（从输入的参考头像中获得）。

研究人员在论文中提到，他们的模型在简单风格迁移的基础上达到了一个新的水平，并且具有变形的能力（）。

他们发明的自适应层实例标准化机制还具有其他一些优点，例如可调节性。 研究人员可以分别调整图层（Layer）和实例（），以在输出中实现不同程度的形状和材质。 种类。

如下图所示，横行从第三到第六，通过调整归一化机制得到了不同的结果：

在文本翻译中，输出结果必须符合目标语言的语法、使用习惯等。 图像翻译（图像到图像）也是如此。 你可以这样理解：以前的风格转移只是“直译”，但U-GAT-IT却在“信雅”上实现了突破。

这项技术的另一个伟大之处在于，它可以准确地翻译几乎任何类型的照片（动物、宠物脸、风景），而无需对神经网络的参数进行任何调整：

该论文的第一作者是 Junho Kim：

值得一提的是，包括Kim在内的三位作者均来自一家被称为游戏界“韩国二人组”之一的韩国游戏公司； 另一位作者来自波音韩国工程技术中心。

公司开发的老牌网络游戏《天堂》（1&2）于1998年推出，已在包括中国在内的多个国家持续运营21年。 旗下还拥有《永恒之塔》等多款知名游戏。 但很少有人知道的是，它实际上是韩国在人工智能研发方面最激进的公司之一。

据《韩国时报》报道，2011年成立了专门的研发团队，目前运营着人工智能中心和自然语言处理中心两个独立的研究机构。 前者负责游戏AI、语音识别和计算机视觉，后者则专注于语言理解和知识系统。

人工智能中心、自然语言处理中心负责人在公司举办的活动上

两个中心的负责人直接管理公司创始人兼CEO金泽臣。 员工总数约160人，今年将增加至300人左右。

投资深度学习的主要目的是将相关技术引入游戏和服务中。 目前，该公司正在利用人工智能来检测作弊行为，并根据玩家的游戏习惯和兴趣数据定制服务。

本文提到的技术将极大提升玩家的游戏体验——或许未来，不用捏脸，只需上传头像就能生成精准的卡通般的游戏角色。

波音公司去年刚刚在韩国设立了工程技术中心。 其主要研究方向包括自动化、人工智能、航空电子、数据分析等。该机构的技术员工主要来自韩国知名大学和科技公司。

目前该技术还没有可用的demo，不过如果你熟悉的话，可以浏览[2]上的代码或者阅读原文并按照说明在自己的电脑上运行一下~