这两天，抖音上一款特效——「变身漫画」，简直火到不行。
从明星到路人，堪称全民参与。
这个特效基于人物的面容，很好的转换成了二次元漫画风格。
尤其是眼睛的处理，诠释的淋漓尽致。
当然发型也都是「满分转换」，分叉、造型等细节可以说是丝毫不差了。
抖音网友们直呼：终于看到这个特效啦！早就想看偶像的漫画风，圆梦了！
突破「次元壁」的关键技术那么如此有趣的特效，是怎么做到的呢？
虽然目前并没有看到专门对应此特效的研究，但是有关「风格迁移」的研究，并不是新鲜的事物了。
而在众多研究中，打破二次元和三次元的关键技术，就是GAN (对抗生成网络)。
用GAN实现漫画风早在去年，港中文、哈工大和腾讯优图的一篇最新研究，可以将人脸照片转化成如同手绘版的卡通图，甚至还能反向转换，将二次元的卡通图像，转换成现实中可能的样子。
将真实人脸照片转化成卡通图像，效果超越了CycleGAN。
还能转换成日漫画风，自带了热血青春的气息。
这项研究利用到的技术叫做Landmark Assisted CycleGAN，它利用面部标志特征来定义一致性损失，指导在CycleGAN中训练局部鉴别器。
整体结构如下：
http://www.moremorewin.net/imgserver/imgs/2020/06/21/830068aa1c2f1e2f68493fa9ed7b18b4.jpg整体来说，这个转换过程分为3步。
首先，生成器先根据CycleGAN生成一张粗糙的卡通人脸。
随后，模型根据第一步生成的图像，生成一个预训练回归量（regressor），来预测面部landmark，对面部的关键点进行标记。
最后，通过局部和全局两种鉴别器，研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段，强调了landmark的一致性，因此最后的生成生成结果逼真且有辨识度。
用GAN实现油画风例如MIT和IBM沃森联合实验室，发布的名为AI Portraits Ars的工具，只要给定一张图像，就能秒变「文艺复兴款」的油画风。
http://www.moremorewin.net/imgserver/imgs/2020/06/21/72fe39a283b5e8ce6f154fcef5b1084b.jpg值得一提的是，这不是风格迁移，而是GAN自己画出来的。
不止能拿着照片作画，看着视频也没问题，例如1960年的老电影《惊魂记》。
这项技术里GAN的生成器就像是个画师，而判别器就充当鉴赏家角色，负责识破生成器的画不是人类作品。
生成器里有个潜在空间，里面有千千万万的AI画像，都是从人类画作里，用不同的向量修改而成。
然后，要按着照片生成画像，就把一个向量 (Latent Vector) ，映射到千万AI画像里和照片最接近的一幅。
团队还设计了一个Inverter，可以从照片里近似出一个向量，用来找到潜在空间里最合适的那个向量。
http://www.moremorewin.net/imgserver/imgs/2020/06/21/0e8862cf7023176038290ad88357548f.jpg用GAN让纸片人活起来除此之外，GAN甚至还可以让2D形象变成3D“活物”。
例如来自华盛顿大学的照片唤醒 (Photo Wake-Up)技术，可以让你体验到麻瓜的神奇魔法。
还可以借此把角色们AR/VR化，只要动动手指，它们就能出现在你身边的世界：
这项研究整个操作过程，其实只用了三步：
http://www.moremorewin.net/imgserver/imgs/2020/06/21/da74abd95922f6b9329810511d624416.jpg第一步是分割纸片人：利用现成的图像分割算法，将画中人的躯干、四肢分割，再用人体姿态估计，提取画中人的2D骨骼关键点，忽略厚重的衣服，拟合出一种半裸的可塑3D模型，称为SMPL模型。
第二步是是细化纸片人3D模型：先将SMPL模型映射到2D世界对准轮廓，调好再次转换成3D模型确保精确度。
最后一步中，研究人员用CMU的Mo-cap人体动作数据集喂给模型。
让二次元走进现实除了抖音最近火爆的「变身漫画」特效外，隔壁岛国的一项「3D姿态追踪」也火了。
可以让漫画人物跟随着你的动作，一起翩翩起舞，仿佛二次元人物走进了现实。
利用「真人模型」也是可以的。
并且这项技术可在线体验哦。
http://www.moremorewin.net/imgserver/imgs/2020/06/21/e22e63771c7c7328ba627f3408bda692.jpg这样一来，和你心仪的二次元对象，在现实中共舞便不再是梦！
若是把明星作为模型输入的一部分，是不是也可以跟偶像共舞了？
咦？好像可以预见娱乐平台的下一个爆款特效了。
评论 (0)