泰国程序员开发VTuber形象生成体系人人都能当虚拟偶像

泰国程序员开发VTuber形象生成体系人人都能当虚拟偶像
2019-11-30 18:17:55 作者:责任编辑NO。许安怡0216

ACG爱好者+程序员发生的无尽能量。

自从绊爱在2016年底发布了第一个视频之后,这场名为虚拟偶像的大火就越烧越旺。

虚拟偶像被称为vtuber,v是虚拟(virtual)的缩写,而tuber则提醒了她们与正常人认知中偶像的差异:虚拟偶像首要的活动场所是在Youtube上,她们的头像是虚拟的,身高体重等等人设都是虚拟的,只要背面的主播(又被称为中之人)是实在的。

自称“国际第一名虚拟主播”的绊爱

今日,在互联网上活泼着不计其数的虚拟偶像。她们有些隶属于较大的企业,有专门的画师负责制作人物的模型,开展比较好的还会有3D建模的支撑;有些则隶属于个人,很难得到3D模型,可是也得有详细的画师在背面供给足以进行面部捕捉的人物立绘。

画师,这样一个作业造就了虚拟偶像这个工业,也构成了“成为虚拟偶像”的根本门槛。即便早就有了Facerig这种简易又便利的面部捕捉软件,可是做一个能用的3D脸部模型对绝大多数没有相关经历的人来说仍是过分困难

Facerig标志性的小浣熊

可是面部捕捉的模型(即便只要个头)并不简略

即便在Vtuber职业兴旺的日本,一起把握3D建模和人物规划的人才也不算多。这点反映在商场行情报价上便是:在网上一个能用的3D虚拟偶像模型出价近4万人民币,更多的个人Vtuber都挑选了简略的2D图画叠加,这样人物只能做出简略的动作,比方摆头或许眨眼——就算这样,也需求几千元人民币的维护费用。

2D图画叠加而成的简易Vtuber

帕鲁克·昆古恩(Pramook Khungurn)是一位在谷歌地图日本分部作业的软件工程师(不过他自己是一位结业于美国康奈尔大学的泰国人)。之前他首要研讨的范畴是计算机图形学,还对算法和机器学习有所涉猎。而在所有这些个人简历性质的描绘之外,这位泰国程序员仍是一位喜爱ACG文明的人。

昆古恩在一篇毛遂自荐网志中使用了长门有希作为封面图片

一直以来,他把自己计算机图形学上的才能运用到了对ACG的个人兴趣上,比方参加到双叶频道对计算机体系的拟人化。最近,他(就像日本许多ACG爱好者相同)迷上了虚拟偶像。这位程序员当然也不会画画,但他找到了其他方法来“成为偶像”。

昆古恩的作业效果

昆古恩将虚拟偶像的模型交给深度神经网络进行学习,让AI学会了怎么样处理动漫人脸上的各个部分,就像上面那张图相同,经过调整“左眼”、“脖子”的参数,操控人脸的运动。他期望在此基础上输入任何一张人脸,都能做到如此自然地运动,就像下面这样。

奥巴马与彩虹社的Vtuber们

昆古恩的设想源于主动生成动漫人物的GAN图库以及衍生出的一系列动漫人物相关的图片生成网络。昆古恩觉得,已然深度学习的人工智能是未来动漫创造的重要东西,那么深度学习是不是也能协助创立Vtuber内容?

GAN主动生成动漫小姑娘的进程

昆古恩先从简略的2D模型下手,他先是截下了彩虹社(一个虚拟偶像企业)许多vtuber做出不同姿态(眨眼、回头)时的截图,给定每种姿态一个编号,导入到能自我学习的神经网络中去——先教会AI辨认这些人物的不同姿态。

绊爱的眨眼

在体系有了必定的区分才能后,昆古恩将GAN图库中的8000个模型加以处理后导入到神经网络中。经过处理,这些看起来各不相同的动漫人物头像其实都能够被拆分红多个部分,用算法生成她们没有被画出来的许多姿态。

绊爱的旁边面拆解图

当然,拆分动漫人物的各种部位也不简略。昆古恩发现现在大部分红熟的图画辨认技能都是用于真人的,而动漫人物和真人有很大的差异——比方动漫人物的头往往很古怪,有夸大的头发和夸大的尺度。这一度成为一个严峻的问题,昆古恩在博客里写道:“最大的问题是,我不知道她们的头究竟在哪……”为此他专门创立了一个识头东西,这个东西能扫除头发和帽子的搅扰,预备判别出人物的“头骨”(也便是天灵盖)。

终究,昆古恩完成了根本可用的“依据动漫图主动生成Vtuber”学习网络,这个网络花了16小时剖析了100万张来源于GAN图库的图片。现在,这个体系能够精确的经过输入的任何一张动漫图片,来生成图片中人物的许多动作。使用者能够终究靠调整参数改动人物的表情,也能够直接导入到面部追寻软件中,让软件依据摄像头捕捉到的真人表情主动调整参数。

昆古恩放出的可用模型

仅有令人遗憾的是,昆古恩还没能将这套体系开源并把它放到网上。在论说研讨进程的论文结尾,他说到,因为他和谷歌日本的合同,谷歌方面有权要求取得这项体系的专利权,他正在测验经过内部检查来将软件、体系和神经网络数据的版权分配给自己。

期望有朝一日自己上传图片当虚拟偶像的朋友能够重视昆古恩的Github页面。

“如果发现本网站发布的资讯影响到您的版权,可以联系本站!同时欢迎来本站投稿!