ACG爱好者+程序员发生的无尽能量。
自从绊爱在2016年底发布了第一个视频之后，这场名为虚拟偶像的大火就越烧越旺。
虚拟偶像被称为vtuber，v是虚拟（virtual）的缩写，而tuber则提醒了她们与正常人认知中偶像的差异：虚拟偶像首要的活动场所是在Youtube上，她们的头像是虚拟的，身高体重等等人设都是虚拟的，只要背面的主播（又被称为中之人）是实在的。
自称“国际第一名虚拟主播”的绊爱
今日，在互联网上活泼着不计其数的虚拟偶像。她们有些隶属于较大的企业，有专门的画师负责制作人物的模型，开展比较好的还会有3D建模的支撑；有些则隶属于个人，很难得到3D模型，可是也得有详细的画师在背面供给足以进行面部捕捉的人物立绘。
画师，这样一个作业造就了虚拟偶像这个工业，也构成了“成为虚拟偶像”的根本门槛。即便早就有了Facerig这种简易又便利的面部捕捉软件，可是做一个能用的3D脸部模型对绝大多数没有相关经历的人来说仍是过分困难
Facerig标志性的小浣熊
可是面部捕捉的模型（即便只要个头）并不简略
即便在Vtuber职业兴旺的日本，一起把握3D建模和人物规划的人才也不算多。这点反映在商场行情报价上便是：在网上一个能用的3D虚拟偶像模型出价近4万人民币，更多的个人Vtuber都挑选了简略的2D图画叠加，这样人物只能做出简略的动作，比方摆头或许眨眼——就算这样，也需求几千元人民币的维护费用。
2D图画叠加而成的简易Vtuber
帕鲁克·昆古恩（Pramook Khungurn）是一位在谷歌地图日本分部作业的软件工程师（不过他自己是一位结业于美国康奈尔大学的泰国人）。之前他首要研讨的范畴是计算机图形学，还对算法和机器学习有所涉猎。而在所有这些个人简历性质的描绘之外，这位泰国程序员仍是一位喜爱ACG文明的人。
昆古恩在一篇毛遂自荐网志中使用了长门有希作为封面图片
一直以来，他把自己计算机图形学上的才能运用到了对ACG的个人兴趣上，比方参加到双叶频道对计算机体系的拟人化。最近，他（就像日本许多ACG爱好者相同）迷上了虚拟偶像。这位程序员当然也不会画画，但他找到了其他方法来“成为偶像”。
昆古恩的作业效果
昆古恩将虚拟偶像的模型交给深度神经网络进行学习，让AI学会了怎么样处理动漫人脸上的各个部分，就像上面那张图相同，经过调整“左眼”、“脖子”的参数，操控人脸的运动。他期望在此基础上输入任何一张人脸，都能做到如此自然地运动，就像下面这样。
奥巴马与彩虹社的Vtuber们
昆古恩的设想源于主动生成动漫人物的GAN图库以及衍生出的一系列动漫人物相关的图片生成网络。昆古恩觉得，已然深度学习的人工智能是未来动漫创造的重要东西，那么深度学习是不是也能协助创立Vtuber内容？
GAN主动生成动漫小姑娘的进程
昆古恩先从简略的2D模型下手，他先是截下了彩虹社（一个虚拟偶像企业）许多vtuber做出不同姿态（眨眼、回头）时的截图，给定每种姿态一个编号，导入到能自我学习的神经网络中去——先教会AI辨认这些人物的不同姿态。
绊爱的眨眼
在体系有了必定的区分才能后，昆古恩将GAN图库中的8000个模型加以处理后导入到神经网络中。经过处理，这些看起来各不相同的动漫人物头像其实都能够被拆分红多个部分，用算法生成她们没有被画出来的许多姿态。
绊爱的旁边面拆解图
当然，拆分动漫人物的各种部位也不简略。昆古恩发现现在大部分红熟的图画辨认技能都是用于真人的，而动漫人物和真人有很大的差异——比方动漫人物的头往往很古怪，有夸大的头发和夸大的尺度。这一度成为一个严峻的问题，昆古恩在博客里写道：“最大的问题是，我不知道她们的头究竟在哪……”为此他专门创立了一个识头东西，这个东西能扫除头发和帽子的搅扰，预备判别出人物的“头骨”（也便是天灵盖）。
终究，昆古恩完成了根本可用的“依据动漫图主动生成Vtuber”学习网络，这个网络花了16小时剖析了100万张来源于GAN图库的图片。现在，这个体系能够精确的经过输入的任何一张动漫图片，来生成图片中人物的许多动作。使用者能够终究靠调整参数改动人物的表情，也能够直接导入到面部追寻软件中，让软件依据摄像头捕捉到的真人表情主动调整参数。
昆古恩放出的可用模型
仅有令人遗憾的是，昆古恩还没能将这套体系开源并把它放到网上。在论说研讨进程的论文结尾，他说到，因为他和谷歌日本的合同，谷歌方面有权要求取得这项体系的专利权，他正在测验经过内部检查来将软件、体系和神经网络数据的版权分配给自己。
期望有朝一日自己上传图片当虚拟偶像的朋友能够重视昆古恩的Github页面。
