编者按：本文来自微信大众号“量子位”（ID：QbitAI），作者郭一璞，36氪经授权发布。
看图，永远比看字省劲。
比如说，比较看文字版小说，看小说改编的漫画更简略轻松。
那么，怎样把一段故事主动变成漫画呢？
AI现已能做到了。给它一段故事，它就可以用图片把故事讲出来，稍加修正，就变成了一套连环画。
像这样的一段故事：
很久以前, 有个小男孩在森林里走失了, 他走了良久, 都走饿了, 他很想吃妈妈做的饼, 可这时分小男孩回不去呀, 所以他就在地上画了一个大大的饼, 还在饼上点 上芝麻。
小男孩看着看着, 如同自己现已吃上了大饼, 所以他感觉自己不是很饿了, 从头站起来沿着一条小路走.。
很快, 小男孩的爸妈就找到了他, 他们一同回到家, 吃上了真实香馥馥的饼。
AI可以把它变成这样的漫画：
并且，这种漫画方法还可以在电影工业中充任故事板，辅佐电影人们进行艺术创造。
找到能讲故事的图
那么这样的一个进程是怎样完结的呢？
首先要阐明一点，这些图片并不是AI随便画的，而是采取了一种更简略省劲的办法：
从现成的图库里找出一些构图类似的，拿来改一改。
这儿的图库，叫做GraphMovie数据集，数据来历是一些影评网站。
可是数据集里的图许多，怎样才能用AI主动的找出最契合你故事的图片呢？
这儿用到了一个模型，叫做情形感知密布匹配模型（Contextual-Aware Dense Matching model，CADM）。
它长这样：
依据故事的内容，CADM找到了这样的一些图画：
别的，还有一个模型叫做No Context，它是此前“看字找图”这个范畴中体现最好的AI。
No Context也找了一些图画出来：
不过，图仍是有点少，人家好歹也是个完好的故事，你总不能拿这么几张图就讲完，这样故事没有细节，读者的体会也欠好。
现在，请出第三个模型：贪婪解码算法，它担任依据故事里的细节，再找找能用上的图。
让它出马来补一补之后，故事立马就完好了：
把图片的画风共同
不过，就这样的作用，你会看得浑浑噩噩，如同并不能传达出前面文本里的故事。
问题出在哪儿呢？
第一个问题是，图片里有许多布景、环境等相关元素，跟故事主线毫无关系，看到它还会影响你对故事的了解。
需求把这些冗余元素删掉，这儿用到了何恺明的成名作Mask R-CNN，进行区域切割，删掉图片中和故事不相关的部分。
现在，这些图片长这样：
第二个问题，这些图片的画风实在是差异太大了，把这样的漫画拿出去，会被读者打的。
所以，需求把图片的款式共同同来，这儿用到了一个东西CartoonGAN，从字面意思就可以了解，这是一个让图片变成卡通风格的GAN（生成对立网络）。
在卡通GAN处理之后，这组图片变成了这样：
好像好了一些，可是还有一个大bug：这些人长得不一样呀！你说他们是同一个故事的主角，打死我也不信。
所以，第三个问题来了，怎样才能让这些人都长成一个样？
这儿，研讨者们直接找了一个软件，叫做Autodesk Maya，是一个在电影里处理3D图画的软件，靠它制造出3D的场景、人物和道具，用半手动的方法把9张图片里的人全变成一个样。
不过论文作者表明，未来这个制造3D图画的进程有望全主动生成。
这一顿操作，是真的猛如虎，9张八棍子撂不着边的图，现在画风共同、故事流通，乃至还弥补了布景和美化。
在电影工业中有大用处
其实，这样生成的“漫画”并不是终究成果。
它其实是用来拍电影的。
拍电影的预备进程中，需求一个Demo叫做“故事板（storyboard）”。
凭借故事板，电影人在创造的进程中就可以先改Demo，定下来之后再完结制品，把撕逼的进程放在前面，避免做完之后甲方爸爸再提修正意见，导致工作量急剧进步。
因而，像这篇论文里这样，主动生成故事板，就可以节省电影人的许多时刻，进步创造者们的出产功率。
人大博士出品
这篇论文的作者团队十分巨大，总共9位作者，别离来自中国人民大学、微柔和北京电影学院。
一作陈师哲现在在人大读到了博士五年级，也是曾在微软小冰团队实习，还从前赴CMU和阿德莱德大学访学。
她也是一位学术达人，只是本年一年，包含这篇论文在内就现已发了三篇顶会一作。
别的，微软小冰团队首席科学家宋睿华也参加到了这项研讨中。
宋睿华博士结业于清华大学，长时间研讨短文本对话与生成、信息检索与提取等范畴，曾担任SIGIR、SIGKDD、CIKM、WWW、WSDM等会议的程序主席或高档程序主席。
传送门
Neural Storyboard Artist: Visualizing Stories with Coherent Image Sequences
作者：Shizhe Chen, Bei Liu, Jianlong Fu, Ruihua Song, Qin Jin, Pingping Lin, Xiaoyu Qi, Chunting Wang, Jin Zhou
https://arxiv.org/abs/1911.10460v1
