上色|0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎

基于深度学习对动漫线稿智能上色,赋能动漫制作可节约30%人力
中国漫画的需求量在不断增加,而动漫制作成本一直居高不下。究其原因为动漫制作是一个复杂且耗时的过程,需要大量工作人员在不同阶段进行协作。
动漫制作过程中,需先创作关键帧草图,接着完成中间动作草图,最后在设计的颜色图表基础上反复为所有线条上色。
在上色部分,需要大量重复工作,例如画师画好人物风格后,有大量人物形象的相同或相似帧需要上色,而其背景和特效大多可以复用。若能找到一个自动一致的草图框架着色方法,就可以显著提高动画制作的效率,大大节省开支和人工成本。
能给漫画线稿上色的AI工具可能并不稀奇了,但目前业内较多是针对静态漫画的上色工具,而动画的上色难度更高,需要保持前后风格的统一性、连贯性,对上色质量、精细程度了提出更高要求,静态漫画上色工具难以达到良好效果。
为此,爱奇艺率先推出智能上色引擎,自主研发智能上色引擎,利用深度学习,自动识别漫画内容,进行智能上色,帮助画师将更多时间花费在创造性的工作内容上,从而提高动漫内容更新频次,助力和赋能动漫及动态漫制作。
上色|0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎
文章插图
目前有一些针对静态漫画的上色工具,在上色时,需人工参与优化局部的上色效果。而爱奇艺智能上色引擎无需人工参与,上色过程也更为便捷。助力带动国内动漫市场活跃度,进而激发创作者创作更多新作品。
这主要是因为爱奇艺智能上色引擎采采用了基于GAN的自研模型。该模型引入了注意力机制和语义参考信息,使得模型能够理解线稿。同时多种loss相结合,用于像素级别的精细匹配和上色。此外,该上色引擎还设计了色彩参考模块和风格参考模块,来提高上色图片的色彩丰富度和风格统一性。而且在上色引擎的研究过程中,形成多个子模块,如光影分层模块,同时这些子模块也可以延展应用到其他领域,满足该领域的上色需求。
同时,爱奇艺的智能上色引擎支持两种上色模式,既能依照爱奇艺自研的精美风格上色,也可以根据不同动漫工作室的指定风格进行上色,如写实风、白描风、可爱风等,并可以直接用于工业生产。深度学习需要大量的数据,比如线稿等,通过爱奇艺智能上色引擎获取到的线稿数据,可构建线稿数据库以及不同风格的动漫数据库。
与传统动漫上色流程相比,爱奇艺智能上色引擎提供分层上色的模式,以便于专业画师可以灵活调整,让上色结果更加贴近画师的创意。
上色|0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎
文章插图
此外,爱奇艺智能上色引擎解决了许多传统上色的问题,可呈现更好的上色质量和更精细的效果。
·动画中的动漫人物风格统一:设计风格和色彩参考模块,提高上色图片的色彩丰富度和风格统一度,各帧之间的动漫人物可保持风格统一;
·服饰的统一性:引入语义参考模块和注意力机制,保证上色结果在语义上的准确性, 各帧之间的人物形象可保持语义统一 ,如视频人物可根据特定要求,保持服饰统一;
· 人物更加生动:根据具体需求调整网络结构,使模型与数据更匹配,上色质量更高,阴影面积、颜色色调方面与原画的差异更小,且更为精细,人物画面也更加生动。
上色|0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎
文章插图
爱奇艺智能上色引擎可帮助画师增效数倍,每张线稿只需0.7秒就可完成上色,预计可在动漫制作上色环节中节省约30%的人力。
上色|0.7秒完成动漫线稿上色,爱奇艺发布AI上色引擎】爱奇艺推出的全新上色模式,优化了动漫行业的工作方式,提高了动漫制作的工作效率,帮助画师将更多的人力投入到了创作类工作中。同时,爱奇艺自主研发的上色风格,还为专业的动漫画师提供了更多的上色思路。