影院体验很爽，异能武术观感极佳，不过，回忆部分的动画比较奇怪。
——豆瓣观众
我特别喜欢AI那段，这个呈现方式非常新，既能保证表演准确度又能保证视觉风格化。
——原著作者米二
电影制作精良、演员表演准确，人物关系清晰、故事节奏明快、还有AI动画的技术创新，值得4星。
——电影人@张小北
电影对新技术的应用，体现在真人摹片动画与人工智能技术的结合上。
——导演乌尔善
由导演乌尔善执导、胡先煦、李宛妲主演的奇幻动作大片《异人之下》正在公映中。电影改变自“巅峰国漫”《一人之下》，诞生8年就突破300亿点击量。
△ 漫画《异人之下》点击量突破300亿
电影《异人之下》所讲述的仅仅是漫画第一篇的内容。
这一篇介绍了主角张楚岚和冯宝宝的身世，异人世界的基础设定以及江湖各路势力。
由于这一篇章的故事包含了大量人物回忆，乌尔善导演创新性地在回忆段落使用了AI加持的真人摹片动画。
乌尔善为什么要用真人摹片动画？电影是怎么将AI与真人摹片动画结合的？这些动画在电影中发挥了怎样的作用？这一技术在影视行业的应用潜力如何？
今天这篇文章就给大家说个明白。
1.在真人与动画之间：AI 助力创造2.5次元
《异人之下》电影中，张楚岚被徐翔拉入自己的回忆，为他讲述自己与冯宝宝半生的故事。此时，电影画面由真人瞬间转变为动画。
据乌尔善介绍，片中十八分钟的回忆片段不是常规的动画，而是剧组独创的新技术。
《异人之下》剧组首次在院线电影制作中结合了真人摹片动画与AI技术，创造了“将演员真实表演二维风格化”的独特质感。
那么，到底什么是“真人摹片动画”？
真人摹片动画是转描动画的一种。转描动画（Rotoscoping）是动画师以活动影像作为模板进行逐帧摹写再连成的动画，被描摹的影像可以是任何动态事物；而真人摹片动画则是以真人活动影像作为模板的转描动画。
常规的真人摹片动画有两个工作流程：真人实拍和手工摹写。
而电影《异人之下》中的AI真人摹片动画增加到了五个工序：真人实拍、关键帧摹片、动态摹片、3D特效制作、2K转4K。
△ AI真人摹片动画的五个工序
在真人实拍环节，演员在绿幕前完成表演。动画师随后对拍摄素材进行原画摹片，为真人“刷上一层漫画感”。
在“关键帧摹片”环节，动画师在原画摹片基础上增加背景、光影、色彩，使人物和场景合一。
在3D特效制作环节，剧组在传统的转描动画基础上再用AI的方式生成一遍动画的部分，并进行风格迁移，让动画更接近真人影像。
对于这次在真人电影插入动画的尝试，并不是所有人都理解。
很多人疑问：既然演员们都在，剧组还为只出现在回忆中的角色张锡林邀请了尚铁龙这样的老戏骨来演，为什么不能直接用真人拍回忆中的故事？
面对这些疑问，乌尔善表示这种设计是因为要在电影中区分回忆和现实，也是在向原作漫画致敬，希望用全新的视觉方式让原作粉在电影院里“重走回忆名场面”。
“动画部分最核心的事就是要让观众一下子知道这是在致敬原漫画”，乌尔善导演在动画测试会议上这样强调。
△ 电影《异人之下》复刻漫画名场面
虽然乌尔善导演不断强调“向漫画致敬“，似乎想吸引漫画粉丝，但对于动画风格的选择又尽可能向大众需求靠拢。
原著漫画和改编动画都是2D画风，但为了让没看过漫画的大众能将真人演员和动画人物一一对应，剧组选择了转描动画这一形式。
相较于手绘动画更大的自由度，转描动画有着基于现实的表意风格。
《异人之下》的18分钟动画中的人物形象、神态与演员在电影中的表现高度一致。
此外，剧组使用AI对动画进行的风格迁移更是让动画更加立体、更接近真人影像质感。
虽然电影为新技术付出了巨大努力，但观众似乎并不太买账。
《异人之下》漫画中的回忆部分包括了很多具有情感冲击力的情节，如张锡林临终托孤幼孙、徐翔与冯宝宝的半生羁绊等。
在电影中，受到时长限制，以及动画带来的演员表演细节的流失，不少漫画粉认为电影“该感人的地方不感人”、“回忆部分看不进去”。
有评论说：“在电影院听到'黄杨扁担'时已经准备开哭了，结果看到AI的诡异画风，眼泪又生生憋回去了“。
对于没看过原作的观众而言，动画的回忆虽然没带来理解障碍，但也没带来技术上的惊艳感，普遍认为动画部分“像PPT”、“廉价”、“僵硬”。
对此，故事接龙StoryStorm AI内容社区发起人、编剧宋东桓认为有很多因素导致了观众对这一新技术的冷感。
首先，电影从拍摄到后期制作到上映有很长一段周期，因此其采用的技术是有一定滞后性的。
AI一天，人间十年。虽然距离剧组完成后期可能不足一年，但在上映的今天再看到《异人之下》使用的AIGC技术，可能已经有些许落后了......
另外，AIGC这种高速发展的技术得到了大量关注，人们对创作者的要求也在不断升级。
今天人们可以在各种手机小程序上实现稳定的“AI转绘”操作，在电影院看到高度接近真人的动画就不会感到惊艳了。
2.AI+转描动画=？
转描（Rotoscoping）就是把拍摄的视频用纸描下来再做成动画，由美国动画大师马克思·弗雷歇尔（Max Fleischer）在1914年发明。
因为早期动画技术的限制和追求真实感的理念，有大量的动画作品使用了这种方法。
△ 早期动画师在转描机上制作动画
1937年，迪士尼推出了第一部动画电影《白雪公主》。为了生动表现白雪公主跳舞的画面，迪士尼聘请了女舞者录制了影像供动画师参考。
△ 舞蹈演员影像与转描后的动画
1941年中国也是亚洲的第一部动画长片《铁扇公主》同样使用了转描技术。
△ 《铁扇公主》海报
随着动画技术的不断成熟，近年来转描的使用逐渐变少，但没有完全消失。
新世纪以来，《捷克列车员》、《半梦半醒的人生》、《她真漂亮》等转描动画都广受好评。
△ 《捷克列车员》海报
过去一年多里，随着AIGC不断侵入各个领域，不少人开始探索AI能不能用于转描动画。
一直以来，转描动画的优点在于以相对低的成本让动画师画出流畅准确、有真实感的动作。
而转描动画的缺点在于人物做动作时色块的位移和线条的“抖动感”，以及有更多的细碎动作。
当人们试着用AI技术辅助制作转描动画（被称为“AI转绘”）时，这些缺点也依然存在。
2022年，一部名为《乌鸦》（The Crow）的两分钟动画短片就使用了AI转绘技术。
原始素材中真人舞者穿着黑色长裙翩翩起舞，经过AIGC工具的转绘后，舞者变成了一只跃动的乌鸦。
这个短片在技术上没有解决噪点闪烁的问题，但这些技术缺陷反而为短片营造出一种其荒诞诡谲的独特氛围，助力影片赢得了戛纳电影节中短片竞赛单元的评审团奖。
同样在2023年，Youtube著名特效频道Corridor团队就使用AI绘图软件Stable Diffusion，以AI转绘的方式创作了一部7分钟短评《剪刀石头布》，收获了广泛的好评，截至目前播放量已经达到470万。
△ AI转绘动画《剪刀石头布》收获超过400万的点击量
从这个短片看，AI转绘动画依然有光影不断抖动、人物动作僵硬等问题，但观感上在可以接受的范围内。
很多国内网友感叹：“已经比很多工期短又没钱的动画工作室做得好了”。
2024年3月，介绍已故美国黑人歌手Jackie Shane的纪录片Any Other Way: The Jackie Shane Story在西南偏南电影节公映，这部纪录片大量使用了AI转绘动画。
由于歌手生前影像资料的缺失，导演邀请了两位演员扮演青年和老年的Jackie进行真人拍摄，再训练Stable Diffusion对拍摄素材进行转绘。转绘动画最终占据了纪录片三分之一的时长。
从预告片看，记录片的转绘动画抖动明显。不过动画的油画质感、根据歌手所处时代不断变化的色彩滤镜营造了一种对逝去的神秘歌手的追忆氛围。
△ 转绘动画重现这位神秘歌手的生前风采，又制造了复古缅怀氛围
24年4月，在北京国际电影节“AIGC电影短片单元”竞赛中获得最佳影片奖的AI动画短片《致亲爱的自己 To Dear Me》也用了AI转绘技术。
短片中的人物有大量的大幅度动作，但人物的细节样貌以及关键道具蒲公英戒指都保持了高度的稳定性。
△ 《致亲爱的自己 To Dear Me》剧照
无论是用AI模型对真人摹片动画进行渲染，“增加一层漫画感”，还是用AI描图软件将视频逐帧变为2D特定画风，在AI技术还不足以“独立行走”的今天，AI已经与传统的动画技术碰撞出了很多有趣的火花，而且正在取得飞速的进步。
3.未来已来？AI 转绘动画的技术潜力
《异人之下》是国内首部将转描动画结合AI技术的院线电影。
那么，AI转绘动画的发展潜力如何？国内的技术发展又处于什么阶段？
对于这些问题，宋东桓分享了自己的观点。
宋东桓曾经担任第十四届北影节AI短片单元初评评委，主办与联合发起过超过30场AI短片赛事节展。谈到转描动画，他认为这种有百年历史的技术今天依然有生命力，而AI转绘大大提升了这项技术的执行效率。
比如2019年Amazon Original的高分口碑剧《抹去重来》就使用了转描技术，剧中有很多充满想象力的转场。
△ 电视剧《抹去重来Undone》海报
虽然《异人之下》是第一部使用AI转绘动画的电影，但未来一定会有越来越多电影使用AI转绘技术；这种技术可以用较低成本来实现较复杂的特效，用同一的动画风格来代替实拍中要求较高的合成工作。
关于AI转绘的发展潜力，宋东桓认为目前AI技术处于高速发展中：
截止到今年年初，AI转绘的标准还是“像”，但如今人们更看重神似而非形似的作品。
再下一步，AI转绘的标准应该是“无中生有”并且稳定。一个框架绿幕，经过转绘可以变成城堡大门、水帘洞，而且细节又高度统一。
AI转绘动画的另一个发展方向就是电影剧组使用3D模型+新一代AI手K，与真人拍摄摹片相结合来达成制作。
同样的事情在20年前也发生过——当沃卓斯基兄弟首次在《黑客帝国：重装上阵》中使用3D生成的角色完成“Neo大战100个史密斯”时，真人拍摄和3D动画就实现了非常有机的运动结合。
△ 《黑客帝国》中100个史密斯的经典场景
去年夏天，乌尔善尝试运用多种现代电影技术去阐释中国神话；
今年，乌尔善又一次成为“吃螃蟹的人”，首次在真人电影里大胆加入了不小篇幅的AI转绘动画。
从大众的反馈看，《异人之下》这次“打破次元壁”的尝试不算完全成功。
但是，这次技术上的求新或许会未来更多国产真人电影和动画带来灵感，技术的不断积累也可能在未来带给观众更大惊喜。
乌尔善导演一直用大投入的巨制影片推动中国电影的工业化进程，而其中积累下的宝贵经验，也终将助力中国电影用科技讲好中国故事。