打开网易新闻 查看更多图片

图片由AI生成

痛点

电影修复工艺繁杂琐碎,即便是经验丰富的修复师,也需要1个月的时间。火山引擎首次将视觉大模型应用于老片修复场景,借助其强大的生成能力和丰富的先验知识,实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。

解决方案

针对老旧电影修复的特殊场景,火山引擎对视觉大模型做了三方面算法优化:在图像生成方面,通过控制模型的边界条件、强化高质量生成空间等手段,显著提升大模型的图像输出质量;在视频场景里,通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段,让大模型在修复的过程中可以使用前后帧的信息,更好地处理视频任务;火山引擎还联合Intel在算法和工程上进行了多项优化,显著提升大模型在4K场景下的处理效率并兼顾算力成本。

老港片修复最大的挑战不是算法技术,而是如何保留影片原有的艺术风格。火山引擎和中国电影资料馆不断测试和反复调优,才达到算法服务于艺术的理想效果。以色偏和色彩的处理为例,此前的AI算法能够完成和优化一系列客观上色彩的问题,但对于部分艺术色彩上的还原容易产生偏差,火山引擎摸索了一种AI加速艺术修复的方案,能通过学习人工修复片段的数据获得更理想的色彩方案效果,从而加速修复进程。

成效

整体来看,大模型生成能力强,修复效果优于之前的算法,画面细节更自然;同时,大模型具有非常强的信息结构化能力,在学习了海量数据后,可以在其中提炼出大量的知识并“存储”在模型参数之中,其生成空间更丰富,能够应对更多的修复场景。