打开网易新闻 查看更多图片
图片由AI生成
痛点
电影修复工艺繁杂琐碎，即便是经验丰富的修复师，也需要1个月的时间。火山引擎首次将视觉大模型应用于老片修复场景，借助其强大的生成能力和丰富的先验知识，实现修复效果在清晰度、色彩、流畅度和瑕疵消除等方面的全方位提升。
解决方案
针对老旧电影修复的特殊场景，火山引擎对视觉大模型做了三方面算法优化：在图像生成方面，通过控制模型的边界条件、强化高质量生成空间等手段，显著提升大模型的图像输出质量；在视频场景里，通过采用设计时域的自编码器、光流特征对齐、时域条件约束等技术手段，让大模型在修复的过程中可以使用前后帧的信息，更好地处理视频任务；火山引擎还联合Intel在算法和工程上进行了多项优化，显著提升大模型在4K场景下的处理效率并兼顾算力成本。
老港片修复最大的挑战不是算法技术，而是如何保留影片原有的艺术风格。火山引擎和中国电影资料馆不断测试和反复调优，才达到算法服务于艺术的理想效果。以色偏和色彩的处理为例，此前的AI算法能够完成和优化一系列客观上色彩的问题，但对于部分艺术色彩上的还原容易产生偏差，火山引擎摸索了一种AI加速艺术修复的方案，能通过学习人工修复片段的数据获得更理想的色彩方案效果，从而加速修复进程。
成效
整体来看，大模型生成能力强，修复效果优于之前的算法，画面细节更自然；同时，大模型具有非常强的信息结构化能力，在学习了海量数据后，可以在其中提炼出大量的知识并“存储”在模型参数之中，其生成空间更丰富，能够应对更多的修复场景。