模糊图像变高清人工智能只需几毫秒

网易科技报道07-11 22:56 跟贴 1024 条

网易科技讯7月11日消息,照片光线不是很好?不用担心,人工智能软件可以帮你解决。

据国外媒体报道,来自英伟达(Nvidia)、芬兰阿尔托大学(Aalto University)和美国麻省理工大学(Massachusetts Institute of Technology)的计算机科学家们训练了一种神经网络,可以恢复被噪声破坏的图像,在数毫秒内将模糊图像变得清晰。虽然计算机视觉算法已经被用于改善像Googel Pixel 2和iPhone X这样的智能手机拍摄的照片,但此项技术却更进一步。

这项新技术的训练过程与谷歌和苹果等公司训练手机软件清理图片的方式略有不同。

这款名为noise2noise的新模型无需查看大量高分辨率样本示例就可以学习图像清晰化。

“我们将基本的统计推理应用于通过机器学习进行信号重建的过程中,学习将被损坏的观察值映射到一个干净的信号上,我们得出了一个简单而有力的结论: 在一些常见情况下,未观察原始干净的信号就学会恢复信号是有可能的。”研究者们在发表论文的摘要中如此写道。

这项技术的理论基础有点令人费解,传统技术更多的是通过估计低分辨率和高分辨率图像对之间的像素值差异来最小化损失函数。

像素可以采用多种值来重建更清晰的图像,经过训练,神经网络学会了将这些值平均化。在对成对的损坏图像进行训练时,如果这两幅图像的像素值差异与清晰的和模糊的图像之间差异相似,同样的方法也适用。

“这意味着,原则上,我们可以用零均值噪声破坏神经网络的训练样本,而不改变神经网络的学习内容。”

模型训练

研究小组使用从ImageNet数据集中抽取的5万张图像进行了noise2noise模型的训练,并为每张图像添加了随机噪声分布。系统必须估计图像中噪声的大小并将其移除。

该系统在三个图像数据集中进行了测试,这些数据集包括了建筑物图像、人像以及医疗共振成像图。

然而,这个模型并不能纠正所有的缺陷。它不能将图像中镜框外的物体拉回,也不能重新定位照片获得最佳角度。但是当缺乏具有足够高分辨率的图像来进行样本训练时,这项技术就非常有用了。

“现实情况中有时很难获得的干净的训练数据,比如:低光摄影、基于物理规则的渲染(BPR)以及磁共振成像,”研究小组说,“对这一想法的验证,使我们不用再费力收集干净数据,就可以获得将此技术应用在此类情景中的潜在巨大收益。当然,世界上没有免费的午餐——我们无法获取输入数据中不存在的特性——但这项技术也适用于有明确目标的训练。”

这项研究的成果将于本周在瑞典举行的国际机器学习大会上得到展示。(Vicky)

打开网易新闻,阅读体验更佳
大家都在看