2022年6月23日,年度计算机视觉顶级会议CVPR(国际计算机视觉与模式识别会议),在美国新奥尔良落下帷幕。

据悉,CVPR会议的主要内容是计算机视觉与模式识别技术,每年有约1500名参加者,收录的论文数量一般300篇左右。CVPR有着较为严苛的录用标准,会议整体的录取率通常不超过30%,而口头报告的论文比例更是不高于5%。而OPPO今年有七篇论文成功入选,跻身一流科技厂商之列。同时在广受关注的挑战赛上,OPPO也取得了三项第一、一项第二、四项第三的良好成绩。

打开网易新闻 查看更多图片

在AI深度学习打天下的时代,人工智能技术从“感知智能”向“认知智能”迈进。多模态被众多学者“押注”为开启下一代人机交互的钥匙。让人类见识了AI从语言到视觉桎梏的威力。开始初步逐步具备像人类一样的思考能力。多模态融合、3D视觉智能技术、自动机器学习等正在成为人工智能领域的关键研-究热点。OPPO在上述领域都均实现论文收录,在AI关键学术领域取得创新突破。

本次CVPR2022上,OPPO的7篇论文涵盖多模态信息交互、三维人体重建、个性化图像美学评价、知识蒸馏等多个研究领域。尤其是OPPO研究院提出CRIS框架,这个框架基于基于CLIP模型,但明显要强于CLIP模型,使得AI能够更加细粒度地理解图像与文本两种模态的数据。即使输入包含多重信息的文本描述,该框架也能够准确聚焦到对应的图像区域,显示出强大的细粒度跨模态匹配能力。可以说OPPO正在助力AI认知水平升级。

打开网易新闻 查看更多图片

比如:只需说明金发男孩,AI就能准确识别出图中的人物。

OPPO对AI算法的耕耘很深,比如其首款自研芯片马里亚纳 X的落地证明了OPPO自研芯片的技术与能力,而对于AI产业来说,马里亚纳 X或许为AI在移动领域的加速落地提供了新的思路。马里亚纳 X这枚NPU主要用于手机影像计算领域,专门为提升OPPO手机的影像体验而定制对专用AI芯片,AI算力达到了18TOPS,高过iPhone A15的NPU算力(15TOPS),能耗仅11.6TOPS/W。而在峰值算力强劲的同时,还能实现较好的能效。

基于这样的AI性能及高能效比,马里亚纳 X在手机影像领域实现了诸多突破,手机计算摄影发展多年,但大多数AI算法仍然只能针对单张或者多张照片进行处理,比如AI美颜、AI夜景拍照的后处理,本质上依然是以时间换计算,如果要算的更多,那意味着消费者往往需要在拍摄后等待更久的处理。

而马里亚纳 X让算法在视频端的应用从不可能变为了可能,这对于AI算法应用效果的提升来说是“从量变到质变”。也就是OPPO的手机可以实现在RAW上进行AI处理并实现4K的视频。通过这个芯片,OPPO首次把AI的20bit RAW、4K、Ultra HDR集成在一起,同时也首次在其安卓手机上实现了计算摄影的里程碑式的跳跃。

正如OPPO创始人兼首席执行官陈明永所说,OPPO已经走入了技术研发的“深水区”, 尤其是在芯片领域被国外大厂长期制霸的情况下,国厂商的弯道超车机会可能来自于AI技术的发展,这一点OPPO与海外公司起点并没有差太远。