为了让《英雄联盟》S10赛事直播“快一秒”,虎牙拿出了怎样的“黑科技”?

subtitle 刘威娱乐社 10-27 07:48 跟贴 2 条

左为虎牙AI基础技术部总经理许佳,右为音视频网络技术部总经理谭舜文

随着《英雄联盟》S10比赛如火如荼地进行,即将迎来的半决赛、总决赛热度也肉眼可见的节节攀升。

在虎牙直播观看S10的一些朋友可能会发现:在直播进度条上,出现了一个个以一血、团战、胜利等为标注的点,用户可以十分方便地回溯不小心错过的精彩瞬间,或者是整局比赛;

而喜欢看弹幕、享受直播观赛现场感的玩家会发现,现在的海量弹幕,不会遮天蔽日到“吵到眼睛”了,它们遇到各色英雄、不同皮肤、技能、大龙等等就会主动隐去,甚至全图大招还能像扫把一样在重重弹幕中开出一条路的效果。

打开网易新闻 查看更多图片

此外,有些玩家跟身边的朋友对比的话可能会发现,虎牙直播好像比其他直播平台“快一秒”,直播进度更靠前一点。

实际上,所有的这些用户能感知到的变化,都是虎牙为今年S10赛事所做出的技术创新和突破。而幕后的这些“黑科技”新功能——AI智能回放、防遮挡弹幕,以及做到“快一秒”领先技术的后台架构,都致力于为用户提供一种“不一样”的观看体验。

那么这次S10期间,虎牙重点推广的这三大功能,到底是怎样的?背后有着什么样的考量和设想?手游那点事在S10决赛前夕,请来了虎牙AI基础技术部总经理许佳、音视频网络技术部总经理谭舜文,与他们聊了聊游戏赛事直播的进化。

一、拒绝同质化,虎牙如何引领赛事直播从“温饱”奔“小康”

尽管在今天的S10赛事中我们才切实地感受到虎牙在赛事直播上的迭代,但其实早在两年前,他们就已经开始启动了这一技术。

许佳表示“早期我们也和其他同行一样,专注于解决可用性的问题,第一,不要卡;第二,画质够高清。基本上3、4年下来,直播平台已经将基础问题解决了,相当于搞定了“温饱”。

但随着技术的逐步发展,用户会认为观看直播不出现卡顿已经是基本要求,我们的下一步就是实现“小康”,也就是如何让观众有更好的观赛体验。同时我们发现,S赛事有一个问题在于内容同质化。为了与其他直播平台打出差异化,我们在内容的生产和加工上下了一番功夫。”

于是从2018年开始,虎牙就把AI技术加入到了赛事直播当中,而“打点回放”和“AI智能弹幕”便是AI技术团队今年拿出的两个大招。

数据证明他们这一步走对了。在虎牙平台上,在开启弹幕效果的情景下,高达98%的用户都开启了防遮挡弹幕功能。而AI智能打点回放,目前也有10%的使用率。

许佳告诉我们,“98%的防遮挡弹幕开启率,意味着绝大多数用户对这一功能都非常喜欢,甚至是依赖。而AI智能回放的10%使用率,其实也是符合我们预期的,目前我们还没有刻意去宣传这一功能,我预计,在之后的比赛,或者明年的同期时候,当有更多的用户了解这一功能后,使用率会有进一步提升。”

从过去稳定、不出错地完成直播;到去年S9虎牙将赛事直播源做了4K的超分,实现超高清直播;再到今年做更多个性化的功能,虎牙在S赛的直播上已经完成了又一次的突破。

二、AI智能打点回放,解决硬核玩家痛点

实际上,在观看线上比赛时,回放并不是一个新的功能,过去不管是导播切画面、还是拖动进度条,都能实现“回放”的效果。但现在,虎牙加入AI技术之后,能够完成打点回放,自动识别精彩瞬间,并以此作为节点让用户实现一键回放。

这一功能的出现大大满足了硬核玩家的需求。“我们利用积累的技术去识别那些精彩的时刻,比如一血、击杀、防御塔摧毁,甚至团灭,从而帮助用户精确地定点到这个时刻,为用户带来更好的观看体验。”

对于目前这一功能的设定,许佳提到:“现在一局比赛平均10次左右,太多了就等于没打,太少又会忽略一些精彩环节,所以我们会通过AI数据分析关键节点,找到折中的尺度。我们也在补充和丰富数据,抽象出一些种类,比如弹幕量很大、观众反映很激烈的时刻,后面会考虑扩展打点类型,目前主要是击杀、团战、推塔的这种胜利时刻。”

对用户来说,这无非就是给不同的精彩瞬间设置起始的节点,但就是这样一个看似很简单的功能,要想精准实现这一效果,背后却有着不少技术上的难点。

“首先是‘精彩瞬间’的实时判断,如何做到满足观众的需求,其次是从计算机视觉角度去识别复杂的动态画面,数据的多样性对我们AI算法准确性带来很大的挑战。这是我们面对的两个最大的难点,也是不断突破的地方。目前我们识别的准确度大概在95%左右,但我们一直在不断迭代和补充数据。目前已经比较接近上限了,但是还有一定的提升空间。”

后来许佳也告诉我们,“打点回放”这一功能他们会持续地优化和升级下去。

“未来我们还会往两方面进行升级,首先是“精彩时刻”的定义,我们现在已经定义了一些类别,未来还需要继续完善。另外一点,我们希望把打点回放的这套系统更加规模化,除了S10这些我们已经可以覆盖的赛事之外,我们也希望在像《和平精英》、《QQ飞车》等其他赛事,甚至主播的直播间也支持这个功能,能够把这个功能更大地输出,进一步拓展影响力,并提升用户黏性与观赛体验。”

三、防遮挡弹幕——兼顾线上狂欢氛围和比赛细节

那么,防遮挡弹幕功能研发的出发点又是什么?许佳说:“防遮挡弹幕跟智能回放是从两个纬度解决观众体验问题:回放是从时间上,智能防遮挡弹幕是在空间上,它们都是为了给观众呈现精彩的节点,精彩的区域,是互补的。”

像S10这种大型的赛事直播,很多硬核玩家可能会看的很细致,会看比如英雄何时放大招以及操作的细节。但另一个问题在于,S10这类大赛事,弹幕一般都是海量的,尤其是“精彩时刻”。如果用户开了弹幕,就看不到英雄和操作,如果关闭弹幕,就无法了解其他观赛者的想法,就缺少了“现场感”。

为了兼顾观赛的“现场感”与捕捉选手的操作、赛场上的细节,许佳团队结合了以前做的检测和分割的技术,开发出了智能防遮挡弹幕功能。

自然,这当中也有许多技术难点。

许佳在谈到技术难题的时候告诉我们,他们在保证防遮挡弹幕功能开启下画面的稳定性,和功能的准确率上做了多次迭代,以保证最佳的体验。同时在与准确性相关的实时性上,许佳团队也尽力做到不滞后:“弹幕分割区域必须跟着英雄、技能走。这方面我们做了很多优化的工作。”

但他也表示,现在的功能还没有尽善尽美,接下来的优化方向主要有两点:“第一,在抖动平滑上面尽可能地准确,追求极致,同时会根据用户反馈,来调节遮挡的范围和时间。”

“第二,像AI智能弹幕,从我们内部来看是首次尝试,也是行业首次。我们也希望将其扩展到其他的赛事上和很多的主播直播间,毕竟,让观众在我们的平台上有更好的观看体验,就是我们的目标”。

许佳表示,虎牙公司在技术上也重视对直播数据的数据挖掘,通过大数据挖掘配合运营策略,实现虎牙的业绩连年翻翻,特别是在主播的运营层面,通过数据挖掘发现新主播的价值,构筑了虎牙的腰部主播生态。在大数据方面,虎牙公司部署了40几个发明专利,在公司也注重对数据的利用,将数据利用的理念进行执行层面的灌输。

他说:“虎牙公司另外一个比较重视的方向就是AI基础技术研发,虎牙除了有数字人技术平台外,还打造了AI中台,海聪机器学习平台等。比如,2020年,虎牙在CVPR,ICML,Siggraph Asia, ACCV等行业顶会上发表多篇论文,在人脸结构化和场景结构化等基础AI技术上取得新的突破性进展。而在专利方面,虎牙公司部署了超过60项国内发明专利,20项以上的国际发明专利。”

四、持续追求“快一秒”的直播体验!

除了很多功能上的创新,虎牙也有着技术的升级。音视频网络技术部总经理谭舜文讲到,相比于去年的S9,今年虎牙在S10直播的技术上主要有两大方面的升级。

首先,就是前文中提到的智能打点、防遮挡弹幕,拒绝同质化。其次,除了4K超分、画质上基本触达行业天花板的更深层次优化外,在直播延时上做了较大的优化——较为直白的说法是“快一秒”,但实际操作上技术能力让直播延期降低了40%左右。

在达到4 K 、20M 的前提下,虎牙做了整套内容加工系统之后,为满足“低延时”这种基础需求也会有一定的压力。

“我们的系统不仅承载了用户基本诉求,还嵌入了媒体加工,这意味着引入多一个环节就会多一点延时。整套系统下来,尽管加工变得更加复杂,但是我们确保延时比以前还低了40%。”谭舜文在讲到虎牙面对的这种压力的时候解释道。

“我们进行了全链路的延时优化,从端到端,其中包括源端、后台的传输、加工节点、观众端,才达到了目前的效果。”

而谈及更长远的愿景,谭舜文说,在核心上,虎牙未来是要打造更沉浸式的观赛体验。

“沉浸式的直播体验是我们的一个愿景,从现在的AI美颜、虚拟主播,走到类似《头号玩家》的沉浸式体验。现在我们做的超分、AI标记打点这种技术,就是朝着这个愿景而开发的初级版内容生产网络。”

“最终我们要做到一个超大带宽、超低延时的内容生产网络,兼顾非常丰富、复杂的AI处理能力,我们希望搭建一个更偏内容生产的音视频直播系统。”

最后,对于即将到来的S10总决赛,谭舜文和他的团队感到有压力,但更多的是对自身能力的信心。

“S赛事对直播研发人员来说,像每年一次的大考,但我们团队在类似的用户扩容、基础质量保障上面花了非常多功夫,有着丰富的经验。” 谭舜文说。

“具体到整个S10赛事质量上,我们还做了一些创新性质的优化,比如P2P的分发网络分发弹幕。我们在底层的技术上做了很多工作,所以信心十足。”

作为一家以游戏直播为核心业务、致力于打造业内领先直播平台的技术驱动型内容公司,可以看出虎牙在技术层面的投入为用户不断提升的观赛感受和体验,并在未来继续通过技术能力为平台内容作支撑,做到无论面临哪种赛事“大考”,都能交出一份满意的答卷。

——————— End ———————

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
打开网易新闻,阅读体验更佳
大家都在看