已购《培训行业这一年·2020》的读者可在多知网订阅号回复“新书惊喜”,参与读书话题讨论。

多知网4月21日消息,在腾讯教育主办的第二届MEET教育科技创新峰会上,作业帮副总裁罗亮发表了题为《数字化助力教育普惠》的演讲,在演讲中,罗亮拆解了作业帮各个业务的技术攻坚,也提到了对未来技术的展望。

在拍照搜题领域,罗亮提到,经过6年自主研发,我们建立一套完整的流水线,其中包含了30多种神经网络,每一次拍照经过260次的推算,200毫秒之内找到题目解析。 每分钟响应超过上百万的搜题。

在直播课方面,2020年作业帮春季免费直播课,总的人次超过3300万,公益课名家讲堂学生超过2300万人次,推出了高考解析直播课,观看超过了2100万人次。

在罗亮的讲解中,在直播课背后技术支撑包括: 音视频网络分包问题; 通过AI技术帮助实时分析学生上课状态; 通过视觉AI技术进行专注力监测等。

在课堂中,为提高学生的参与度,作业帮通过AI技术做了很多交互体验,如手势识别的功能,再如语音弹幕增加交互形式。

根据罗亮介绍,针对辅导老师的工作效率问题,作业帮也做了相关的系统。

对于未来,在罗亮看来,无论是AI、大数据、5G、AR、VR技术的应用,这些技术目前改变了行业和产品,还有一些技术需要更多的尝试和创新,我相信整个社会的进步和行业的进步,一定是基于技术上的突破,让过去不敢想的事情真正落地下来。

打开网易新闻 查看更多图片

(作业帮副总裁罗亮)

以下为罗亮演讲实录(经多知网编辑整理):

各位领导、各位嘉宾,大家下午好!

我是来自作业帮的罗亮,我负责研发体系,我现在给大家分享的内容是“科技助力在线教育普惠”。

当前,整个中国有1.97亿的中小学生,其中70%在三线及以外城乡地区,而正是这个大多数群体才更需要好的老师、好的内容、好的环境,满足教育上的需求。

如果作业不会做,有问题不会,唯一渠道就是找同学、找老师,在三四线城市可能有些题目同学也不会,家长也不会,求助无人,作业帮就是解决学生在这种学习环境下求助无人的状况。

到今天为止,作业帮累计激活设备超8亿,每月用户1.7亿。 今天我将主要分享作业帮的产品,以及背后的技术。

工具产品让学生随时随地有“AI老师”

作业帮第一大技术是作业帮APP拍照搜题,让学生随时随地有AI老师的产品,目前来说作业帮作为教育工具类的产品,是唯一进入全网TOP30的教育类APP,每月活跃用户数过亿,积累了超过3亿的题库。

做这样一个产品,其实解决的是用户的需求场景,有问题不会,通过拍照给你答案,并且告诉你这个题怎么解析,以及解析完根据知识点薄弱情况,掌握学、练、巩固的过程。

作业帮从2015年第一个1.0产品以来,我们一直持续做一件事情,拍照搜题,本质上是由文字识别、题目解析、版式分析、题目搜索、题目理解,发展由若干个系统,解决学生各样问题的体系。

在这个过程中,我们遇到非常多的技术挑战,特别在文字识别是我们第一道拦路虎。经过六年的技术创新和数据积累,作业帮拍搜业务目前已经是一个结合了神经网络,集群化的识别引擎。其中包含了30多种神经网络,每一次拍照经过260次的推算,200毫秒之内找到题目解析。每分钟响应超过上百万的搜题。

这是学生拍上来的真实的图片,可以看到图片是倾斜的,内容是不完整的。 在这个过程中,通过解决用户的问题,让AI变得越来越好,解决越来越多的问题。

到2020年疫情的时候,用户的场景出现了一些新的变化,因为在家上网课,用户拍照的照片发生了变化,有很多用户拍的题是拍的电脑题目,这个时候对我们的挑战又来了: 屏幕的反光很严重,并且会有频闪、摩尔纹等问题,这样又提高了识别难度,要进行大量的优化,使文字清晰地识别出来。

到今天为止,产品体验和技术手段在不断进步,过去是拍一张图片,今天是拍整张试卷帮你把所有题搜索出来,搜集每一道题的解析,不再有不会做的难题。

直播课两大法宝:自建系统和AI

作业帮第二块产品是直播课,过去通过互联网、通过在线教育打通的是空间的限制,把优质的老师资源、内容分发到三线及以外的城乡中,去年社会教育发生重大变化,作业帮做了一个春季免费直播课,总的课次超过3300万,也推出了公益课名家讲堂,学生超过2300万人次,推出了高考解析直播课,观看超过了2100万人次。

疫情把在线教育推上了风口浪尖,上好每一堂课背后有大量的人力、物力 支持,没有任何的准备,我们就硬着头发上,在春季免费直播课的战绩当中我们扛住了压力,没有出现过宕机等重大的事故。

其实直播课技术在我看来有两大技术的底层支撑,一个是技术本身,解决的是音视频网络分包问题,作业帮通过自研一套ZRTC的技术解决直播课音视频的传输,作业帮在全国有超过11个分部,学生分布在天南海北,通过双师班,小组内进行交流,并且跟主讲老师分布在全国不同的地方,一个学生在新疆,一个学生在北京,老师可能在合肥,其实这样三个节点的通信发生了全国的在线会议,这个对我们来说是很大的挑战,我们用了一年的时间,跟腾讯云建立了一张分布到全国,并且保证时延稳定的音视频分发网络,建立场景、服务如此庞大复杂的直播课体系,中间有非常多的技术挑战。

作业帮本身从原来单一的体系,变成多元的体系,背后有非常多的技术挑战和应对过程。

除了音视频直播技术,还需要提供AI技术,来赋能主讲老师、辅导老师、 学生本身,帮老师实时感知和分析学生关注状态和上课状态,通过面部表情对学生上课情况进行分析。 在上课过程中有大量的辅导老师,一个名师同时面对200个学生,观察自己小组的学生,听课状态是不是认真,是否在电脑面前有互动参与,我们通过AI技术帮助辅导老师提醒学生专注情况,就算一个老师一堂课有数百个学生,也可以帮助他们更好督促学生上课,或者学生有不懂的地方记录下来,帮助他课后解决问题。

通过视觉AI技术,专注力监测,我们可以提醒他的家长需要认真听课。 另外他们也很担心在线直播课,坐在屏幕面前视力会不会受影响,通过对学生眼睛、面部跟电脑距离的测算,我们能做到及时提示学生不要离屏幕太近。

在直播课堂当中,我们通过AI技术做了很多交互体验,自己做了手持识别的功能,面向低年级,其实我们发现在课堂上面通过视觉技术用手势进行交互,参与度有非常大的提高。 大量视觉技术的应用对算力是非常大的挑战,我们现在是云端整合方案,很多计算是放在用户终端上进行边缘计算,还有放在中心服务器进行计算。 低年级小朋友非常喜爱,参与感非常强,整个教学效果也得到了提升。

语音技术应用中,老师发一个题,同学们参与互动,语音弹幕增加交互形式,在英语学科,需要用户反馈的课程是非常有用的。这样的交互也可以让老师迅速通过语音识别技术,把这些反馈汇总到老师,老师根据时时汇总知道讲授情况如何,需要把哪些知识点再讲一遍,为了模拟教学场景,一个小组多个学生的集体发言,在这个过程当中遇到背景噪声、声音回传带来的影响问题、干扰问题,通过AI技术把这样的场景变得可行。

除了在课堂当中教学环节通过技术赋能,对于教研来说,我们也做了很多改善,为帮助教研老师筛选出来更符合教学的题目,我们为老师提供了一整套题库产品,也帮助老师在整个试卷配套材料当中起到一定作用。

目前来看在线直播课辅导老师的服务,在我们看来是教学过程中最重要的,学生大量的需求是在课堂之外课后作业、疑难问题的解答,辅导老师角色所需要的,除了课堂情况汇总,另外也要把各种学生上课交互数据给辅导老师进行分析,让辅导老师根据学生的情况、个体的特征跟家长或者跟学生进行沟通,有针对性提高这个学生的学习效果。

持续探索教育场景的技术升级

除了进行自身的技术建设外,在技术方面有几项是跟腾讯云合作的,体量最大的服务就是拍搜业务,大家也知道当前的AI技术是依赖于大量的算力和数据来构成的,要提升效果加服务,就要把模型做的更复杂一些。 但是这个过程中考虑的问题非常多,机器规模增加带来架构的复杂、时延的增加以及运维的困难,对我们来说都是最大的挑战。

自2019年合作开始,通过业务服务、GPU等的云原生改造,实现了实时弹性、可观测、韧性、自动化、可持续等特性,极大的提升了整体运维效率和服务稳定性。

而在直播课方面,作业帮的老师分布在11个分部校区,而学生分布在全国各地,如何让天南海北的老师和学生开展线上的实时教学互动,这涉及音视频的编解码、传输、网络路由、终端适配等一系列技术点。 我们和腾讯云一直在进行共同研究,针对在线教育公司的场景,建立一个行业技术解决方案。

此外,在大数据方面,我们每个月增量在5、6万PB的增量,这个数据已经是幸福的负担,要解决计算的成本,还有解决时效性,对我们来说是越来越大的技术挑战,这块跟腾讯云深度进行合作,无论是说EMR或者是COS集群,当中技术挑战都是很大的,在过去一年跟腾讯云一起深入研讨,深入合作,然后把这个解决方案真正应用到生产体系当中。

最后一点讲一下未来的展望,大家关注到这一点,无论是AI、大数据、5G、AR、VR技术的应用,这些技术目前改变了行业和产品,还有一些技术需要更多的尝试和创新,我相信整个社会的进步和行业的进步,一定是基于技术上的突破以后,让过去不敢想的事情真正落地下来。在这个过程当中技术在环境里面真正起到关键作用,因为最终的教育理念是因材施教,技术在这一点起到决定性的作用。

做到因材施教,想起来很简单,做起来实在是很难,如何量化一个学生的学习效果,怎么找出中间的关键效果,如何提供有针对性的教学方法,这个是值得我们深入研究,不光技术要提高,教学、教研、服务都要设计和研究事情。

随着在行业不断发展,以及技术不断进步,我相信这一天会来的,在不远的未来,有很多教研的产品和形式,真正帮助我们把在线教育做的更大更好。

这是我今天的分享,谢谢大家!

《培训行业这一年·2020》正在热销中,点击下图或者“阅读原文”订购

多知商学院2021新年大课新鲜出炉,扫码立刻报名!

打开网易新闻 查看更多图片