打开网易新闻 查看更多图片

1986年,Geoffrey Hinton与David E.Rumelhart 和Ronald J. Wlilliams合著了一篇论文,首次将反向传播算法引入多层神经网络训练。如今,这篇论文已经成为推动人工智能爆炸式发展的核心。

然而在在上周三的一场多伦多 AI 会议上,Hinton 接受采访时透露:他现在对反向传播算法“深感怀疑”。

他认为反向传播算法并不是大脑工作的方式。想让神经网络能够自己变得智能,即所谓的“无监督学习”,可能意味着需要放弃反向传播。”

Hinton 所提到的反向传播算法在当今的人工智能领域扮演着重要的角色,它是训练神经网络的经典算法。在输入数据固定的情况下、反向传播算法利用神经网络的输出敏感度来快速计算出神经网络中的各种超参数。

它广泛运用于当下的深度学习领域,包括对图片进行分类的能力、与语音助手对话的能力等等。

引入了反向传播算法进行训练的深层神经网络有哪些强大应用?一起来看看:

语音识别

2009年,Hinton把深层神经网络介绍给做语音识别的学者们。2010年,语音识别就产生了巨大突破。

本质上是把传统的混合高斯模型(GMM)替换成了深度神经网络(DNN)模型,但相对识别错误率一下降低20%多,这个改进幅度超过了过去很多年的总和。

在此之后,在深度学习框架下,人们还在不断利用更好的模型和更多的训练数据进一步改进结果。现在语音识别已经真正变得比较成熟,并且被广泛商用,且目前所有的商用语音识别算法没有一个不是基于深度学习的。

图像分类

深层神经网络在语音识别上的应用成功了,那么图像分类呢?

在图像分类领域不得不提到ImageNet大规模视觉识别挑战赛,这项由斯坦福、卡内基梅隆、北卡以及密歇根等一流名校发起的一项计算机视觉竞赛,一直是计算机视觉方向发展的风向标,一直吸引诸多活跃的顶尖研究团队、学术名校和工业巨头参与其中。

其比赛设置:1000类图像分类问题,训练数据集126万张图像,验证集5万张,测试集10万张(标注未公布)。评价标准采用top-5错误率,即对一张图像预测5个类别,只要有一个和人工标注类别相同就算对,否则算错。

2010年ImageNet举办了第一届比赛,当时冠军的准确率(top 5精度)是71.8%,而2011年是74.3%。前两届的冠军采用的都是传统人工设计特征然后学习分类器的思路。

2012年Hinton和他的学生Alex等人参加了比赛,将深度学习运用于图像领域,把准确率一下提高到84.7%。

他们靠着深度学习震惊了计算机视觉界,从此大量的研究人员开始进入这个领域,一发不可收拾。2013年是89%,2014年是93.4%,2015年ImageNet数据集的精度已经达到了95%以上,某种程度上跟人的分辨能力相当了。

不仅仅是图像分类,在更广泛的视觉问题上,深度学习都产生了重大影响。简要列举几个如下:

人脸识别——LFW数据库上的结果,从最早的90%左右的正确率,一路被研究人员刷到了99.5%以上。人脸相关的应用受此影响,也越来越多。

图像分割——现在深度学习已经可以做到输入是一张图片,输出就是逐个像素分割后的结果,中间也不需要任何预处理,并且精度远超非深度学习的结果。

玩游戏—— OpenAI团队的杰作。基于深度学习和强化学习(Reinforcement Learning),计算机已经可以自己学习玩游戏了,整个过程不需要任何人的干预。在今年的TI比赛中,AI已经在DOTA游戏中实力碾压人类最强选手了。

目前,反向传播算法在多层神经网络的训练中有举足轻重的地位。这也意味着,在相当长的时间内,反向传播算法仍然会在未来的AI发展中发挥核心作用。

但Hinton对目前的效果依然不满意,他曾公开表示认为:“相信是这些不像大脑的东西,导致人工神经网络的效果不够好。”

打开网易新闻 查看更多图片

Hinton抛弃反向传播“另起炉灶”的想法也得到了谷歌云首席科学家李飞飞的赞同“没有工具是永恒的,即便是反向传播或深度学习”,李飞飞说最重要的事情就是:继续进行基础研究。

每一次科学的进步都需要科学家对前人的理论提出质疑,我们期待,Hinton大神能给人工智能的进步再迈出关键的一步。

AI纪 」 已入驻

今日头条 | 天天快报

搜狐 | UC头条 | 网易 | 百度百家

凤凰网 | 一点资讯 |雪球 | 知乎


商务合作,24小时内回复

合作邮箱:1404278895@qq.com