打开

预处理过时了?GPU专家谈深度学习未来

subtitle
芯东西 2021-05-11 21:44
打开网易新闻 查看更多图片
芯东西(公众号:aichip001)编译 |高歌编辑 |温淑

芯东西5月11日消息,美国GPU加速方案供应商D2S的董事长兼CEO Aki Fujimura认为,因为通用图形处理单元(GPU)的计算能力已经进入新时代,深度学习(DL)可以不必花费大量的时间进行预处理。有时“浪费”一些算力可以减轻程序员的负担,带来“编程自由”。

他解释称,在算力足够的前提下,GPU即使处理所有数据也比预处理花费的时间更少,在减轻负担的同时也会提升计算效率。

Aki Fujimura曾在麻省理工获得电气工程学士学位和硕士学位,之后他在美国电子设计巨头Cadence Design Systems担任过首席技术官(CTO)。此外,Aki Fujimura还在多家企业担任过高管职位。

一、芯片技术不断提升,GPU算力持续增长

2000年前后,通用图形处理单元(GPU)出现,这意味着图像处理技术的快速发展。黄仁勋开始带领英伟达将GPU用于天气、自动驾驶、半导体制造等各个领域。

在22nm和28nm芯片可以满足很多应用的情况下,有很多的晶圆厂专注于继续优化这些成熟的制程工艺。但是高性能计算、智能手机等领域仍然渴望更多的计算能力和速度,台积电、三星等头部晶圆制造厂商也在加大投资,推动先进制程发展,使芯片制程变为3nm、2nm乃至更加先进。

随着芯片技术的不断进步,GPU的位宽不断加大,其计算能力也在一直上涨。

这种情况下,有计算机科学家称:“计算能力将很快不再是限制条件。”GPU在物联网设备中的流行,也在某种程度上证明了GPU算力的充足。

之前,曾有机器学习领域的研究人员提出,只要计算速度够快,没有人会在意数据与权重从内存移动到处理单元,再将中间结果存储回内存需要花费多长时间。

现在,虽然还是有很多研究集中在如何避免浪费计算能力上,但是也有一些工作开始探讨如何在无限的计算能力下实现运算。有研究人员开始认为,在算力资源较为丰富的情况下,可以浪费部分算力资源来提升效率,这部分浪费是一种“有用的浪费”。

Aki Fujimura提到,这种“有用的浪费”看起来可能比较矛盾。可是在计算中,它体现了重要、新兴的一类计算方法,即一开始就将算力假设为无限。现在,这类方法利用GPU丰富的算力使之前无法编写的程序成为可能,Aki Fujimura认为,这可能将成为计算的未来。

▲D2S董事长兼CEO Aki Fujimura

二、“蛮力计算”将加速数据处理速度,减轻程序员负担

在过去的十年中,人工智能(AI)解决方案层出不穷,深度学习(DL)的迅速崛起,大大推动了AI技术的发展。

深度学习是用于建立、模拟人脑进行分析学习的神经网络,并模仿人脑的机制来解释数据的一种机器学习技术。它的基本特点是试图模仿大脑的神经元之间传递,处理信息的模式。

此前的编程方法旨在教会计算机“思考”(例如,使用if/then/else等逻辑语句),并且需要通过预处理数据来确定什么是“重要的”,只向处理器发送“有价值的数据”进行计算,从而节约算力资源。

不过,为了做到这一点,使用者需要花费大量时间和精力来确定哪些计算资源是浪费的,确定后还要使用近似值来运行算法,而有时这种近似值会影响处理结果。

Aki Fujimura称,深度学习则是通过训练数十万、百万、上亿个数据,来教会计算机“识别”。在“有用的浪费”这一思想指导下,深度学习可以跳过预处理阶段,将全部数据发送给GPU,进行“蛮力计算”。在算力足够的情况下,即使GPU处理的所有数据也会比预处理排除部分数据更快。因此深度学习非常适合基于GPU的计算。

这种新的方法不仅可以大幅提升计算速度,也减轻了程序员的负担。这让程序员不用花费大量时间对计算机进行预处理,使他们有更多的精力探索体系结构问题,而不是去思考计算逻辑。

最后,Aki Fujimura强调,基于GPU的“蛮力计算”,或许会为该行业带来“编程自由”。

结语:GPU算力提升或加快AI进步

由于神经网络需要的计算量非常大,在很长时间里由于基础设施技术的限制该技术的进展并不大。但GPU的出现则打破了这一困境,也造就了深度学习的蓬勃发展。

当今,随着芯片技术的不断进步,GPU算力也在不断提升。上个月,英伟达的A100 GPU在数据中心基准测试中,性能表现相较CPU高出17-314倍。未来,GPU算力的提升,很可能会加速AI技术的发展,通过算力简化程序开发者的负担。

来源:EE Times

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
帮TA点赞
大家都在看打开应用 查看全部
网易热搜每30分钟更新
打开应用 查看全部
打开