打开

特斯拉高管披露最新超级计算机雏形,有望问鼎世界第一?

subtitle
澎湃新闻 2021-06-23 07:34

不会造超算的车企不是好的自动驾驶企业?这句话看来不是玩笑。近日,特斯拉公布了新型超级计算机,就每秒浮点运算 ( FLOPS)而言,它是世界上排名第五的超级计算机。新机器是特斯拉的第三个超级计算机集群,为还未发布的超级计算机Dojo(Dojo发音源自日语,意为 “道场”)的开发原型版本。一切顺利的话,超级计算机Dojo将超越目前世界排名第一的日本超级计算机富岳(Fugaku,富士山的别名)。
以上消息来自特斯拉人工智能与自动驾驶视觉总监(Director of AI and Autopilot Vision) Andrej Karpathy 在2021 年计算机视觉和模式识别会议 (CVPR 2021)上所作的报告。在2019年的特斯拉自动驾驶开放日(Autonomy Day)上,特斯拉CEO马斯克曾“剧透”了Dojo项目——专门用于大规模的图像和视频数据处理,其浮点运算能力达到了exaflop级别,也就是每秒运算百亿亿次。

Karpathy谈论新的超级计算机(37:46)

超级计算机(Super computer)通常是体量巨大、造价高昂的设备,拥有数以万计的处理器,旨在执行专业性强、计算密集型的任务,可完成极端尺度的宇宙模拟、为药物反应预测寻找新途径、发现可用于制造高效有机太阳能电池的新材料等任务,应用于人工智能、生物医药和智慧城市建设等多个领域。
Andrej Karpathy是计算机视觉和深度学习领域的顶级专家之一,博士毕业于斯坦福AI实验室,师从华人AI学者李飞飞。Karpathy的主要研究方向是卷积神经网络结构,自然语言处理,以及其在计算机视觉上的应用。
Karpathy表示,“我们展示的是使用720个80GB版本的8x A100节点构建的集群。这是一台巨大的超级计算机,就每秒浮点(FLOPS)运算次数而言,我认为它可能是全球第五的超级计算机。第五位目前由英伟达公司的 Selene 集群占据,该集群拥有非常相似的架构和类似的 GPU 数量(4480 对我们的 5760,所以少一点)”。
他于论坛中展示了它的三个集群之一的照片,并公布了新超级计算机的能力:总算力达1.8 EFLOPS(EFLOPS指每秒百亿亿次浮点运算),由5760个算力为321TFLOPS(TFLOPS指每秒万亿次浮点运算)的A100显卡组成720个节点,有10PB的存储空间,读写速度为1.6TBps。
· 720 nodes of 8x A100 80GB. (5760 GPUs total)
· 1.8 EFLOPS (720 nodes * 312 TFLOPS-FP16-A100 * 8 gpu / nodes)
· 10 PB of “hot tier” NVME storage @ 1.6 TBps
· 640 Tbps of total switching capacity

打开网易新闻 查看更多图片
一家汽车生产商为什么要做超级计算机?
Karpathy 解释道,如果想要让计算机以人类的方式对新环境做出反应,这需要一个巨大的数据集,以及超级计算机的处理能力,从而利用从整个车队收集来的数据训练和改进特斯拉自动驾驶仪 (Autopilot)和为下一代自动驾驶人工智能(AI)提供动力的神经网络。
而在所有自动驾驶公司中,特斯拉尤为需要超级计算机。
因为马斯克主张采用纯视觉的自动驾驶方法,其依靠摄像头和机器学习来支持其高级驾驶辅助系统和自动驾驶,而非采用激光雷达(LiDAR)、摄像头和雷达。在纯视觉自动驾驶方法下想改进这套自动驾驶AI达到足够的可靠性,自研适应计算需要的超级计算机便极为必要。
Dojo 将配合无监督学习算法(unsupervised learning,即无需人工对训练数据集进行标注,系统可以自行根据样本间的统计规律对样本集进行分析。如不给任何额外提示的情况下,仅依据一定数量“狗”的图片特征,将“狗”的图片区分出来),来减少特斯拉对于数据人工标注的工作量,进而帮助其数据训练效率实现指数级提升。
“Dojo使用我们自己的芯片和针对神经网络训练而优化的计算机架构,而不是GPU集群。如果我没弄错,这将是世界上最好的,”马斯克2019年如是称。
2020年,马斯克在推特(Twitter)发文表示,特斯拉的Dojo超级计算机能够实现每秒千万亿次浮点运算(1000 PFLOPS),这将使得Dojo成为一款真正的尖端超级计算机。马斯克称,特斯拉未来的Dojo超级计算机算力将要达到每秒钟exaFLOP(百亿亿次,是千万亿次PFLOPS的1000倍)的级别,并且运算速度要超过富岳(Fugaku),成为世界第一。
2020超级计算大会(SC20)的测算数据显示,日本的富岳是世界上速度最快的超级计算机,浮点计算的峰值速度达到442PFLOPS(PFLOPS指的是每秒1千万亿次浮点运算),最高性能超过1000 PFLOPS。

2020超级计算大会(SC20):日本超级计算机“富岳”世界第一,美国的 Summit 位列第二,第三是美国的Sierra,第四为中国的“神威·太湖之光” ,第五位是美国的Selene。

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
98赞
大家都在看打开应用 查看全部
网易热搜每30分钟更新
打开应用 查看全部
打开