打开

全球最大芯片制造商取得重大人工智能突破

资讯速早知

2022-07-05 10:14湖北

关注
打开网易新闻 查看更多图片

世界上最大的处理器制造商 Cerebras Systems打破了使用单一设备训练的最复杂 AI 模型的记录。

借助由公司的晶圆级芯片 ( WSE-2 ) 提供支持的一个CS-2 系统,由于软件级别的新优化,Cerebras 现在能够训练具有多达 200 亿个参数的 AI 模型。

该公司表示,这一突破将解决人工智能工程师最令人沮丧的问题之一:需要在数千个GPU上划分大型模型。结果是一个大大减少开发和训练新模型所需时间的机会。

Cerebras 将人工智能带给大众

在自然语言处理 (NLP) 等子学科中,模型的性能与参数数量呈线性相关。换句话说,模型越大,最终结果越好。

如今,开发大规模 AI 产品传统上涉及在大量 GPU 或加速器上传播模型,这可能是因为内存中存储的参数太多,或者计算性能不足以处理训练工作负载。

“这个过程很痛苦,通常需要几个月才能完成,”Cerebras 解释说。更糟糕的是,该过程对于每个网络计算集群都是独一无二的,因此该工作不能移植到不同的计算集群或跨神经网络。这完全是定制的。”

尽管最复杂的模型包含超过 200 亿个参数,但在单个 CS-2 设备上训练相对大规模的 AI 模型的能力为许多人消除了这些瓶颈,加速了现有参与者的开发,并使以前无法使用的参与者民主化。参与空间。

“Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众,这为人工智能开辟了一个激动人心的新时代。Intersect360 Research 首席研究官 Dan Olds 说:

“看到 CS-2 客户在海量数据集上训练 GPT-3 和 GPT-J 类模型时所做的新应用和发现将会很有趣。”

更重要的是,Cerebras 暗示其 CS-2 系统将来可能能够处理更大的模型,“甚至有数万亿个参数”。同时,将多个 CS-2 系统链接在一起,可以为比人脑更大的 AI 网络铺平道路。

特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。
打开网易新闻,阅读体验更佳
16赞
目前还没有跟贴,欢迎发表观点
为了一个爵位,贝克汉姆脸都不要了?
山东临沂一女子马路上持棒球棍殴打另一女子,警方通报
台湾导演爆料其台北故宫任职的朋友透露:台中的故宫文物已清空,准备运往美国
成都出现龙线虫?疾控部门已上报,昆虫学家:需采集到实体鉴定才能确认
地方财政 进入非常魔幻时刻!
国药集团:奥密克戎变异株国产mRNA疫苗已提交临床申请
为了一个爵位,贝克汉姆脸都不要了?
网易热搜每30分钟更新
打开应用 查看全部
打开