全球最大AI芯片打破大型模型单机训练记录,Cerebras欲“秒杀”GPU-欧宝足球平台,欧宝足球平台官网

欧宝足球平台,欧宝足球平台官网以制造世界上最大的加速器芯片 CS-2 晶圆规模引擎而闻名的公司 Cerebras 昨天宣布,它在使用“巨核”进行人工智能训练方面迈出了重要一步。该公司已在单芯片上训练了全球最大的 NLP(自然语言处理)AI 模型。雷锋网(公众号:雷锋网)

欧宝足球平台,欧宝足球平台官网AI大模型单片机训练新纪录

欧宝足球平台,欧宝足球平台官网NLP模型的开发是人工智能的一个重要领域。使用 NLP 模型,人工智能可以“理解”单词的含义并采取相应的行动。 OpenAI 的 DALL.E 模型是典型的 NLP 模型。该模型可以将用户输入的文本信息转化为图片输出。

欧宝足球平台,欧宝足球平台官网例如,当用户输入“鳄梨形扶手椅”时,AI会自动生成与这句话对应的几张图片。

不仅如此,该模型使人工智能能够理解有关物种、几何、历史时代等的复杂知识。

然而,要实现这一切并不容易。传统的 NLP 模型开发具有极高的算力成本和技术门槛。

事实上,如果只谈数字,Cerebras 开发的模型的 20 亿个参数在同行的背景下显得有些不起眼。

前面提到的 DALL.E 模型有 120 亿个参数,而迄今为止最大的模型 Gopher 是 DeepMind 去年年底推出的,有 2800 亿个参数。

但除了数量惊人之外,Cerebras 开发的 NLP 还有一个巨大的突破:降低了开发 NLP 模型的难度。

《巨核》是如何战胜GPU的?

按照传统流程,开发 NLP 模型需要开发者将庞大的 NLP 模型划分为若干个功能部分,并将其工作负载分散到成百上千个图形处理单元上。

数以千计的图形处理单元对制造商来说代表着巨大的成本。

技术难关对厂商来说也是痛苦的。

切片模型是一个定制问题,每个神经网络、每个 GPU 以及将它们连接(或互连)在一起的网络的规格都是独一无二的,并且不能跨系统移植。

制造商必须在第一次培训课程之前考虑所有这些因素。

这项工作极其复杂,有时需要几个月才能完成。

Cerebras 说这是 NLP 模型训练“最痛苦的方面之一”。很少有公司拥有开发 NLP 所需的资源和专业知识。对于 AI 行业的其他公司来说,NLP 训练过于昂贵、耗时且无法使用。

但如果单个芯片可以支持20亿参数的模型,就意味着不需要使用海量GPU来分散训练模型的工作量。这可以为制造商节省数千个 GPU 的培训成本以及相关的硬件和扩展要求。它还为制造商省去了对模型进行切片并将其工作负载分布在数千个 GPU 上的痛苦。

Cerebras 不仅痴迷于数字。要评估模型的质量,参数的数量并不是唯一的标准。

相比“巨核”上诞生的模型“勤奋”,Cerebras希望模型“聪明”。

Cerebras之所以能在参数数量上实现爆发式增长,是因为使用了权重流技术。这种技术将计算和内存占用量解耦,并允许内存扩展至足以存储任何数量的在 AI 工作负载中增加的参数。

由于这一突破,建立模型的时间从几个月缩短到了几分钟。开发人员可以“通过几次按键”在 GPT-J 和 GPT-Neo 等模型之间切换。这使得 NLP 开发变得更加容易。

这导致了NLP领域的新变化。

正如 Intersect360 Research 首席研究官 Dan Olds 对 Cerebras 成就的评论:“Cerebras 能够以经济高效且易于访问的方式将大型语言模型带给大众,这为人工智能开辟了一个激动人心的新时代。”

雷锋网原创文章未经授权禁止转载。有关详细信息,请参阅重印说明。

11183快递查询网

OB欧宝体育官方网站入口,ob欧宝体育官网手机登陆平台

版权声明

本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 2648956941@qq.com 举报,一经查实,本站将立刻删除。

水瓶座女生性格(水瓶女吃醋小细节 三种表现方式)文章链接:https://www.agrj.cn/baike/270674.html

最近发表