
具备 850,000 个内核的单个 CS-2 芯片此刻可行料理 120 万亿个参数 AI 模子,这点模子比具有 100 万亿个突触的人脑更繁杂。经过导入装备多达 2.4 PB 闪存 + DRAM 内存的 MemoryX 机柜,这成为可能,况且 Cerebras 还提供了一种扩展解决方案,应允高达 192 个鉴于 CS-2 的体系经过 SwarmX 构造互连以实现总计1.632亿焦点料理能力。
Cerebras Systems 以全球上第一大的料理器而闻名,每个芯片集成了数十万个内核。这点内核非是咱们此刻在计算机料理器中见到的常见 X86 内核。相反,他们是相似于 Nvidia 的 Tensor 焦点的 AI 改良焦点,因而这点芯片旨在料理可与人脑的繁杂性相媲美的繁杂计算模子。此刻,Cerebras CS-2日前维持全球上第一大和最快单芯片料理器纪录的料理器是几年前公布的,但该企业一直着力于提升其吞吐量,此刻能够提供鉴于 CS-2 的体系可行料理 120 万亿个参数的 AI 模子,理论上击败了可行激起 100 万亿个突触的人脑。作为参考,当前的超等计算机 GPU 集群最高可达 1 万亿个参数。
赫然,具备 850,000 个内核的单个 CS-2 料理器此刻可行击败人脑,但 Cerebras 还提供了一个扩展解决方案,应允高达 192 个 CS-2 体系串联事业,并经过高达 162百万个 AI 改良内核。CS-2 芯片有一块大平板电脑那末大,是在台积电的 7 nm 节点上制造的,具备 40 GB 的片上 SRAM。关于大脑级模子而言,这类内存在数量是不够的,因而 Cerebras 提议了外部 MemoryX 机柜,可提供更多内存并在片外存储模子参数,从而为模子自身解放片上内存。这类方法与新的 SwarmX Fabric 相联合,使 Cerebras 能够在 192 个 CS-2 体系中近乎线性地扩展功能。
SwarmX Fabric 在 PHY 等级集成以太网并紧缩数据以在高达 32 个 CS-2 体系的现存节点之中更快地传输数据,每个节点的带宽约为 1 Tb。全部 SwarmX Fabric 交换机都干脆接连到 MemoryX 盒,该盒可行在闪存和 DRAM 的混合中扶持多达 2.4 PB 的内存。该盒子具备完整的内存容量,能够存储高达 120 万亿个参数。
这点体系很可能本钱太高,以至于 Cerebras 的消费者名单中只包括、情报和科学实体,如阿贡实验室。
更多技艺剖析关心咱们。
|