系统内存的未来，属于CXL

系统架构师通常对未来不耐烦，尤其是当他们看到好的东西即将到来时。因此，当谈到英特尔创建的 Compute Express Link 或 CXL 互连时，我们可以有一定的期待，因为该互连现在已经吸收了 Hewlett Packard Enterprise 的 Gen-Z 技术和IBM 的 OpenCAPI 技术。

在可预见的未来， CXL将成为跨计算引擎的内存结构标准。

CXL 2.0 规范在 PCI-Express 5.0 外围互连中带来内存池（memory pooling），这很快将在 CPU 引擎上可用，这是伟大的。但是所有的目光都已经转向刚刚发布的 CXL 3.0 规范，该规范建立在 2023 年推出的 PCI-Express 6.0 互连之上，带宽是上一代的2倍。

人们也已经开始考虑 CXL 4.0 ，在PCI Express 7.0之上提供另一个 2 倍带宽。根据预测，这将于 2025 年推出。

在某种程度上，我们预计 CXL 将遵循 IBM 的“Bluelink”OpenCAPI 互连所开辟的道路。“蓝色巨人”在“Cumulus”和“Nimbus”Power9 处理器中使用 Bluelink 互连来提供跨多个处理器的 NUMA 互连，运行 Nvidia 的 NVLink 协议以提供跨 Power9 CPU 和 Nvidia“Volta”V100 GPU 加速器的内存一致性，并通过 OpenCAPI 端口为其他类型的加速器提供更通用的内存连贯链接。

但显然，OpenCAPI 和 CXL 的路径不会完全相同。OpenCAPI 是 kaput，CXL 是数据中心内存一致性的标准。

IBM 在“Cirrus”Power10 处理器上放置了更快的 OpenCAPI 端口，它们用于提供与 Power9 芯片一样的 NUMA 链接，以及使用 Bluelink SerDes 作为内存控制器的新 OpenCAPI 内存接口。与 DDR4 或 DDR5 控制器相比，运行速度稍慢。但它占用的芯片空间要少得多，消耗的功率也更少——并且具有与芯片中的其他 I/O 完全相同的优点。

理论上，IBM 可以支持在 Power10 上的 OpenCAPI 互连上运行 CXL 和 NVLink 协议，但 Nvidia 有一些我们不理解的酸葡萄——不提供与 Nvidia 当前的“Ampere”A100 和即将推出的“Hopper”H100 GPU相干的内存。在 OpenCAPI 和 NVLink 之间的信号速率和通道数方面，IBM 和 Nvidia 之间可能存在阻抗不匹配。IBM 在其 Power10 芯片上有 PCI-Express 5.0 控制器——这些是独特的控制器，不是 Bluelink SerDes——因此本可以支持 CXL 一致性协议，但据我们所知，蓝色巨人也选择不这样做.

鉴于我们认为 CXL 是许多 GPU 加速器及其内存将在未来链接到 CPU 的方式，IBM 的这一策略似乎很奇怪。因此，我们正在推动 IBM 推出支持 CXL 2.0 和 NVLink 3.0 相干链路（coherent links）的 Power10+ 处理器，以及更高的核心数和更高的时钟速度，这可能发生在一年或一年半之后。

鉴于其 OpenCAPI 内存的巨大优势，IBM 没有理由无法获得部分 AI 和 HPC 预算，该内存通过 24 核双芯片模块驱动 818 GB/秒的内存带宽。我们还预计未来来自 Nvidia 的数据中心 GPU 计算引擎将以某种方式支持 CXL，但具体如何与 NVLink 并排或合并尚不清楚。

目前还不清楚HPE 如何将 Gen-Z 知识产权捐赠给 CXL 联盟。但IBM 上周捐赠给 CXL 指导组织的 OpenCAPI 知识产权将用于打造 CXL 4.0 标准，这两家系统供应商正在给CXL方面提供他们必须力所能及的帮助。为此，他们应该受到赞扬。

换句话说，我们认为 Gen-Z 和 OpenCAPI 都远远领先于 CXL，并且可以很容易地被用作节点内（in-node）和节点间（inter-node）内存和加速器结构。HPE 已经设计了一套非常优雅的内存结构开关和光收发器，IBM 是唯一一家在其Bluelink SerDes 上提供跨 Nvidia GPU 的 CPU-GPU 一致性以及通过其 OpenCAPI 内存接口连接盒内或盒内内存的能力的 CPU 供应商。

我们相信 Gen-Z 和 OpenCAPI 技术将有助于使 CXL 变得更好，并改进所提供的一致性的种类。CXL 最初提供了一种非对称一致性，其中 CPU 可以像本地一样读取和写入加速器中的远程存储器，但使用 PCI-Express 总线而不是专有的 NUMA 互连——这是一个巨大的过度简化——而不是拥有完整的缓存CPU 和加速器之间的一致性，这会产生大量开销，并且会产生自身的阻抗不匹配，因为过去 PCI-Express 比 NUMA 互连要慢。

但正如我们之前指出的那样，随着 PCI-Express 的速度每两年左右翻一番，并且随着带宽的跳跃，延迟保持稳定，我们认为 CXL 很有可能成为一种通用的 NUMA 互连和内存控制器，就像 IBM 对 OpenCAPI 所做的那样，英特尔已经为 CXL 内存和 CXL NUMA 提出了这一建议，Marvell 对 CXL 内存当然也是这么想的也是。这就是为什么在 CXL 3.0 中，该协议提供了所谓的“增强的一致性”，这是另一种说法，它恰好是设备之间的那种完全一致性。

例如，Nvidia 在一个NVSwitch 网络或 IBM 在 Power9 CPU 和 Nvidia Volta GPU 之间提供。英特尔一开始不想做的那种完全一致性。这意味着支持 CXL.memory 子协议的设备可以通过 CXL 交换机或直接点对点网络直接访问彼此的内存，而不是不对称地访问。

CXL 没有理由不能成为内存区域网络的基础，因为 IBM在 Power10 芯片上通过其OpenCAPI 内存的“memory inception””实现创建了内存区域网络。正如英特尔和 Marvell 在他们的概念演示中所展示的那样，chippery和interconnects的调色板对于像 CXL 这样的标准是非常开放的，并且在许多向量上对其进行改进非常重要。行业让英特尔赢得了这一场竞争，从长远来看，我们会因此而变得更好。英特尔在很大程度上放弃了 CXL，现在各种外部创新都可以承担。

英特尔将 Universal Chiplet Interconnect Express推广为用于连接计算引擎插槽内的chiplet的标准也是如此。基本上，我们将生活在这样一个世界中：运行 UCI-Express 的 PCI-Express 连接插槽内的chiplet，运行 CXL 的 PCI-Express 连接节点内的插槽和芯片（这变得越来越短暂），并且 PCI-Express 交换结构跨越有朝一日，一些机架甚至一行可能会使用 CXL 将 CPU、加速器、内存和闪存连接在一起，形成可分解和可组合的虚拟硬件服务器。

目前，即将出现的是在 PCI-Express 6.0 传输之上运行的 CXL 3.0，以下是 CXL 3.0 如何与之前的 CXL 1.0/1.1 版本和当前在 PCI-Express 之上的 CXL 2.0 版本叠加5.0 运输：

当 CXL 协议在 I/O 模式下运行时——即所谓的 CXL.io——它本质上与用于 I/O 设备的 PCI-Express 外围协议相同。CXL.cache 和 CXL.memory 协议在 PCI-Express 传输之上添加缓存和内存寻址，并以 PCI-Express 协议的大约一半延迟运行。

举例而言，就像我们在 2021 年 9 月与英特尔交谈时所做的那样，CXL 协议规范要求当缓存线丢失时对 snoop 命令的 snoop 响应必须低于 50 纳秒（引脚到引脚），而对于内存读取（引脚到引脚），延迟必须低于 80 纳秒。相比之下，在典型的 X86 服务器中，本地 DDR4 内存访问 CPU 插槽大约需要 80 纳秒，而 NUMA 访问相邻 CPU 插槽中的远程内存大约需要 135 纳秒。

通过在 PCI-Express 6.0 传输之上运行 CXL 3.0 协议，所有三种类型的驱动程序的带宽都增加了一倍，而延迟没有任何增加。由于 256 字节流控制单元或 flit 固定数据包大小（大于 PCI-Express 5.0 传输中使用的 64 字节数据包），带宽增加到 256 GB/秒 x16 通道（包括两个方向） ) 和 PAM-4 脉冲幅度调制编码，可将 PCI-Express 传输上的每个信号的比特数加倍。PCI-Express 协议结合使用循环冗余校验 (CRC：cyclic redundancy check) 和三向前向纠错 (FEC ：three-way forward error correction) 算法来保护通过线路传输的数据，这是一种比以前的 PCI-Express 协议更好的方法因此为什么选择 PCI-Express 6.0 和 CXL 3。

CXL 3.0 协议确实具有低延迟 CRC 算法，该算法将 256 B flit 分成 128 B 半 flit，并在这些子 flit 上进行 CRC 检查和传输，这可以将传输延迟减少 2 纳秒到 5 纳秒之间。

CXL 3.0 带来的新功能是内存共享，这与 CXL 2.0 提供的内存池不同。这是内存池的样子：

借助内存池，您可以在带有 CPU 的主机和带有自己内存的加速器的机箱之间使用 CXL 的 PCI-Express 交换机，或者只是原始内存块（有或没有结构管理器），然后分配加速器（及其内存) 或根据需要分配给主机的内存容量。如上图右侧所示，如果您想硬编码 PCI-Express 拓扑以供它们链接，您也可以在所有主机和所有加速器或内存设备之间进行点对点互连，而无需交换机。

使用 CXL 3.0 内存共享，设备上的内存可以同时与多个主机同时共享。下图显示了 CXL 3.0 启用的设备共享内存和共享区域的一致副本的组合：

系统和集群设计人员将能够将内存池和内存共享技术与 CXL 3.0 混合和匹配。CXL 3.0 也将允许多层交换机，这在 CXL 2.0 中是不可能的，因此您可以想象具有各种拓扑和层的 PCI-Express 网络能够将各种设备和存储器捆绑到交换机结构中。在超大规模和云构建者中常见的 Spine/Leaf 网络是可能的，包括仅共享其缓存的设备、仅共享其内存的设备以及共享其缓存和内存的设备。（即 CXL 设备命名法中的Type 1、Type 3 和Type 2。）

CXL 结构将是真正有用的，并且在 3.0 规范中启用。使用结构，您可以获得支持 CXL 的设备的软件定义的动态网络，而不是使用链接特定 CXL 设备的特定拓扑设置的静态网络。以下是在 CXL 2.0 中无法实现的结构中实现的非树拓扑的简单示例：

这是整洁的一点。CXL 3.0 结构可以扩展到 4,096 个 CXL 设备。现在，问问自己这个问题：世界上有多少大型iron NUMA系统和 HPC 或 AI 超级计算机拥有超过 4,096 台设备？没有你想的那么多。因此，正如我们多年来一直在说的那样，对于特定类别的集群系统，无论节点在其内存中是松散耦合还是紧密耦合，运行 CXL 的 PCI-Express 结构几乎就是它们联网所需的全部。以太网或 InfiniBand 将仅用于与外界对话。我们也希望看到 DRAM 前端的闪存设备作为存储集群下的硬件作为快速缓存。（傲腾 3D XPoint 持久内存不再是一个选项. 但对于某种形式的 PCM 存储器或另一种形式的 ReRAM，总是有希望的。）

当我们坐在这里思考所有这些时，我们不禁思考内存共享如何简化 HPC 和 AI 应用程序的编程，特别是如果共享内存中有足够的计算来对数据进行一些集体操作处理，这就有各种有趣的可能性。.

无论如何， CXL 结构将会很有趣，它将成为许多系统架构的核心。诀窍在于共享内存以降低 DRAM 的有效成本——微软 Azure的研究表明，在其云上，内存容量利用率平均仅为 40% 左右，而运行的虚拟机中有一半从未触及超过一半从底层硬件分配给他们的管理程序的内存——通过 CXL 切换和具有内存的设备和作为内存的设备的可组合性带来的灵活性。

我们想要的，也是我们一直想要的，是以内存为中心的系统架构，它允许各种计算引擎在内存中共享被操作的数据，并尽可能少地移动这些数据。至少在理论上，这是提高系统能效的途径。几年之内，我们将在实践中对这一切进行测试，这确实令人兴奋。我们现在需要的只是两年前的 PCI-Express 7.0，我们可以享受一些真正的乐趣。

超大规模制造商和云构建者在其 X86 服务器中投入的最昂贵的组件是什么？它是 GPU 加速器，正确。因此，让我们以另一种方式问这个问题：在构成其大部分服务器机群的更通用、非加速服务器中，最昂贵的组件是什么？存储。

如果你计算一下随着时间推移的成本，大约十年前，CPU 曾经占数据中心基础设施工作负载基本服务器成本的一半左右；HPC 系统在内核上的强度更高，在内存上的强度更低。内存约占系统成本的 15%，主板约占 10%，本地存储（即磁盘驱动器）约占 5% 到 10%，具体取决于您想要该磁盘的容量或速度。其余部分由电源、网络接口和机箱组成，在很多情况下，网络接口已经在主板上，因此除了公司想要更快的以太网或 InfiniBand 接口的情况外，成本已经捆绑在一起。

随着时间的推移，闪存被添加到系统中，服务器的主内存成本飙升至顶峰（但相对于其他组件的价格有所下降），随着 AMD 的重新进入，X86 CPU 又回到了竞争。因此，通用服务器的服务器成本饼中的相对切片大小在这里和那里扩大和缩小。根据配置，CPU 和主内存各占系统成本的三分之一左右，而如今，内存通常比 CPU 更昂贵。对于超大规模和云建设者来说，内存绝对是最昂贵的项目，因为 X86 CPU 上的竞争更加激烈，从而降低了成本。

有趣的是：据英特尔称，CPU 仍占 IT 设备功耗预算的 32% 左右，内存仅消耗 14%，外围设备成本约为 20%，主板约为 10%，磁盘驱动器约为 5%。（我们推测，闪存是功耗预算派的外围部分）。包括计算、存储和网络在内的IT 设备消耗的功耗不到一半，而电源调节、照明、安全系统和其他方面数据中心设施消耗了一半多一点，这给出了相当可怜的 1.8 的电源使用效率。典型的超大规模和云构建者数据中心的 PUE 约为 1.2。

可以这么说，内存是一个很大的成本因素，并且由于许多应用程序受到内存带宽和内存容量的限制，将主内存与 CPU 以及实际上任何计算引擎分离，是我们所写的可组合数据中心的一部分很多在下一个平台。

原因很简单：我们希望来自芯片的 I/O 也是可配置的，这意味着，从长远来看，融合内存控制器和 PCI-Express 控制器，或者提出通用传输和控制器它可以根据插入端口的内容说出 I/O 或内存语义。IBM在 Power10 处理器上使用其 OpenCAPI 内存接口完成了后者，但我们认为随着时间的推移英特尔和其他公司将使用在 PCI-Express 传输之上运行的 CXL 协议执行前者。

芯片制造商 Marvell 不再试图将其 ThunderX 系列 Arm 服务器 CPU 销售到数据中心，但仍希望参与 CXL 内存游戏。为此，早在 5 月初，它就收购了一家名为 Tanzanite Silicon Solutions 的初创公司，用于其智能逻辑接口连接器，这是 CPU 和内存之间的 CXL 桥，将帮助打散服务器，并将其重新组合在一起方式——自下一个平台建立之前我们就一直在谈论的事情。Tanzanite 成立于 2020 年，去年展示了第一个使用 FPGA 的服务器 CXL 内存池，因为它正在对其 SLIC 芯片进行最后润色。

“今天，内存必须通过内存控制器连接到 CPU、GPU、DPU，”Marvell 闪存业务部副总裁 Thad Omura 告诉The Next Platform。“这有两个问题。一是非常昂贵的内存要么未被充分利用，要么更糟糕的是，未被使用。在某些情况下，还有更多的未充分利用，而不仅仅是内存。如果您需要更多内存来处理大型工作负载，有时您会在系统中添加另一个 CPU 以提高内存容量和带宽，但该 CPU 也可能未得到充分利用。这实际上是第二个问题：这种基础设施无法扩展。如果不添加更多 CPU，就无法向系统添加更多内存。

所以问题是这样的：你如何让内存成为可共享和可扩展的？”

正如 Omura 在上表中指出的那样，另一个问题是 CPU 上的内核数量比内存带宽增长得更快，因此内核的性能与为其供电的 DIMM 之间的差距越来越大，正如上面的 Meta Platforms 数据所示. 最后，除了一些科学项目之外，没有办法聚合内存并将计算移近它以便可以就地处理，这限制了系统的整体性能。

来自 Hewlett Packard Enterprise 的Gen Z 、来自 IBM 的 OpenCAPI 以及来自 Xilinx 和 Arm 阵型的 CCIX 都是融合内存和 I/O 传输的竞争者，但从长远来看，显然英特尔的 CXL 已成为每个人都将支持的标准，且他已经获得了Gen Z和OpenCAPI 的支持。

“CXL 获得了很大的吸引力，并且基本上与所有主要的超大规模厂商合作，帮助他们弄清楚如何部署这项技术，”Omura 说。因此，对Tanzanite的收购（其价值未披露）于 5 月底完成。

借助 SLIC 芯片，Marvell 将能够通过 CXL 扩展控制器以及比 DIMM 尺寸更大的更胖更高的扩展内存模块，帮助行业创建标准 DIMM 尺寸。（IBM 已经用它的几代 Power Systems 服务器和他们自己开发的“Centaur”：缓冲内存控制器完成了后者。）

Omura 说，CXL 内存要做的第一件事就是打开现代处理器上 DRAM 和 PCI-Express 控制器的内存带宽，我们同意这个观点。

如果您现在有一个系统并且您在其内存插槽中设置了带宽，您可以通过为每个内存通道添加两个 DIMM 来增加容量，但是每个 DIMM 获得一半的内存带宽。但是随着使用 SLIC 芯片向系统添加 CXL 内存 DIMM，您可以使用大部分 PCI-Express 总线为系统添加更多内存通道。

诚然，来自 PCI-Express 5.0 插槽的带宽没有芯片上的 DRAM 控制器那么高，延迟也没有那么低，但它可以工作。在某些时候，当 PCI-Express 6.0 推出时，某些类别的处理器可能不需要 DDR5 或 DDR6 内存控制器，DDR 控制器可能会变成奇特的部件，就像 HBM 堆叠内存是奇特的并且只用于特殊的用例。希望 CXL 内存超过 PCI-Express 5.0 和 6。0 不会比通过 NUMA 链接到多插槽系统中的相邻插槽更糟糕（如果有的话），而且一旦 CXL 端口实际上是系统和 DDR 上的主内存端口，它可能更不麻烦和 HBM 是专用的、奇异的内存，仅在必要时使用。至少这是我们认为可能发生的事情。

CXL 内存扩展只是这一演变的第一阶段。不久之后，像 Marvell 的 SLIC 之类的 CXL 芯片将被用于创建跨多种（通常是不兼容的）计算引擎的共享内存池，甚至更进一步，我们可以期待 CXL 交换基础设施创建一个不同类型的存储设备和不同类型的计算引擎之间的可组合结构。像这样：

在 Marvell 的完整愿景中，有时 XPU 上会有一些本地内存——X 是指定 CPU、GPU、DPU 等的变体——而 PCI-Express 上的 CXL ink将连接到内存模块它已在其上集成计算以执行专门的功能——您可以打赌，Marvell 希望使用其定制处理器设计团队来帮助超大规模、云构建者和其他任何拥有合理容量的人将计算放在内存上并将其链接到 XPU。Marvell 显然也热衷于使用它通过 Tanzanite 收购获得的 CXL 控制器来创建具有原生 CXL 功能和可组合性的 SmartNIC 和 DPU。

然后，几年后，正如我们多次谈到的那样，我们将在数据中心机架内获得真正的可组合性，而不仅仅是 GPU 和通过 PCI-Express 工作的闪存。但跨越各种计算、内存和存储。

Marvell 已经拥有数据中心服务器和机架架构所需的计算（Octeon NPU 和定制的 ThunderX3 处理器）、DPU 和 SmartNIC、电光、重定时器和 SSD 控制器，现在 Tanzanite 为其提供了一种供应方式CXL 扩展器、CXL 光纤交换机和其他芯片共同构成了 Omura 所说的“数十亿美元”的机会。

这是 Tanzanite 被创造出来追逐的机会，以下是它在 Marvell 交易之前设想的原型用例：

我们认为，只要 DRAM 内存的价格稍微下降一点，上述这些机器中的每一台都会卖得很好。内存还是太贵了。