为何液冷存储正在改变 AI 基础设施的格局？

在每一个 AI 助手、AI 推荐、AI 搜索结果和 AI 应用的背后，都有 AI 基础设施在默默发挥作用，确保能够以现代 AI 所需的速度传输数据。AI 基础设施正在不断扩大规模，速度超过了其在建设时所基于的假设。机架密度更高。GPU 性能更强大。此外，现代 AI 工作负载的散热需求，正在逼近未针对如今这种环境而设计的冷却方案的极限。其结果是，基础设施面临散热挑战，并带来了切实的不利后果：当组件温度过高时，会降频运行，导致 AI 流水线停滞，而那些旨在实现大规模高速 AI 处理的系统便会悄然失效。对美光而言，这意味着存储解决方案在设计时不仅要具备高性能，还要在现代 AI 基础设施的散热环境下保持高性能。

这种转变已在各大主要数据中心上演，并且正在重塑运营商对技术堆栈中每一层的思考方式，包括存储层。对于从事大规模应用构建、运营或规划的人员而言，了解冷却系统在现代 AI 系统所追求的效率和性能平衡中占据何种位置，正变得愈发重要。

为何 AI 正在加速冷却技术的演进？

数据中心冷却一直是一项核心工程学科。现代数据中心设施已经部署了一系列有效的方法，包括热通道和冷通道封闭、直接芯片液冷，以及全液冷服务器。这些方法之前在行业中一直行之有效。但 AI 基础设施的冷却需求急速增长，正如 AI 所带来的突破——将药物发现时间从数年缩短至数月¹；采用 AI 技术的医学影像能够更早地发现癌症²。

AI 正在将机架功耗推向新的水平，迫使冷却技术随之演进。高端 AI 服务器 GPU 的单芯片功耗已经超过 1,200 瓦³。下一代机架的功耗水平预测高达每机架 600 千瓦⁴，约等于数百个普通家庭的用电量。在这种功耗水平下，冷却不再仅仅是热量管理的问题。冷却已成为保持 AI 部署高效运行、确保系统能够为用户提供所期望体验的关键因素。在当今时代的机架密度下，为控制 AI 基础设施的成本并满足散热需求，整个硬件堆栈（包括存储层）正在加速采用更先进的冷却技术。

推动散热需求的并非只有 GPU 和 CPU。服务器中的每个组件都会影响功耗和散热预算，并且在改善整体功耗表现方面都发挥着作用。

存储（及液冷）在整体散热和性能表现中的作用

在现代 AI 服务器中，SSD 并非被动散热组件。AI 服务器的密度越来越高，在紧凑的机箱中集成了许多高性能 NVMe™ 驱动器（一种针对 AI 工作负载优化的 SSD，可满足 AI 工作负载对速度和吞吐量的严苛要求），其中每个驱动器的功耗通常高达 25 瓦或更多。

大规模部署时，这种集中的热负荷会变得相当显著。

当 SSD 的温度超过其最佳工作温度时，便会自动减缓自身运行，以防止损坏。这种现象被称为“热节流”。在 AI 推理或训练流水线中，存储层的热节流会产生性能瓶颈，进而波及上游。GPU 会停下来等待数据，计算周期被闲置，在最需要时处理能力无法被充分利用，而运营方却依然要为此支付费用。对业务造成的损害显而易见。当存储设备在高负载下进入节流状态时，GPU 就会闲置等待。处于等待状态的 GPU 既无法产生 AI 推理吞吐量，也无法为客户提供服务，更无法证明企业为其周边基础设施所投入的资本成本是合理的。对于大规模 AI 系统的运营方而言，空闲计算时间所导致的低效率并非纸上谈兵。它限制了基础设施的利用率，以及 AI 系统的性能。

液冷技术可直接解决该问题。冷板式液冷的工作原理是将一个导热金属块紧贴在 SSD 外壳上。冷却液（通常为水-乙二醇混合物）流经该金属块内部预先加工出的通道，持续从热源处带走热量。升温后的流体在设施冷却回路中循环，经冷却后返回，重复此过程。由于冷却过程直接在设备上进行，而非依靠气流带走高密度驱动器仓中的热量，因此即使在持续峰值负载下，驱动器的温度也能保持在理想范围内。消除了过热节流瓶颈后，存储层便能够按照其设计运行。

液冷技术的这一核心优势源于物理学。液体传递热量的效率远高于空气。水-乙二醇冷却液的热容和密度均比较大，这意味着，体积很小的冷却液即可携带与体积大得多的气流相同的热能。通过一台小型循环泵输送适量的冷却液，即可实现庞大的风扇系统才能达到的效果。正是这种效率差异，才使得下面的对比数据令人信服。

效率对比数字说明了什么？

美光对一个 32 盘位 NVMe SSD 存储仓进行了分析（该配置代表了目前在 AI 和数据中心环境中日益普及的高密度存储配置），并模拟计算了分别使用风冷与冷板式液冷达到同等冷却效果所需的电能。结果显示出巨大的差异：使用风冷，需要 37 到 80 瓦电力来冷却该存储仓中的驱动器。使用冷板式液冷，仅需 0.42 到 1.35 瓦电力即可实现同等冷却效果。冷板式液冷大约减少了 98% 的能源消耗，便达到了同样的散热效果⁵。

这里的收益并非微不足道。上述结果反映了液体与空气作为热传递介质时的基本物理特性。液冷的效率优势在改善驱动器冷却效果的同时，也有助于减少整个数据中心环境在冷却和运行时所需的能源。

理解“电源使用效率”

电源使用效率 (PUE) 是运营商和投资者使用的一个指标，用来评估数据中心将公用电源转换为有效计算工作的效率。PUE 为 1.0，即代表理想效率。实际上，数据中心的运行数值一直在 1.2 到 1.5 以上，这意味着运营商购买的电力比服务器实际使用的电力多出 20% 到 50%，多出的部分主要用于冷却系统、配电和设施运营⁶。

液冷是用来降低 PUE 的最直接手段之一。当在设备层面进行散热时，设施的中央空调负荷便会降低。风扇转速可以调低。每个计算周期的能源开销也会降低。对于超大规模运营商而言，即使是 PUE 数值的微小改善，也能转化为能源消耗和运营成本的显著降低。

对于 AI 推理部署，这意味着什么？

以一个在大规模服务器环境中运行高密度存储的 AI 推理部署为例。在传统风冷条件下，存储驱动器在峰值推理负载期间运行并接近其热管理极限时，会开始降频，导致数据传输至 GPU 的速率降低。GPU 因等待数据而处于部分空闲状态。运营方付费获得的计算能力，恰恰在需求最高的时段无法得到充分利用。

在相同的存储配置中采用冷板液冷技术，驱动器在持续工作负载下能够保持恒定的温度。热节流得以消除。GPU 利用率提升。每个存储机架的冷却能耗从数十瓦下降到不到两瓦，在持续运行的大规模部署中，这种能源节约能产生显著的累积效益。

上述关联显而易见。能够消除存储层散热瓶颈的基础设施，可以让更多可用计算能力得到有效利用。能效和性能利用率并非相互冲突的两个目标，它们之间是相辅相成的关系。

未来之路

液冷 SSD 并不是一个只属于未来的概念。它们是一种可部署的解决方案，旨在解决运营商面临的问题，该问题已经让运营商在计算时间、能源和性能等方面付出了代价。对于正在构建 AI 基础设施的企业，它们提供了一条通往更高 GPU 利用率、更低冷却开销，以及在持续需求下保持稳定性能的直接途径。

随着 AI 工作负载持续增长，其背后的基础设施必须能够高效提供数据、在持续负载下维持稳定性能，并为用户提供日常生活中依赖的各种体验。液冷存储是这一演进的重要组成部分。

如需了解更多关于美光如何为 AI 数据中心设计内存和存储的信息，请访问美光数据中心洞察页面，并阅读关于低功耗 DRAM 如何重塑数据中心内存格局的配套文章。