AI 革命背后的无名英雄：为何低功耗内存在数据中心内找到了用武之地

从帮助研究人员挖掘新见解的 AI 系统，到可实时适应环境变化的物流网络，再到帮助工程师打造更好产品的仿真技术——所有这些都运行在数据中心之上，而这些数据中心必须具备出色的性能，并以更高的效率运行。随着 AI 从实验走向实际生产，从简单的查询响应演变为能够自主推理、规划和行动的持续性智能体系统，对底层基础设施的需求正在急剧增长。

行业内的大部分讨论都集中在处理器上：GPU 和定制芯片正在竞相追赶日益复杂的 AI 工作负载的脚步。但处理器只是决定 AI 工作负载性能的部分因素。为这些处理器提供支持的内存系统同样至关重要，而且可能依然鲜为人知。内存决定了数据到达计算引擎的速度、模型工作数据集能够保持随时可用的程度，以及服务器在利用其消耗的每一瓦电力时的效率。AI 基础设施的成本效益，越来越取决于运营商能否高效地将电力、冷却能力和资本投资转化为可用算力，而内存正在成为实现高效率的主要抓手之一。

因此，LPDDR 这种长期以来与移动设备相关联的低功耗内存技术，也应当纳入有关数据中心的讨论范围。一旦 AI 从偶尔的训练运行转为持续推理，节能内存就不再仅仅是设计移动设备时的一种优势。它将成为构建基础设施时的一种优势。

在现代 AI 系统的一些最重要特性中，能效正变得越来越重要，对于推理和智能体 AI 工作负载尤其如此，这也是 LPDDR 在数据中心架构中有望发挥更大作用的原因之一。

对数据中心运营商而言，一个好消息是，内存创新正处于前所未有的活跃期。从大容量服务器内存到低功耗内存架构，再到专为 AI 加速器设计的高带宽内存，如今业界拥有了前所未有的多样化工具，能够将合适的内存与合适的工作负载相匹配。这一演进的核心是 LPDDR，它专为现代基础设施在运行推理和智能体 AI 工作负载时对高能效比的需求而打造。多年来，LPDDR 主要应用于移动设备，对这些设备而言，在追求高性能的同时尽可能降低功耗至关重要。随着 AI 基础设施日益受到电力和散热的限制，同样的设计原则正在数据中心设计中焕发出新的意义。在许多 AI 环境中，能效已经成为衡量性能不可或缺的关键要素。理解这一点为何重要，是理解 AI 基础设施如何演进的关键。

将内存想象成州际公路系统

要理解为何内存架构在现代 AI 系统中如此重要，可以拿我们熟悉的事物做类比：为一家大型全天候制造工厂提供物资的州际公路系统。

工厂就像处理器——功能强大、生产高效，但其效能取决于运抵其装卸平台的原材料。高速公路网络类似内存系统——将数据从存储位置尽可能快速、高效地传输到所需位置的基础设施。

在工厂发展早期，提高产量的解决方案非常简单直接：修建更宽的州际公路，让运输卡车跑得更快。在很长一段时间内，这种方法都很有效。但是，随着工厂变得日益复杂——同时运行数百条生产线，处理不断变化的库存，全天 24 小时运营，吞吐量不再能够满足需求。

工厂真正需要的，是一个更智能的物流网络：类似于更宽的高速公路；但也需要更多的高速公路、更近的配送中心以及更高效的车辆。正如没有单一的物流计划适用于每一家工厂，没有单一的内存技术能够满足所有工作负载的需求。现代 AI 基础设施也是如此。

为何推理和智能体 AI 改变了内存需求

在 AI 的早期时代，主要运行的是大型、阶段性工作负载——即训练任务和批处理。在这些任务中，一定程度的低效是可以容忍的。这种考量已经发生了改变。大规模推理和智能体 AI 系统持续运行，与用户实时交互，必须在毫秒级时间内作出响应。它们不仅部署在超大规模数据中心，还部署在分布式云区域、边缘站点和企业环境中。

这种转变对内存有着切实的影响：

• 推理工作负载不仅是计算受限型，还是内存受限型。纯推理工作负载中，模型已完成训练；运行时最重要的是其参数、上下文和中间状态能以多快的速度被加载、访问和刷新，且这些操作需要反复进行，以服务数千名同时在线的用户。
• 智能体系统加剧了内存面临的压力，这些系统需要同时维护更长的对话上下文、执行多步推理链，并协调与外部数据源的交互。
• 延迟成为决定用户体验的变量。在智能体 AI 中，响应缓慢不仅会影响用户体验，还会破坏交互的连贯性。支持快速一致响应的内存架构直接关系到产品的质量和用户满意度。
   

对 AI 数据中心而言，哪些内存特性最为重要？

在现代 AI 基础设施中，以下四种内存特性至关重要：带宽、能效、容量、响应能力。不同的内存技术以不同的方式解决了这些问题，这正是高端 AI 服务器依赖多种不同内存技术的原因。
 

• 带宽：大规模传送数据
  无论处理器的能力如何强大，其工作速度也受限于数据传送的速度。在 AI 系统中，内存带宽（即数据在内存和计算单元之间传输的速率）决定着处理器因等待下一条指令而处于空闲状态的频率。
  
  当带宽不足时，处理器的部分时间会花在等待数据上，而非执行有用的工作。采用可提升并行数据传输的架构方法，有助于显著提高整体系统吞吐量。
  
• 能效：利用每一瓦能耗完成更多工作
  越来越多的 AI 系统需要持续运行、同时服务更多用户，并需要处理更大规模的数据。在这种情况下，提升能源效率不仅仅意味着降低功耗，而是需要充分利用每一瓦可用电量，尽可能提升基础设施所能执行的有效工作量。
  
  采用可提升每瓦性能的内存技术，服务器能够在相同的基础设施占用空间下处理更多请求、提供更快响应，并支持更多由 AI 驱动的体验。随着 AI 使用量的增长，提升效率成为扩展基础设施能力的一种途径。
  
• 容量：让更多数据随时可用
  容量决定了有多少数据可以保持随时可供计算使用的状态。随着 AI 模型规模不断扩大，且需要维持越来越复杂的工作状态，将更多数据保留在靠近计算的位置可以减少中断，并有助于保持稳定的性能。
  
• 响应能力：用户感受到的速度
  在 AI 系统中，响应能力决定了在模型需要特定数据时，系统能以多快的速度将其调取出来。这种能力在实时 AI 应用中尤为重要，这些应用的用户体验以毫秒为单位来衡量。如果内存架构能够支持随时访问活动数据集，并尽可能减少检索操作的延迟，则直接有助于提升端到端系统响应能力，包括缩短首词元生成时间，这是用于衡量 AI 服务质量的指标之一。

关键在于，某种内存技术不一定适用于所有 AI 工作负载。AI 基础设施需要更加专业的内存层级结构，包括 HBM、DDR5、LPDDR 和高速存储 (SSD) 等，以分别满足不同的系统需求。

覆盖所有需求的产品组合

如今的数据中心内存领域是一个互相补充的生态系统，根据工作负载需求、系统架构和部署环境的不同，不同的技术发挥着各自的作用。美光的丰富产品组合旨在覆盖所有需求。

HBM 属于高性能产品，专为要求严苛的 AI 工作负载而打造，包括大规模训练和高性能推理。它与处理器堆叠在一起，带宽在目前所有内存类型中首屈一指。凭借创新制程技术和设计，美光 HBM 的能效在业界位居前列。

DDR5 是经过验证的大容量主流服务器内存，具备广泛的兼容性，在企业和云环境中经过了实战检验，并针对与 AI 工作负载并行运行的各种通用工作负载进行了优化。当 AI 智能体执行数据库任务和请求时，通常会将请求发送到传统服务器上。DDR5 的重要性并未下降；相反，随着 AI 基础设施的规模不断扩张，市场对大容量 DDR5 依然有巨大需求。

LPDDR 在 AI 架构中占据着独特且日益重要的战略地位。尽管对于许多通用和容量密集型服务器工作负载而言，DDR5 仍然是首选，但在以每瓦性能为主要设计考量的推理密集型环境中，LPDDR 具有特别大的吸引力。LPDDR 经过全新设计，兼具高性能和优异能效，其每瓦带宽特性特别适用于持续运行的 AI 服务和智能体工作负载。随着 AI 从模型开发转向实际部署，推理工作负载需跨越多个系统持续运行，为成千上万用户提供服务。这使得每瓦性能成为基础设施设计中一个日益重要的因素。

SOCAMM2 模块提供多个 LPDDR 封装，采用专为服务器设计且便于维护的规格，将 LPDDR 的能效和密度优势拓展应用至更多数据中心架构，同时满足企业级环境所需的可靠性、可用性与可维护性 (RAS) 指标。

这些技术共同构成了美光的内存产品组合，能够满足所有 AI 工作负载的需求——从计算密集型训练任务，到定义了智能体 AI 时代的延迟敏感型持续推理服务。

美光的角色：LPDDR 领域的优势地位以及整个产品组合的深度

美光在内存领域的优势地位，彰显出公司在存储技术领域数十年的投入、与超大规模数据中心和技术领导厂商的深入合作，以及旨在支持全球规模 AI 基础设施的制造业务布局。

这种广度至关重要。AI 系统需要多种内存技术协同工作，而客户则需要合作伙伴交付能够覆盖所有性能、效率、质量需求的产品，并保障长期供应。从 DDR5 和 HBM4，到 LPDDR 和 SOCAMM2，美光的产品组合旨在支持现代 AI 基础设施的多元化需求。

随着能效成为 AI 系统的关键制约因素，美光在低功耗内存领域的优势地位更加凸显。在 LPDDR 架构、制造和标准制定方面的多年投入，让美光始终处于该技术的前沿，而这项技术正在数据中心发挥新的重要作用。SOCAMM2 的推出是内存技术演进的一个典型例子，它将 LPDDR 的能效优势扩展到模块化外形规格中，让其适用于更广泛的服务器架构。

前景展望

向 AI 原生基础设施的转型仍处于早期阶段。随着智能体 AI 系统的能力不断增强并持续运行，且 AI 原生应用规模持续扩大，能效正在成为现代基础设施的决定性制约因素之一。

在构建持续运行、同时服务大量用户并支持实时响应的系统时，不存在“放之四海而皆准”的单一内存选型策略。在企业追求大规模运行 AI 的成本效益（以功耗、冷却能力、基础设施利用率和总拥有成本来衡量）背景下，内存架构已成为决定市场竞争力的一个重要因素，而不仅仅是一种技术选择。

在这种情况下，LPDDR 正发挥着更具战略意义的作用。LPDDR 最初针对能效敏感型环境而开发，其每瓦性能特性与现代推理和智能体 AI 工作负载的需求高度契合。对于 AI 系统，人们自然会关注处理器的计算能力，而高效为处理器提供数据的内存架构可能同样至关重要。

同样，内存只是决定系统性能的部分因素。

尽管内存处于 AI 系统性能的核心位置，但它只是更广泛的基础设施体系中的一部分。在推理和智能体 AI 时代，系统必须不断检索、推理和处理海量数据，存储发挥着同样关键的作用。在持久化存储和活跃内存层之间高效移动数据的能力，不仅决定了 AI 系统的响应速度，还决定了其大规模运行的成本效益。无论内存架构的设计如何先进，其能力上限也受制于为其提供数据的存储基础设施。若要深入了解影响 AI 数据中心的基础设施限制，请阅读探讨液冷和能效的相关文章。