内存和存储如何成为 AI 时代的支柱

AI 的主流讨论一直围绕 GPU 和加速器展开，它们已成为这个时代的象征。当目标是训练更大的模型时，这种现象合乎情理。不过，当下的情况早已发生转变。截至 2026 年年中，系统性能正越来越受到数据移动、延迟和带宽的影响，算力不再是唯一决定因素。

有关 AI 的真正主题，也就是将定义 AI 未来十年的关键因素，是内存和存储。AI 不再仅受限于计算能力，还受到数据传输、访问和处理效率的限制。这种转变改变了一切：AI 基础设施如何构建？投资流向何处？组织如何有效地扩展 AI？

AI 基础设施中被忽视的转变

2023 年，大约三分之二的 AI 计算支出用于训练。到 2026 年底，这一比例将发生逆转，推理（即部署 AI 并将其投入实际应用）将占所有 AI 计算支出的三分之二。¹

关键不再是谁能训练出更大的模型，而在于谁能高效且经济地大规模部署 AI。对于规划 AI 基础设施的领导者而言，这意味着必须将内存和存储视为战略性设计选择，而非敲定算力方案后才添加的配套组件。

这种转变代表了 AI 基础设施格局的根本性重构。随着 AI 从阶段性训练任务转向全天候推理和智能体工作负载，AI 基础设施的成功越来越依赖于能否在实际功耗和散热限制范围内，持续、高速地支持 AI 工作负载。内存和存储正是这一难题的核心所在。

International Data Corporation (IDC) 的一项分析印证了这一点：当前，加速器利用率依赖于对数据的持续高带宽、低延迟访问，而数据移动和数据局部性正日益成为 AI 可扩展性的关键制约因素。²

四种工作负载，同一技术底座

随着 AI 的普及，基础设施需求由四种截然不同的工作负载决定，每种工作负载都有其独特的需求和增长轨迹。

• 训练：以 GPU 为主，计算密集且集中，持续增长，但增速适中 (25%)。³
• 推理：分布式靠近用户，效率不断提升，亟需内存容量与带宽的平衡。预计复合年增长率为 79%，是增长最快的工作负载。⁴
• 智能体：需要维持持久状态，持续运行，编排多步骤自主任务，对内存、上下文和数据访问的要求远高于简单的聊天机器人查询。Gartner 预计，到 2026 年底，40% 的企业应用程序将嵌入 AI 智能体，高于几年前的水平（当时仅约 5%）。⁵ 这些代理需要巨大的内存容量（例如，持久键值 (KV) 缓存、超过 100 万词元的上下文窗口等），并有望同时在混合云和端侧基础设施上运行。
• 通用计算：以 CPU 为中心，适度增长。需要平衡的芯片堆栈，其中 CPU、加速器（如 GPU）、内存和网络各自发挥着重要作用。

结论：行业正从“GPU 超级周期”转向平衡的芯片堆栈，其中内存、CPU 和网络与加速器具有同等重要的战略地位。

在各类工作负载中，出现了同样的规律：AI 性能日益取决于数据在内存和存储之间移动的效率，而不仅仅是可用的计算能力。

效率公式

全球数据中心耗电量预计将从 2024 年的约 415 太瓦时上升至 2026 年的约 1,000 太瓦时。到 2027 年，仅 AI 冷却需求就可能消耗 42 亿至 66 亿立方米的水。机架功率密度已经翻了一倍多，AI 训练集群正在将每机架功率密度推向 80 至 120 千瓦。⁶

不过，效率曲线的提升速度比大多数人预想的要快，内存在其中起到了引领作用。IDC 的总结在这里特别适用：每瓦性能正在成为 AI 基础设施的一项决定性指标，因为电力可用性和热限制正日益制约着 AI 部署。在这种环境下，高效的内存和存储并非可有可无。它们是 AI 可扩展性、可访问性和成本效益的驱动因素，重要性日益凸显。美光产品组合中的几个例子说明了这一趋势：

• 美光 HBM3E 的功耗比竞争产品降低 30%，同时内存容量提高 50%。⁷
• 美光的 1γ (1-gamma) 制程节点是一种采用极紫外 (EUV) 光刻技术的前沿技术，将 DDR5 解决方案的性能提升了 15%，并显著提高了能效。⁸
• LPDDR5X 拥有出众的每瓦性能，非常适合将效率视为首要设计考量的推理和 AI 工作负载。
• HBM4 现已实现大规模量产，与 HBM3E 相比性能提升超过 50%，并且在能效方面继续保持优势地位。⁹

这并非小幅渐进式性能提升。它们是一种不断累积的效率优势，与 AI 的指数级增长同步。而液冷技术正在进一步加速这一趋势。直接液冷技术可在芯片级进行散热，减少了用水量和能耗，并形成了一种在每个机架、每座设施、每个区域都能产生复合效应的良性循环。¹⁰

当 AI 变得触手可及

AI 推理成本已大幅下降（两年前约为现在的 280 倍），但由于使用规模的扩张速度远快于单位成本的降低速度，企业在 AI 上的支出仍在持续增加。¹¹ 随着部署 AI 的经济效益不断提升，各机构正在寻找将 AI 应用于医疗保健、研究、物流和日常业务运营的新方法。内存和存储在这一趋势中发挥着重要作用。更快的数据传输、更高的利用率和更高效的基础设施有助于降低交付 AI 的成本，从而通过更多用例实现更广泛的应用：

• 制造商可以部署之前因成本过高而无法持续运行的 AI 辅助质量检测。
• 农村地区的诊所可负担得起 AI 辅助诊断的成本。
• 资金不足的研究机构中，科研人员可以运行之前需要超级计算机才能运行的模型。

这是专业知识的普及，同时这并非遥不可及的承诺。智能体 AI 正是使这一切成为可能的关键，尽管其需要海量的内存和存储。随着 AI 使用率呈指数级增长，且部署成本不断下降，内存和存储变得愈发具有战略重要性，因为在它们的支持下，才实现了这种大规模的扩展。消除了数据瓶颈的企业将处于非常有利的位置，有望充分实现 AI 的价值。

内存和存储赋能未来

三大力量汇聚，正在重塑 AI 基础设施的格局：

1. 芯片能效 — 内存和存储的每一代都能实现更高的每瓦智能。
2. 架构演进 — 分布在网络边缘并与可再生能源协同部署的推理和智能体 AI 节点。
3. 工作负载成熟化 — 从训练向全天候推理和智能体 AI 转变，AI 的价值在数百万个用例中得以体现。

内存驱动计算。高效的内存驱动着平衡的芯片堆栈。在此架构之上构筑的未来，可以让任何人在任何地方都能获得 AI 带来的机遇。

IDC 的结论与此一致：随着 AI 日益深度融入医疗保健、研究、制造、物流和日常业务运营，那些将内存和存储视为核心推动力而非事后补救方案的组织，将处于非常有利的位置，有望释放 AI 的全部价值。

AI 的未来不仅将由创造智能的方式所塑造，还取决于将 AI 交付给依赖它的人群、组织和社区的效率。