为何智能体 AI 正在改写市场对 CPU 和内存基础设施的需求

智能体 AI 的兴起及其背后的基础设施成本

从聊天机器人到自主智能体——AI 领域正在发生的转变

人工智能的应用已不再限于回答问题。如今的 AI 系统正在向智能体转变——这些智能体能够自主规划、采取行动、观察结果，并自主迭代，直到达成目标。无论是用于检查代码并运行测试的软件工程智能体、能够协调采购和物流的供应链智能体，还是可以对 SEC 备案文件和市场新闻进行综合分析的金融研究智能体——如今的 AI 系统与过去的静态推理模型已有了本质上的区别。

然而，大多数人不了解的是，这一趋势正在引发 AI 基础设施方面的转变：智能体 AI 不仅需要更多的 GPU——它们正在悄然推动市场对 CPU 和 DRAM 需求的强劲复苏。

GPU 已不再是 AI 所依赖的唯一硬件

长期以来，有关 AI 基础设施的讨论始终围绕 GPU 展开。这种现象正在迅速改变。在智能体系统中，GPU 仍然承担着繁重的大语言模型推理工作——注意力机制、矩阵乘法、词元生成等等。但在大模型周围，一个完全不同的全新计算层已浮出水面：

• 可将高层目标分解为子任务的规划循环
• 决定接下来调用哪个工具或 API 的路由器和调度器
• 运行代码、查询数据库或调用外部 API 的工具执行引擎
• 获取并暂存相关上下文的检索和 I/O 管线

此类"模型周边工作"从本质上具有分支密集且有状态的特性，且其请求通常需要串行处理，这些特性使得此类任务天生适合 CPU，而非 GPU。我们可以这样理解：GPU 是工厂车间；CPU 是管理层办公室。

随着智能体工作负载的扩展，每个 GPU 需要更多的 CPU 核心和线程，CPU 与 GPU 的比例已从传统上的 1:4 调整至 1:1 或 1:2，这代表着对 CPU 的需求增长了 2 到 4 倍——形成了第一条性能扩展曲线。

CPU 不再是 AI 时代的配角，随着新兴架构的崛起，CPU 将发挥更重要的作用

半导体行业已收到了这一信号——非常强烈的信号。各家主流 CPU 厂商如今都在竞相为智能体 AI 打造专用芯片，其新架构所展示出的宏伟目标为几十年来所未见。¹这些新架构绝非渐进式的规格升级，而是彻底的重新设计——专为实现超高机架级密度而精心设计的芯片，让每块 GPU 可对应 86 到 120 个 CPU 核心，其目标非常明确：让加速器满载运行，确保智能体管线不间断运行。²

新架构所展示出的扩展能力令人震惊。在新架构支持下，单个智能体机架现在即可支持数万个并发 CPU 容器环境——容器间彼此独立，且均能以全性能运行。³这并非基准测试，而是面向生产环境的架构。

CPU 不再是 GPU 的助手。如今的 CPU 是一个大规模并行架构，支持同时运行数以千计的智能体容器，每个容器都托管着 AI 智能体在进行自主规划、行动和迭代时所依赖的工具、沙箱和编排框架。曾经的配角，现在成了主角。

内存倍增器——无人预料到的新兴力量

每个智能体都需要容身之地——而其容身之地会占用内存

如果说对 CPU 的需求是热门新闻，对 DRAM 的需求则是层次更深、影响更深远的故事。每个活跃的智能体实例都必须维护：

• 状态与 KV/上下文暂存——跟踪它在推理循环中所处的位置
• 工具输出和队列——缓存 API 调用和代码执行的结果
• 容器/沙盒内存——用于安全执行的、相互隔离的运行时环境
• 向量/索引数据——用于检索增强生成和语义搜索
• 操作系统和运行时开销——维持数千个环境同时运行的基础成本

将这些要求应用到单个机架中的数千个并发运行的智能体后，数据将变得非常惊人。研究表明，高达 90% 的智能体延迟可归因于 CPU 端的工具处理——这意味着内存带宽和容量至关重要，直接影响着智能体的性能。

第二条性能扩展曲线浮出水面

关于智能体 AI，有一点尚未被充分讨论：它并非线性扩展，而是以乘数方式扩展。

为智能体编排所启动的每一个全新 CPU 核心，都伴随着一个必须驻留在某处的活跃运行环境。而那个驻留之地便是 DRAM。当启动并同时运行成千上万个容器后，所需的内存容量很快就会变得令人咋舌。从表 1 中可以清楚地看到这一点：

表 1：CPU 和内存的综合增长。1x = 约 22K 个智能体容器，每个容器 16GB。

容器数量翻倍，每个智能体所需内存翻倍——对于 DRAM 的需求将为原来的 4 倍。如果两者都变为原来的 3 倍，则所需内存为原来的 9 倍。这并非计算错误，而是一种多因素叠加而成的巨大力量，并且正在重塑数据中心的成本格局。

要理解这一点，我们有必要审视每个智能体在实际当中需要承载的内容：状态、上下文缓冲区、工具输出、向量索引、沙盒内存、运行时开销等。每个智能体占用的内存也并非一成不变——随着智能体变得更聪明，开始处理更复杂的任务，它们占用的内存空间也在增加。AI 的瓶颈不再是 GPU 上的模型数学运算。如今的 AI 性能瓶颈缘于智能体环境的爆发式增长，这些智能体需要时刻在线、保持就绪状态，具备快速响应能力，且需要并发运行。

这便是第二条性能扩展曲线。它与计算曲线同步发展，而且在许多方面，它的增长速度更快。

这一趋势对行业意味着什么？

该趋势的影响波及整个数据中心生态系统：

• 内存厂商：面临加速增长的需求曲线，发展重点在于大容量、高带宽 DRAM——不仅仅是容量更大的内存，而是更智能的内存架构。
• CPU 厂商：正在积极转型，将其新产品定位为智能体编排引擎，而不仅仅是 AI 协处理器。
• 基础设施架构师：必须重新思考机架设计：GPU 主导的机架时代正在让位于专为自主智能体管线构建的 CPU-GPU-DRAM 平衡互联架构。

总结

智能体 AI 并非一种基于现有基础设施的软件趋势——它正在深刻影响并重塑硬件厂商的产品路线图。对于正在构建、购买或投资 AI 基础设施的企业而言，结论很简单：在规划中大幅增加 DRAM，并且比预想更早行动。

智能体时代已到来。确保您的基础设施已准备就绪。

参考资料

1. Arm AGI CPU | AMD 对于智能体 AI 与 CPU 的看法

2. 英特尔：智能体 AI 需要更多 CPU

3. NVIDIA Vera CPU 发布 — 单机架配备 256 颗 CPU（每颗 88 核），可支持 22,500 个 CPU 容器环境。