- English – US
- English – India
- English - Malaysia
- English - Singapore
- 日本語 (Japanese)
- 简体中文 (Simplified Chinese)
- 繁體中文 (Traditional Chinese)
2026 闪存峰会｜四部分系列：第一部分
下一个 AI 限制因素并非仅仅是计算能力
AI 领域的下一个限制因素不再仅仅是计算能力，而是内存：系统能够存储多少上下文信息，能够以多快的速度转移这些信息，以及在智能体持续工作的同时，能够以多高的效率重复利用这些信息。
多年来，业界一直将此现象称为“内存墙”：即处理器计算速度与系统向处理器提供数据效率之间日益扩大的差距。这道墙早已制约 AI 的性能。智能体 AI 则将这一问题推向了新的高度，因为它将内存从器件级的瓶颈变成了系统级的设计限制。
传统推理围绕交互展开：用户提出问题，模型生成答案，会话便基本结束。智能体的运行模式则不同。智能体会持续跟踪目标、保留更多上下文、调用工具、与其他智能体协调、查询数据源，并跨越多个步骤持续工作。这种持续的活动让内存和存储成为了 AI 基础设施的核心。
智能体改变了基础设施需要记住的内容
从主流 AI 系统的描述中，已经可以看到这一转变。Anthropic 计算负责人 James Bradbury 解释道，Claude 已不再局限于回答问题，而是转向完整执行任务：遍历代码库、规划后续步骤、调用工具并修正执行路径。其中每一步都会增加系统需要保留和重用的上下文信息量。
这就是架构上的转变。随着智能体能力越来越强，基础设施必须能够支持持久、可重用且智能分层的上下文，而不仅仅是更快的计算。内存和存储必须更靠近计算，其层级架构不应再表现为一组相互独立的分层，而要成为一套协同统一的系统。
从一次性到实时，再到全时 AI
我们可以从时间维度来理解这一演变。模型训练属于一次性任务：构建模型，跑完训练流程，任务即告结束。推理演变为实时模式：用户输入提示词，等待模型返回结果。而智能体 AI 则是全天候持续运行模式。智能体可以进行推理、调用 API、使用工具、查询数据库、与其他智能体协作，并跨越多个步骤持续推进任务。
这一转变进展迅速。Gartner 预测，到 2026 年底，将有多达 40% 的企业应用程序会内置面向特定任务的 AI 智能体，而 2025 年这一比例还不到 5%。关键点不仅仅在于有多少应用程序接入了智能体，而在于智能体对基础设施带来的改变：它们将一个个孤立的提示输入，转变为持续性任务作业。
图 2：GPU 推理。CPU 执行。资料来源：美光
两个技术栈，一个内存难题
人们很容易将此归结为 GPU 扩展问题。但更有效的视角是将其视为一个全系统问题：智能体 AI 依赖于两个受内存限制的技术栈协同运作。
GPU 栈负责处理推理和生成。它需要快速访问模型权重、活动词元以及上下文。CPU 栈负责处理编排：工具调用、数据库查询、智能体协调、状态管理以及围绕模型的工作流。智能体 AI 同时对这两端施加持续压力。
如果推理端停滞，模型就会等待；如果执行端停滞，智能体就会等待。无论哪种情况，都会损害用户体验，同时造成资源利用率下降。这就是为什么内存墙在智能体 AI 中会出现两次：一次出现在推理环节，另一次出现在执行环节。
图 3：KV 扩展超越 LLM。资料来源：面向高效可扩展 LLM 推理的 KV 缓存优化策略，vLLM 工程博客
为什么 KV 缓存会成为驱动因素
KV 缓存使推理端的压力变得具体可感。如图 3 所示，一个 25.6 万词元的上下文窗口，单次会话可能需要大约 22 GB 的 KV 缓存。单独看这个数字或许还觉得可控，但 AI 服务面向的是高并发场景。它们同时服务大量用户，以保持基础设施的利用率。
当并发用户数达到 64 时，同样的工作负载可能会扩展到约 1.4 TB。用户达到 1,000 个时，则可达到约 22 TB。而 100 万词元的上下文，单个会话可能需要大约 88 GB，在 1,000 个并发会话下则接近 90 TB。
这就是为什么仅靠 GPU 内存无法承载全部负载。对于最热门、最活跃的词元，HBM 至关重要。DRAM 可以为更大的工作集提供容量支撑。NAND 提供持久性和扩展性。设计难点在于如何使这些层级协同工作，并将数据放置在最能兼顾性能、容量和效率的位置。
图 4：智能体 AI 产生的流量是传统计算的 100 倍。资料来源：Google（博客），DigitalOcean（社区）
执行侧同样存在内存墙问题
执行环节造成了第二个压力点。智能体不仅会推理，还会执行实际动作。它们调用 API、搜索文档、检索数据、更新计划，并在多种工具之间协调工作。每一个动作都会在 GPU 栈之外产生内存移动和存储访问。
这改变了围绕 CPU 栈的流量模式。传统应用程序可能仅围绕用户请求产生突发活动，而智能体工作负载能够跨越多个步骤保持这种活动，产生的工具调用、数据库查询和文档存储访问远多于传统流程。
因此，解决方案不能仅仅是增加 GPU 容量。CPU 侧也需要足够的带宽、容量和存储性能，以确保在推理栈保持数据供应的同时，让智能体持续运行。推理和执行必须同步扩展。
图 5：重新定义 KV 缓存层级 资料来源：美光
打破内存墙，需要一套协同的层级体系
内存墙的问题，根源在于物理层面。智能体 AI 如今正从推理和执行两个方向同时向其施压。打破这堵墙，不能简单依靠一味堆砌各类硬件资源，而是要在合适的时间、合适的位置，为合适的任务部署合适的内存。
这要求在 HBM、DRAM、NAND 以及智能体所依赖的数据基础设施之间，建立一套协同的层级体系。内存和存储不能再被视为后台基础设施。它们是 AI 系统具备战略意义的设计要点。
在第二部分中，我将探讨该架构需演进成何种形态，以及为何未来的发展方向是构建协同内存层级体系——让 HBM、DRAM 和 NAND 协同工作，以保持智能体高效地进行推理、行动和扩展。
