AI

扩展 KV 缓存,满足未来 AI 需求

Karthik Ganesan

代表人工智能的紫色和蓝色发光电路

有一件事或许会出乎你的意料:如今 AI 领域影响最深的瓶颈, 和 GPU 的速度无关。

每当用户要求 AI 总结长文档、调试复杂的 代码,或者帮助用户解决某个多步骤问题时, 后台都会发生一些很少有人会留意的过程。AI 必须记住用户刚才问了什么问题,以及它是如何回答的。此外,AI 还必须记住用户在以前对话时问过的内容,以及它是 如何回答的,一直追溯到本次对话的开端。AI 记忆事物的方式 与人类不同,它会记住每一个 问题,每一个回答,以及每一个交互的细节,能够 100% 准确调取全部内容。

要存储所有这些内容,需要占用巨大的空间。

AI 用来存储“过往对话内容”的空间有一个专门名称:KV 缓存。KV 缓存正在悄然成为 AI 基础设施领域最紧迫的挑战之一。

AI 始料未及的内存难题

如今 AI 模型要处理的信息量 与几年前相比大幅增加。短短七年间, AI 模型所能处理的上下文大小增长至近 20,000 倍(platform.claude.com、understandingai.org)。 模型承载的上下文越长,所需要的内存就越多。这些内存空间不是为了 存储模型本身,而是为了存储用户与模型的对话历史。从资源开销的计算逻辑来看, 情况正变得越来越差,而不是越来越好。

加剧 AI 内存压力的三大因素

AI 内存问题是由三种截然不同的趋势同时叠加而引发的, 每一种趋势都在独立地推动对 KV 缓存的需求。

1. 上下文窗口持续扩大

更长的上下文窗口确实能带来生产力提升,因此 受到用户欢迎。开发人员想要将整个代码库塞给 AI 助手。 律师想要一次性分析数千份文件。用户 总会要求更长上下文,因为上下文越丰富,回答质量越高。

2. 思维链推理正导致资源需求不断攀升

思维链推理是一类新型 AI 系统(常被称为推理模型),它们不仅仅能 生成快速答复。类似 OpenAI o3 或 DeepSeek-R1 这样的系统支持 分步处理问题,首先生成中间 推理链,然后再得出答案。在推理期间,推理模型内部可能 生成大量推理词元,可能是最终响应中出现的推理词元的几倍, 从而显著增加 KV 缓存占用 。

3. AI 智能体崛起

这或许是所有变化中影响最大的一次转变。AI 聊天机器人 只能记住用户在几秒或几分钟内的对话,而 AI 智能体(一种 能使用工具、调用 API 并以用户的 名义管理长期工作流的智能系统)可能需要记住长达数小时、数天甚至更久的上下文, 且支持这些上下文跨越多个会话。AI 智能体将 KV 缓存从一种 短期暂存区域转变成了一种类似持久化存储的 系统。曾经只是后台实现层的细节, 如今已经上升为核心的系统级难题。

这个难题能靠软件解决吗?

这是个好问题。坦诚来讲,软件能够提供 巨大帮助,但仅靠软件无法彻底解决该问题。研究人员和 工程师已经开发出了一套出色的技术工具包,用于减少 KV 缓存大小,这些是切实有效的改进,能够放缓需求增长 曲线。

但这些努力无法从根本上扭转该趋势,究其原因,我们可以从 160 年前谈起。

1865 年,英国经济学家 William Stanley Jevons 观察到一些关于蒸汽机 的反直觉现象:随着当时的机器变得更加节能,英国 消耗的煤炭总量并没有减少。相反,煤炭消耗量大幅增加。 效率提升使蒸汽动力变得更加便宜,更多用户能负担得起,使用量 显著增加,消耗的煤炭量远远超出因效率提升而节约的量。Jevons 称之为回弹效应。如今,我们将这种现象称为 Jevons 悖论。

同样的一幕正在 AI 基础设施领域上演。每当 工程师找到一种使 KV 缓存变小的方法,用户和运营商 就会立即将节省下来的空间用于更大的上下文窗口、更多的 并发用户,或者更复杂的推理任务中。需求会不断膨胀, 不仅占满全部可用容量,还会要求更多空间。效率催生了需求。 目前还看不到任何需求减少的迹象。

内存层次结构探讨

那么,如何解决 KV 缓存问题? 答案是,借鉴计算机架构师数十年来 一直用来弥合成本、容量和速度之间差距的方法,引入一种内存结构: 分层结构。

很多计算系统(例如我们使用的笔记本电脑)已经采用了这种方法。访问频次最高 的数据存储在快速但昂贵的缓存中。访问紧迫性稍低 的数据存储在 RAM 中。其他所有数据存储在 SSD 中。该系统 会根据数据的使用频率和需求紧急程度来管理数据的存储位置 。

AI 推理系统也需要以类似的方式工作,只是规模要大得多 。

关键在于,其目标不是选择其中一个层级。而是要 统筹协调所有层级,基于 访问模式和工作负载需求智能地移动数据。

事实证明,SSD 层级的能力远远超过许多人的 预期。

一项值得了解的数据中心实验

我们对此进行了测试。美光数据中心工作负载工程 团队使用美光 9550 PRO SSD,以及 主流开源 AI 推理框架,进行了广泛的验证测试。测试结果 为我们带来了很多启示。

增加高性能 SSD 存储可以将 KV 缓存扩展到 GPU 内存之外,从而显著提升长上下文推理能力,并有可能提高 GPU 利用率,降低基础设施成本。

这正是分层内存的经济逻辑在发挥作用。这种结构并非要取代 GPU 的板载内存。而是为 GPU 提供一个容量更大、成本更低 的备用存储空间,让 GPU 能够接受并处理更多请求 。

推理才是核心业务。

在上述讨论背后有一个更重要的点,我认为经常 在有关 AI 基础设施的讨论中被忽略。

AI 行业刚刚度过了第一个阶段,在该阶段,厂商专注于训练大模型, 如今的 AI 应用便是基于这些模型构建。但训练是一个 只需要一次性投入成本的过程。而推理(运行这些模型以回答真实用户和 AI 智能体的提问,每天高达数百万次)则是 AI 持续 带来收益的过程。这是一个 AI 不断创造价值的过程。

内存和存储不仅用于支撑推理。它们还 塑造着推理的经济性。可以同时服务多少用户? 能支持多长的上下文?单次查询的成本如何? AI 应用能否实现大规模盈利? 所有这些问题的答案, 最终都取决于内存和存储层级。

重视内存的公司将构建出更好的 AI 系统, 比那些将内存视为 次要考虑因素的系统更快、更强大、更高效。而不重视内存的公司将会 受限于自身的内存部署方案。

展望未来

对于 AI 系统对内存和存储的需求,许多人仍然不太了解。上下文窗口大小将持续增长。智能体的自主性将持续提升、生命周期不断延长。KV 缓存带来的挑战将变得更加严峻,随后才能逐步缓解。

好消息是,未来的架构发展之路正变得越来越清晰。那便是:一种经过精心设计的内存层次结构,在响应时间至关重要的场景下针对速度进行优化,在容量至关重要的场景下针对规模进行优化。这种结构可以将看似难以克服的瓶颈转化为之前已经解决的工程问题。

要构建这种层次结构,相关的内存和存储技术已经成熟。

如果您想深入了解文本讨论内容背后的技术架构、数据和工程细节,请参阅:KV 缓存挑战:探索 AI 推理内存的新前沿。

瓶颈真实存在。解决方案同样如此。

存储解决方案架构技术资深专家

Ramkarthik Ganesan

Ramkarthik Ganesan 现任美光科技技术资深专家,主管核心数据中心业务部门的存储解决方案架构工作。他是一位经验丰富的技术专家,在存储系统、性能优化和系统设计领域积累了深厚的专业知识。在美光工作期间,他专注于研究赋能 AI、云和企业工作负载的下一代存储创新。

相关博客