- English – US
- English – India
- English - Malaysia
- English - Singapore
- 日本語 (Japanese)
- 简体中文 (Simplified Chinese)
- 繁體中文 (Traditional Chinese)
AI 模型上下文窗口的大小已经从数千个词元增长到数百万个词元, 随着 AI 模型复杂度的提高,要维持稳定的性能,给内存系统带来了 空前的压力。随着大 语言模型 (LLM) 大规模进军数据中心和 云环境,如何降低生成每个响应的计算成本, 已成为工程师和基础设施团队面临的 一项严峻挑战。
什么是 KV 缓存?
KV 缓存(键值缓存)是一种内存优化技术,用于 基于 Transformer 模型的 大 语言模型中,通过存储和重用 先前计算过的注意力值来加速推理。在自回归文本 生成过程中,每个新词元都依赖于之前的词元, 这使得高效的注意力处理变得至关重要,因为序列会变得 越来越长。
KV 缓存技术对于大规模部署大语言模型非常重要,因为它 有助于降低推理延迟并提高吞吐量
KV 缓存是如何工作的?
KV 缓存的工作原理,就像我们在读一本很厚的书时记笔记一样。当我们需要回答与内容有关的问题时, 我们不会重新去阅读已经读过的每一页, 我们会将重要细节保留在手边,然后便能使用 它们快速回答随后出现的新问题。在大语言模型中,KV 缓存起到了相似的 作用,即保持有用的上下文随时可用,这样便可让模型加速生成 每一个新词元。
KV 缓存可在 Transformer 架构的自注意力机制中发挥作用, 通过存储中间表示,模型便可以 在连续的生成步骤中重用它们。在 AI 推理过程中,模型处理输入词元,并为每个词元生成三个 向量:查询、键和值。注意力权重 是通过将查询向量与所有存储的键向量进行比较而计算得出的, 而值向量则用于生成最终输出。
缓存过程遵循以下步骤:
- 初始处理:模型处理 输入提示词,计算每个词元的键和值张量, 然后将它们存储在 KV 缓存中。
- 增量生成:对于每个新词元,仅 重新计算查询向量,之前缓存的键和 值可通过直接检索得到。
- 注意力计算:注意力机制 将新查询与所有缓存的键值对相结合,然后产生 输出,无需重新处理之前的词元。
- 缓存增长:每个新生成的词元都会将其 自身的键值对追加到缓存中,因此缓存会逐步增长,直到 生成完成。
- 内存管理:系统动态地分配和释放 多个并发请求和会话的缓存内存,以 优化利用率。
这种架构支持大语言模型使用非常长的上下文窗口, 而计算成本不会随着序列长度增加而按比例 增长。
KV 缓存是如何 与预填充和解码相关联的?
KV 缓存是在大语言模型推理的预填充阶段创建的,然后在 解码阶段重复使用。在预填充阶段,模型并行处理完整的 输入提示词,并将其键和值张量写入内存。 在解码阶段,模型一次生成一个新词元,生成时会读取 现有的 KV 缓存,因此它只需要为最新的 词元计算注意力,无需重新计算整个上下文。这种区别 很重要,因为预填充通常是计算密集型的,而解码 则通常受限于内存带宽和缓存大小。
KV 缓存 与标准推理相比有何优点?
在没有 KV 缓存的标准推理中,模型 每次生成新词元时,都会重新对整个上下文进行注意力计算。随着提示词和生成的回复 越来越长,这种重复工作会增加 延迟和计算成本。借助 KV 缓存,模型能够存储 先前计算出的键和值,然后在每个 生成步骤中重复使用它们,只有最新的词元才需要进行新的注意力 计算。
KV 缓存的主要优点是更快的词元生成速度和更高的 吞吐量。而其付出的主要代价是内存:缓存会随着 词元、请求和模型层的增加而增长,因此推理系统需要 足够的内存容量和带宽来高效存储和访问缓存的 张量值。
如何优化 KV 缓存?
KV 缓存优化的目标是减少存储键和 值张量所需要的内存,同时保持原有的推理速度和模型输出质量。 由于 KV 缓存会随着上下文长度、批次大小和模型深度的增加而增长, 因此优化时通常会结合内存管理、压缩以及 工作负载感知的服务策略,并非依赖单一 技术。
- 使用分页注意力:分配较小的内存块用于 KV 缓存, 而不是一个大的连续内存块; 对于变长请求,这种方法可减少碎片并提高 加速器利用率。
- 应用缓存量化:使用 INT8 或 INT4 等低精度格式来存储缓存的键和 值,以减少内存 占用,同时保持可接受的输出质量。
- 驱逐低价值词元:在内存受限时,移除较旧或不太 相关的缓存条目;可以使用 滑动窗口或基于注意力的重要性评分等方法。
- 重用共享前缀:缓存常用的提示词 前缀,用于处理重复或相似的请求,能够避免系统 为每个用户会话重新计算相同的上下文。
- 分散或卸载缓存存储:当长上下文工作负载 超过单个设备的容量时,将 KV 缓存分散到 多个加速器、主机内存或存储层级中。
优化 KV 缓存时 要做出哪些权衡?
优化 KV 缓存时,需要在内存节省、延迟、 吞吐量和输出质量之间做出权衡。如果选择更激进的压缩或驱逐机制, 可以减少内存使用量,并支持更长的上下文或更大的批次, 但如果删除了重要词元,或者 选择的精度过低,可能会降低准确性。专为实时 聊天设计的系统可能会优先考虑低延迟;而离线摘要或文档 分析工作负载可能会接受更高的延迟,以换取更长的 上下文窗口和更低的服务成本。
KV 缓存的发展历程 是怎样的?
KV 缓存直接源于 2017 年发表的里程碑式论文《Attention Is All You Need》中引入的注意力机制,该论文确立了 Transformer 架构,该架构已成为现代语言 模型的基础。早期的推理系统会根据完整的 上下文在每个生成步骤中重新计算注意力,这对于短序列而言并无问题, 但随着模型和上下文窗口的大小迅速增长,注意力计算成为了一个严重 瓶颈。
KV 缓存演进中的关键里程碑包括:
- 2017 年:Transformer 架构引入了 多头自注意力机制,确立了 后来使用 KV 缓存来优化的计算模式。
- 2020 年至 2022 年:语言模型的大规模 部署暴露了完全重新计算所带来的内存和延迟成本, 加速了业界对缓存策略的研究。
- 2022 年至 2023 年:生产环境中的推理框架 引入了分页注意力机制,将 KV 缓存内存视为虚拟页面,旨在 减少碎片,提高处理多个并发请求时的 利用率。
- 2024 年至 2025 年:上下文窗口从 数千词元扩展至数百万个词元,推动了 KV 压缩、量化和分布式缓存技术的快速创新,以应对不断提高的 内存容量需求。
有哪些主要的 KV 缓存 类型?
KV 缓存优化策略分为几大类,每一类 都旨在解决内存容量、 推理速度和输出准确性等方面的不同限制。工程师会根据 特定部署环境中的工作负载特征、硬件配置以及可接受的 精度等因素来选择合适的方法。
1. 全量 KV 缓存
全量 KV 缓存是一种 KV 缓存策略,它会存储推理过程中生成的每一个键和值 张量,不执行压缩或驱逐操作。这种 方法的精度最高,还可以作为基准,用来 对所有优化技术进行基准测试。全量 KV 缓存非常 适合较短或中等长度的上下文,这种情况下内存容量并不会成为 限制性约束条件。
2. 基于驱逐机制的 KV 缓存
基于驱逐机制的 KV 缓存是一种 KV 缓存策略,它会 选择性地丢弃被认为与当前生成步骤相关性较低的键值对, 以此来减少内存占用。滑动窗口注意力等方法 仅保留最近生成的词元,而重要性评分技术则会 识别并驱逐注意力值较低的条目。这些方法虽然能够减少 内存占用,但付出的代价是:对于需要长程上下文检索的任务, 其准确性可能会下降。
3. 量化 KV 缓存
量化 KV 缓存是一种 KV 缓存策略,它会压缩存储的键 和值张量,将其数值精度从全 精度(FP16 或 BF16)降低为 INT8 或 INT4 等低位格式。这种方法 可显著减少内存占用,同时仍能保留 模型的大部分输出质量,这一优势使得量化 KV 缓存成为一种在高吞吐量推理部署被广泛采用的 技术。
4. 分布式 KV 缓存
分布式 KV 缓存是一种 KV 缓存策略,它使用 跨多个加速器或节点的共享缓存存储,让推理所能使用的缓存容量可超出 单个设备的内存容量。这种方法对于 AI 数据中心环境中的超长上下文工作负载至关重要,在这种应用场景中,模型需要针对单个请求处理数十万 甚至数百万个词元。
如何使用 KV 缓存?
KV 缓存被广泛部署在生产推理 环境中,在这种环境中,延迟和吞吐量会直接影响用户 体验和运营成本。相关应用场景涵盖各行各业,从 企业软件到科学研究,凡是语言模型需要 基于超长上下文来生成响应的地方都可部署 KV 缓存。
- 对话式 AI:多轮聊天机器人和 虚拟助手会缓存之前的对话,以便每次响应都能参考 完整的对话历史,无需重新处理之前的会话轮次。
- 代码生成:跨多个大型文件生成 或补全代码的开发工具会缓存完整的文件上下文, 以给出一致且具有上下文感知能力的建议,并能够降低 延迟。
- 文档处理:企业平台 在分析长合同、研究论文和报告时使用 KV 缓存来 高效处理超长输入序列。
- 检索增强生成:需要将检索到的文档注入模型上下文的系统 使用 KV 缓存 来处理超长上下文,其中包括检索到的段落内容和用户 查询。
- 推理模型:生成扩展 思维链输出的模型依靠 KV 缓存在 数千个生成的推理词元之间保持连贯性。
- 高吞吐量服务:需要处理多用户并发请求的推理服务器 可共享并分页 KV 缓存 分配,以尽可能提高加速器利用率,并减少每词元 成本。
为何 KV 缓存对内存基础设施的要求很高?
KV 缓存之所以对内存基础设施的要求很高,是因为其 所需的内存容量直接随上下文长度、批处理大小和 模型层数而变化。每个新词元都会产生键值张量, 这些张量必须在整个生成过程中被存储、检索和更新,对于部署在生产环境中的 LLM,这使得 KV 缓存成为加速器内存的 最大消耗者之一。
这些内存需求在解码阶段尤为明显, 此阶段模型会反复从 KV 缓存中读取数据,以逐个生成 新词元。随着上下文窗口扩大,内存容量会影响 系统所能支持的上下文大小,而内存带宽则影响 模型访问缓存中的键和值的速度。内存会影响延迟、 吞吐量、批处理大小、并发性和整体推理成本。
对美光而言,KV 缓存突显了高带宽、 大容量内存对于可扩展 AI 基础设施的重要作用。美光的内存解决方案旨在 支持现代 AI 工作负载所需的吞吐量和容量,能够帮助数据中心系统处理更长的上下文和更多 并发推理请求。
KV 缓存之所以会成为长上下文大语言模型中的瓶颈,是因为每个 新增的词元都会增加必须存储的键和值张量,且 KV 缓存中的内容 会在生成过程中被反复访问。随着上下文窗口越来越大, 缓存可能会消耗掉加速器可用内存中的很大一部分, 并为解码过程带来带宽压力。这种情况可能会限制批处理的大小, 降低并发性并提高推理成本,除非服务系统 使用量化、分页、驱逐或分布式 缓存管理等技术来消除瓶颈。
当推理系统无法 预留足够的内存来存储处理请求时所需的键值张量, 便会出现 KV 缓存分配失败。这种情况可能发生在上下文长度、批次大小、并发数或 模型大小超过可用加速器内存的时候。系统可以使用一些技术来减少 分配失败的情况,包括分页注意力、 量化、缓存驱逐、前缀重用、卸载或分布式 KV 缓存管理等。