美光科技术语表

上下文工程

正在处理数字数据可视化的工程师

随着大语言模型 (LLM) 变得越来越强大,智能体 系统开始承担日益复杂的任务,模型在推理时所依据内容的质量, 已成为决定输出准确性的关键因素。 开发人员和企业越来越意识到,模型性能 不再仅仅取决于模型规模,而更多地取决于 在实时处理过程中,信息能以多高的精确度被结构化、过滤, 然后交给模型。在此背景下,上下文工程应运而生,成为管理 这一过程的学科。

什么是上下文工程?

上下文工程是一种实践性技术,涉及将刻意设计的、 结构化的、经过优化的信息提供给大语言 模型,以产生更准确、更相关、更可靠的输出结果。上下文工程 包含两种密切相关的技术:提示词工程和 检索增强生成 (RAG)。提示词工程是指 构建 LLM 提示词以产生更高质量输出的过程,而 RAG 则侧重于 将来自文档或数据库的信息添加到模型的 上下文窗口中。上下文工程将这些元素整合成为了一个 更大的框架。上下文工程在 AI 智能体系统或多步推理任务中尤为重要,因为在这些用例中, 模型会多次读取并更新上下文, 然后再生成输出。根据 Gartner 的定义,上下文工程是指 “设计和构建相关数据、工作流和 环境,以便 AI 系统能够理解意图,做出更好决策, 并提供符合语境、与企业目标一致的结果,无需依赖 手动提示。”

上下文工程是如何 运作的?

在现代机器学习 (ML) 系统中,上下文是指 模型在推理过程中所能看到的全部信息。上下文窗口可以看作是 模型的短期记忆。大语言模型没有长期记忆;它们 仅会基于推理时可以访问的上下文窗口 生成响应。因此,上下文窗口的质量和结构 会直接影响模型的推理、工具使用和 输出。上下文工程在实际当中的运作,可概括为四个核心 操作:

  • 写入:将信息持久化到窗口之外的 内存存储、日志和草稿板中,这样这些信息就不会在 每一轮中争夺注意力。
  • 选择:仅将相关片段提取到 当前调用中,该过程会使用向量检索、记忆搜索,以及基于 相关性和时效性的过滤等技术。
  • 压缩:总结、精简或丢弃过时的 内容,该过程会使用会话摘要和上下文卡片等技术,目的是让窗口中的内容保持 高信噪比。
  • 隔离:为子任务或子智能体提供各自的 上下文边界,以避免噪音和矛盾状态 在任务之间相互渗透。上下文工程相关流程的核心步骤 如下:
  • 上下文选择:通过过滤掉不相关或冗余的数据来选择包含哪些信息, 然后通过重新排序或 缩减上下文窗口来更好地适应当前任务。此步骤 还包括防止上下文中毒,即阻止不准确的信息或恶意 信息进入上下文窗口。
  • 上下文结构化:规划 如何使用适当的数据格式对上下文窗口中的所有信息进行组织, 例如 Markdown 或 JSON 格式,目的是定义指令并将 LLM 指令从数据中区隔开来。
  • 提示词设计与工程:规划如何 表述指令,包括其中的约束和规则,以及 对输出格式的要求。
  • 上下文压缩:利用摘要和去重等技术, 在有限的词元空间中装入更多有用信息, 确保大语言模型所占用的内存仅包含与任务相关的 信息。
  • 上下文排序:对上下文进行 正确排序;最相关的上下文应出现在上下文窗口的最上方, 越早的历史记录或不太重要的信息则应放在上下文窗口中更靠后的 位置。
  • 工具与记忆集成:决定工具 的输出如何插入到上下文中,以及大语言模型如何确定何时 调用工具。

上下文工程的发展历程是怎样的?

随着 AI 系统变得越来越复杂,开发人员需要管理的对象越来越多,不仅仅包括发送给模型的指令,上下文工程由此从提示词工程发展而来。随着时间的推移,开发人员的工作重点已经从设计单个提示词扩展到设计更广泛的信息、工具和系统,以帮助 AI 生成有用的响应。

2020–2021 年:随着 GPT-3 等大语言模型 (LLM) 的发布,提示词工程兴起,开发人员通过试验不同的指令、示例和措辞等,来改善模型的响应。

2022–2023 年:AI 应用变得更加复杂,引入了检索增强生成 (RAG)、外部数据源和更长的对话历史记录等技术。

2024 年:行业开始将工作重点从构建单一提示词转向管理提供给 AI 模型的更广泛的上下文,包括数据、记忆、指令和工具等。

2025 年:“上下文工程”这一术语获得了更广泛的认可,开发人员开始着力构建能够在正确的时间为模型动态提供正确信息的系统。

2026 年:随着各组织持续构建依赖于结构化上下文、检索、记忆和工具访问来完成更复杂任务的 AI 智能体和企业级 AI 应用,上下文工程逐渐走向成熟。

有哪些主要的 上下文工程类型?

上下文工程包含几种不同的技术, 这些技术相互结合,用于管理 语言模型周围的信息环境。每种类型分别用于处理上下文 流水线的不同层级,从数据如何被检索,到数据如何被处理以及 如何被长期维护。

  • 上下文检索:从外部来源选择并 提取相关信息,然后将信息包含在 模型上下文中。让模型无需完全依赖内部训练数据。该过程 可以基于关键字匹配、语义相似度进行检索,或者采用 将两者结合起来的混合方法。
  • 上下文生成:构建信息 或者将信息转换为模型更容易解释和 操作的形式,包括总结长文档、 提取关键事实,以及将数据组织成结构化的 格式。
  • 上下文处理:包括一系列步骤,旨在 将原始输入、检索到的数据和中间信息转换为 整洁、有序且可用的形式,然后将其传递给语言 模型。具体步骤包括清洗和规范化数据、分块和 分割、排序和过滤、转换和 丰富化。
  • 上下文管理:这是一个持续的过程,包括 控制、组织和维护包含在 模型上下文中的信息,涵盖长时间多次交互产生的信息,以确保 在需要时可以使用适当的信息,同时将不必要或过时的 信息删除或大幅缩减。
  • 提示词工程:上下文工程的一个子集, 专注于如何构建和格式化指令,用于 引导模型输出。提示词工程依然是有必要的, 但对于复杂的多轮对话或者智能体系统而言,单靠提示词工程是不够的。
  • 检索增强生成 (RAG):一种 将大语言模型连接到外部知识库或文档的技术, 使模型在训练数据之外,还能利用最新信息以及 特定领域的信息。在设计范围更大的上下文工程框架内,RAG 是主要的 “选择”机制之一。

上下文工程是如何 使用的?

对于使用了语言模型的系统,如果其中的模型必须 对动态、大规模或特定领域的信息进行准确推理, 上下文工程便可发挥作用。上下文工程的应用涵盖了许多行业和部署 环境,包括企业软件、医疗保健行业、云原生 代理平台等等。

  • 企业 AI 代理:以一个 集成了客户数据库、对话历史和 动态指令的电信聊天机器人为例,当应用上下文工程原则后, 客户满意度大幅提高, 转人工率显著下降。
  • 医疗诊断:以一款实验性的 罕见病 AI 诊断工具为例,在通过上下文工程接收了全面的患者 病史、生活方式数据和医学文献后,实现了更高的准确性 和时效性,效果优于未采用完整上下文工程的模型。
  • 代码辅助框架:多智能体大语言模型 系统依赖上下文工程来协调任务, 以代码辅助框架为例,其中结合了意图翻译、语义 检索、文档合成和专用工具智能体。
  • 云级别的推理:随着 AI 工作负载 从训练向大规模推理(包括推理密集型系统和 基于智能体的系统)转变,在计算堆栈和内存层级的每一层, 对内存和存储的需求都在急剧增长。
  • 智能体 AI 流水线:上下文组装是 每一个智能体循环迭代的第一步。上下文工程作为一种 专业技术,可以让这一步骤变得更为严谨,确保 在每次调用时模型所看到的信息都具有高信噪比、范围明确且及时有效,而非 嘈杂或过时的信息。
  • 基于 RAG 的知识系统:组织 通过部署上下文工程来构建检索管道,用于获取 来自企业文档存储库的最新的准确信息, 使模型能够可靠地回答问题,无需 再训练。

美光是如何支持 上下文工程的?

上下文工程依赖于一项基本资源:内存。AI 上下文的长度每年增加至 30 倍,而 每台服务器的内存容量在过去三年内翻了一番。如今,系统性能 越来越受到内存带宽和 容量的影响。美光的端到端内存和存储产品组合 专为满足上下文工程中每一层的需求而设计 。

美光的数据中心内存和存储产品组合专为 应对 AI 基础设施架构中的每一层而构建。高带宽 内存 (HBM) 支持高速模型执行和热键值 (KV) 缓存,而 LPDDR 和 DDR 则提供系统内存,以支持编排和 长上下文扩展。数据中心 SSD 完善了美光的产品组合,可用作 满足持久化 KV 缓存需求的高性能硬盘,以及 用于海量数据湖的大容量硬盘。

美光提供的、用于加速上下文工程工作负载的 关键解决方案:

  • 美光 AI 内存和存储产品组合:从 HBM 到 LPDDR, 从 DDR 到数据 中心 SSD,美光为 上下文工程技术栈的每一层提供内存和存储产品,可直接加速 模型在推理阶段对长上下文窗口的处理。
  • SOCAMM:美光是唯一一家提供 256GB SOCAMM2 的厂商,这是业界容量最高的产品,进一步加强了 美光在低功耗数据中心内存领域的优势地位,其功耗 和占用面积仅为标准 RDIMM 的三分之一,出众功效可支持 更长的上下文。
  • MRDIMM:美光 MRDIMM 是公司的创新产品,与标准 RDIMM 相比有效带宽提高 39%,延迟降低 40%, 有助于缩短在工作内存中检索和 处理上下文的时间。
  • 美光 9650 PCIe 6.0 SSD:美光 9650 SSD 是业界首款 PCIe 6.0 数据中心 SSD, 顺序读取速度高达 28 GB/s,是竞品的两倍, 可实现从持久化 KV 缓存和文档存储中快速检索数据, 供 RAG 流水线使用。
  • 美光 6600 ION SSD:美光 6600 ION SSD 的单硬盘容量高达 245TB,可助力超大规模 云服务提供商构建具有业界前沿 密度和能效的海量 AI 数据湖, 为大规模上下文检索语料库提供存储基础设施。

美光的业界前沿内存解决方案能将数据处理为 实时洞察,以此改变世界使用信息的方式, 丰富全人类的生活。随着上下文窗口持续扩大,以及智能体 AI 系统 成为标准部署模式,美光的内存和存储 创新有助于消除大规模应用中影响上下文工程性能的瓶颈 。深入了解美光的 AI 内存和存储解决方案,以及 美光如何为现代 AI 系统所需的基础设施提供支持。

常见问答

上下文工程常见问答

上下文工程是一门学科,旨在设计和管理 大语言模型在推理时所能看到的全部信息,以提高 准确性、相关性和可靠性。上下文工程超越了提示词工程, 包括系统提示词、检索增强生成 (RAG)、消息 历史管理和工具输出集成,所有信息都经过结构化处理,目的是 在每次模型调用时优化上下文窗口。

提示词工程构建指令,而上下文工程 则构建模型在生成回答之前所知的一切。提示词工程 旨在优化单条消息,在很大程度上是无状态的,主要处理过程是 单轮补全。上下文工程则管理着随时间推移而累积的整个上下文窗口, 涵盖多步骤智能体和长期运行任务, 主要处理上下文退化、注意力分散和矛盾 状态等问题,单靠提示词工程是无法解决这些问题的。

上下文工程需要快速、大容量的基础设施, 因为大语言模型在推理时会处理整个上下文窗口。AI 上下文的长度每年增加至 30 倍,而系统 性能越来越受到内存带宽和内存容量的 影响。高带宽内存可加速 KV 缓存访问; 企业级 SSD 可实现 RAG 流水线中的快速文档检索; 更大的 DRAM 容量支持长上下文工作负载,运行时不会出现 瓶颈。美光的产品组合(例如 HBM 和数据中心 SSD) 可提供运行这些工作负载所 需的高带宽、大容量和低延迟。