大语言模型中与上下文窗口有关的五个基本概念

上下文长度则是指您在该空间中放置了多少词元，即您与模型对话期间当前实际使用过的词元数量，包括输入词元（蓝色）和输出词元（绿色）。例如，如果模型具有可容纳 10 万个词元的上下文窗口，并且您的输入使用了 7.5 万个词元，那么，只有 2.5 万个词元可用于模型的响应，继续输出便会超出窗口的上限。

序列长度通常是指上下文窗口内单个输入或输出序列的长度。这是一种更精细的测量方法，可在模型训练和推理过程中跟踪每个文本段的长度。 

上下文窗口决定了模型可以处理的信息量上限，但它并不直接反映模型的智能水平。窗口越大，可容纳的输入信息就越多，但输出质量往往取决于输入信息的结构化程度与实际利用效率。一旦达到窗口的容量上限，模型在处理时可能会失去连贯性，进而导致不理想的结果（例如，AI 幻觉）。 

词元不是单词

如果上下文窗口由一个上限（例如 10 万个）来定义，那么词元就是衡量其容量的计量单位。重要的是，我们需要理解：词元并非单词。您在提示词中输入的单词将首先进入一个“词元分词器”中，该分词器将把文本分解为词元。一个单词可能会分解成几个词元。例如，“strawberry”会分解成三个词元，“trifle”则会分解成两个词元。有时候，一个单词可能只包含一个词元，例如“cake”。

不同类型的文本中，词元与单词的比例各不相同。不过，就英语单词而言，每个词元平均对应大约 0.75 个单词。因此，拥有 10 万词元上下文窗口（每用户）的模型不一定能处理 10 万个单词。在实际应用中，该模型也许只能处理将近 7.5 万个英语单词，或者更少，具体取决于文本类型。

估计值_词元数≈单词数∗1.33

为进一步在更大规模上测试词元与单词的比率，我们使用了来自“古腾堡计划”（Project Gutenberg，一个包含超过 7.5 万本免费电子书的图书馆）的八部知名文学作品，对其中的文本进行了快速分析。首先，我们计算了每本书中的单词数，然后通过词元分词器运行全部文本，以获得词元数。在对这些数字进行比较后，我们发现，每词元平均对应大约 0.75 个单词。 

了解词元数与单词数的平均比例，可以让经常使用 AI 的用户更有效地与 AI 互动。大多数 AI 平台（如 ChatGPT 或 Claude）在提供服务时都有词元总数限制。也就是说，这些平台使用词元而非单词来处理文本。这就导致用户很容易误判实际上可以输入的提示词单词量，或者 AI 响应时输出的单词数量。由于平台通常以词元而非单词来衡量输入输出的内容量，因此了解词元与单词的比率，可以让您更好地理解平台的限制，从而更巧妙地规划您的输入。例如，如果一个模型的输入限制为 4,000 词元，则大约对应 3,000 单词。在为模型提供长文档或数据集时，最好了解这一点，以便更有效地完成诸如查找关键见解或回答问题等任务。 

注意力在上下文窗口内并非均匀分布

人们经常会误解 AI 幻觉，将其视为模型的异常行为，或者将其作为语言模型存在问题以及不可靠的证据。但 AI 幻觉并非随机产生的；它们往往源于模型如何处理信息以及优先处理哪些信息，而这又取决于模型的训练效果、注意力分配机制等因素。在 GPT 或 Claude 等基于转换器的模型中，注意力是一种机制，用来帮助模型决定上下文中的哪些部分与用户的意图最相关，然后据此生成响应。为了更好地理解注意力的概念，设想您现在正身处一个嘈杂的鸡尾酒会上。如果旁边有人叫您的名字，您会本能地集中注意力。

“Frodo! 来这里！”

但是，如果四个人从房间的不同角落同时叫您的名字，情况又如何呢？

“Frodo！我是 Sam！”

“Frodo！快过来！”

“Frodo！看这边。”

“Frodo……啊，亲爱的 Frodo……”

您听到了所有这些招呼，但您的注意力现在被分散了。您可能更关注熟悉的声音，或者距离您最近的声音。每个声音都让您分出了一部分注意力，但这些部分的大小并不相同。这个例子并不完全贴切，但可以帮助我们理解大语言模型中注意力的运作方式。模型会分配注意力给上下文窗口中的所有词元，但其中一些词元的权重高于其他词元。这就是为什么大语言模型中的注意力通常被描述为“加权式”，这意味着并非所有词元都获得了同样的注意力。这种不均匀分配是理解模型如何优先处理信息，以及它们有时似乎会“走神”的关键。

更多上下文不一定意味着更好的答案

模型会扫描上下文窗口内的所有词元，但它不会为每个词元分配相等的注意力。随着窗口中的内容越来越多（例如，多达 10 万个词元），模型的注意力会变得更加分散。模型试图跟踪所有词元，这可能导致模型失去清晰的目标。

当这种情况发生时，模型会逐渐偏离当前对话，用户可能会感觉到回应变慢、不太连贯，甚至出现混淆对话前后内容的情况。这个时候，AI 经常会出现“幻觉”（Hallucinations，源自拉丁词 hallucinat，原意为“思想进入歧途”）。重要的是，我们要明白，这并不是模型出现故障的迹象。这实际上标志着模型已接近其能力阈值，正在满负荷运行。在此节点上，模型可能难以在过长的输入中保持连贯性或相关性。

从模型的角度来看，先前输入的词元仍然可见。但随着窗口内容的增加，注意力的分散，响应的精度可能会降低。模型可能会将先前提示词中提到的事实错误地放到当前问题中，或者将不相关的想法融合到输出中，使输出看起来很连贯但却毫无意义。在出现幻觉的情况下，模型不是在撒谎。它正在试图从无法清晰区分的大量片段中得出合理的响应，在注意力不足的情况下进行猜测。公允地说，模型其实是在基于现有信息努力运作，试图理解一段已超出其可靠处理能力的冗长对话。通过这种方式来理解注意力，有助于解释为什么更多上下文并不一定意味着更好的答案。²

话虽如此，较长的上下文窗口（超过 20 万词元，目前已经有模型支持 100 万或更多词元）也可能确实非常有用，特别是对于复杂的推理以及视频处理等新兴应用。一些新模型正在接受训练，旨在更有效地处理更长的上下文。通过优化架构和训练，模型可以更有效地管理对输入的注意力，减少幻觉，提高响应的质量。因此，尽管更多的上下文并不一定带来更好的答案，但新模型在保持注意力方面表现得越来越好，即使在处理特别长的对话时也是如此。

序列长度影响响应时间

在解析注意力机制之后，了解序列长度如何影响模型推理同样很有帮助。现在，我们可以问一个很实用的问题：当我们改变序列长度时，会发生什么？

输入序列长度会影响首词元时延 (TTFT)——即从输入请求到收到第一个输出词元的时间。TTFT 与 GPU 性能密切相关，因为它反映了 GPU 处理输入、执行计算，然后输出第一个词元的速度。而改变输出序列长度会影响词元间延迟 (ITL)——两个相继生成的词元之间的时间。^b 该延迟与内存的使用情况关系更大。

为进一步探究这一点，我们使用了一阶分析模型，来估计大语言模型推理期间的端到端延迟。我们在单个 GPU 上使用 Llama 3 70B 来运行该模型，该 GPU 带有高带宽内存（HBM3E 12H，8 层堆叠，36GB 容量），模型的上下文窗口为 128,000 个词元。^c