- English – US
- English – India
- English - Malaysia
- English - Singapore
- 日本語 (Japanese)
- 简体中文 (Simplified Chinese)
- 繁體中文 (Traditional Chinese)
词元化是自然语言处理 (NLP) 和生成式 AI 中的一个基础步骤 。在大语言模型 (LLM) 处理文本之前, 词元切分器会将文本转换为离散单元,称为 词元。提示与回复中的词元数量决定了 模型需要完成的工作量,进而决定生成回答所需的计算资源、内存和成本 。
什么是词元?
在 AI 词元化中,词元是 AI 模型 可以处理的小型数据单元。对于文本,词元可以是一个完整的单词、单词的一部分、 单个字符或一个标点符号。例如,单词 “tokenization(词元化)”可能会被视为一个词元,或者被拆分为更小的 片段,如“token”和“ization”,具体取决于词元切分器。每个 词元都会被分配一个数字 ID,以便模型采用一致方式来 识别和处理该语言片段。
词元非常重要,因为 AI 模型以词元为单位衡量其输入和输出 。每个模型都有一个上下文窗口(单次可以处理的最多词元数量), 因此词元化决定了在该限制范围内可以容纳多少文本 。一个短句可能只使用几个词元,而一份 长文档或详细提示则可能使用数千个词元。模型处理的词元越多, 它为分析输入并 生成输出所需完成的工作就越多。
什么是词元化?
词元化是将文本转换为词元,并 为它们分配 AI 模型可进行数学处理的数字 ID 的过程。 一些多模态模型会对图像、音频和视频采用类似方法, 将其转换为类似词元的单元,但具体方法 因模态和模型架构而异。AI 模型并非直接读取人类 语言,而是使用词元化,将原始输入转换为 可供其分析、比较和生成内容的结构化序列。这 使词元化成为人类语言与模型计算所依赖的数字 输入之间的桥梁。
词元化是大多数 NLP 任务的第一步,从文本 分类和机器翻译,到情感分析和 问答,均是如此。它使机器 学习模型能够将非结构化人类语言转换为 结构化、机器可读的表示形式。词元化方法的选择 会影响模型在不同 语言和域中呈现文本的效率。一个需要更多词元来表达 相同内容的词元切分器,会产生更长的序列,从而增加计算、内存 使用和成本。
词元化如何运作?
词元切分器是一种预处理组件,其词汇表通常 在模型本身训练之前从大量文本中学习获得, 它将输入文本拆分为子单元,将每个子单元映射到一个数字 ID,并 将 ID 序列传递给模型进行处理。在输出端, 词元切分器以相反的方式运作:模型生成的词元 ID 被 解码,变成人类可读的语言。介于两者之间的其他处理过程 (理解输入内容并生成响应)则由模型 而非词元切分器完成。
词元化的工作方式有点像将一个句子转换为 条形码或机器可读代码。例如,一个人可以直接阅读“the cow jumped over the moon(奶牛跳过了 月亮)”并理解这些单词,但 AI 模型需要该句子 经过逐步处理。首先,在文本标准化过程中, 词元切分器可能会标准化文本格式,例如字符 编码或空白字符。许多现代 LLM 词元切分器会保留大小写和 标点符号,因为二者承载着含义。接下来,在词元 提取过程中,句子会被拆分为较小片段,例如“the”“ “cow”“jumped”“over”“the”和“moon”。然后,在词汇表 映射过程中,每个词元都会匹配到模型 词汇表中的数字 ID。这些 ID 本身并不承载含义,但它们为 模型提供了一种一致方式来识别和处理各个语言片段 。
一旦词元化完成,模型就会接管随后的处理。它首先 将每个词元 ID 转换为嵌入,即一组在 训练过程中获得的数字列表,然后通过 各层来细化这些表示,以捕捉词语与其上下文之间的关系。例如, 短句“the cow jumped over the moon”出自 童谣“Hey Diddle Diddle”,因此,在类似上下文中见过该短句的 模型,可能会将其关联到儿童文学、童谣或 富有想象力的文本。如果该模型还见过“cow(奶牛)”出现在 “farm(农场)”“animal(动物)”“milk(牛奶)”和“pasture(牧场)”等词语附近,它就会学习到:这些概念 也是关联的。
在这些层内,一种被称为“注意力”的机制可以让模型 衡量每个词元在上下文中与其他词元的关联程度。例如, “the cow jumped over the moon”和“the cow did not jump over the moon”包含许多相同的词元,但词元“not” 改变了句子的含义。在模型构建响应时,“注意力”机制有助于模型考虑 这种差异。
最后,模型会逐词元地生成响应, 并基于之前的所有内容预测每个新的词元 ID。 在去词元化过程中,词元切分器将这些输出词元 ID 转换回可读的文本。如果有人问,“Where is that phrase from?(那句话出自哪里?)” 该模型可能会识别出与“Hey Diddle Diddle”的关联,并生成 类似“该短句出自童谣‘Hey Diddle Diddle。’”这样的回答。模型会查看问题中的词语,并生成 符合上下文的回答。简而言之,词元化将语言 拆分为模型可以处理的片段,模型负责 解读这些片段并生成新的词元,而去词元化 则将输出结果转换回人类可以阅读的语言。
词元化管道中的关键步骤包括:
- 文本标准化:可选步骤,执行词元切分器特定的 清理步骤,例如标准化字符编码、空白字符或 重音符号。许多 LLM 词元切分器会保留大小写和标点符号。
- 词元提取:应用基于规则或 算法模式将文本拆分为单词、子词或 字符。
- 词汇表映射:为每个词元分配一个 来自预定义词汇表的唯一数字 ID。
- 去词元化:将模型生成的词元 ID 转换 回可读文本。
词元化本身属于轻量级计算。AI 系统中的大部分工作 (即模型处理输入词元 并生成输出词元)发生在词元化之后,这类工作依赖于靠近 AI 处理器的快速、大容量 内存解决方案 。
词元 数量为何会影响 AI 性能?
模型读取或写入的每个词元都需要计算和数据移动 。AI 推理通常分为两个阶段。在预填充 阶段,模型会处理提示中的所有输入词元,这 在很大程度上决定了响应开始的速度。在解码阶段, 模型会每次生成一个词元,这决定了 其余响应流式传回用户的速度。
解码阶段的每一步都需要处理器从内存中读取 模型权重,因此内存带宽通常会限制 词元的生成速度。为了避免重复之前的工作,模型还会 将其上下文中每个词元的中间结果存储在 键值 (KV) 缓存中,该缓存容量随上下文长度和 并发服务的用户数量增加而增长。随着提示变得越来越长,AI 代理会将更多步骤串联在一起, 并且会有更多用户共享相同的基础设施,内存容量 和带宽将成为 AI 性能的核心因素。美光的内存和 存储技术可帮助 AI 系统持续向处理器提供数据, 维持高词元吞吐量,并在训练与推理过程中 支持更长的上下文。
常见的词元指标包括:
- 上下文窗口:模型一次可以考虑的 最多词元数量,包括提示和 响应。
- 首词元生成时间 (TTFT):用户在 响应第一部分出现之前等待的时长。
- 每秒词元数:模型生成输出的速度, 可按用户或整个系统衡量。
- KV 缓存:一种内存,用于保存上下文内已有词元的中间结果, 使模型无需重新计算 这些结果。
词元化的发展历程是怎样的 ?
词元化已从基于规则的简单文本拆分演变为 一种对现代 AI 至关重要的复杂机器学习学科。早期 NLP 系统使用基础词界规则来切分文本。随着 AI 模型 能力不断增强,更先进的方法变得不可或缺。
- 1980-1990 年代 - 基于规则的 NLP: 早期词元切分器依赖空格和标点符号规则,这 对于英语很有效,但对于多语言文本却有局限性。
- 2000 年代 - 统计方法:概率 方法实现了更精细的切分,尤其适用于没有明显词界的亚洲 语言。
- 2016 年 - 字节对编码 (BPE):最初是一种 1994 年发布的数据压缩算法, 后来 BPE 被改编用于 NLP,实现了 在词汇量和语言覆盖度之间取得平衡的子词词元化 。
- 2018 年 - Transformer 时代的词元切分器:基于 Transformer 的双向编码器表示 (BERT) 和生成式 预训练 Transformer (GPT) 模型推广了基于 WordPiece 和 BPE 的 词元切分器,确立了 LLM 领域的行业标准。
- 2020 年至今 - 多模态词元化: 基于词元的方法扩展到了文本之外。例如,视觉 Transformer 会将图像划分为小块,模型以近似词元的方式处理这些图块, 这有助于实现当今的多模态 AI 系统。
词元化的主要类型有哪些 ?
词元化包含几种不同的方法,每种方法都针对 不同的语言、任务和模型架构进行了优化。现代 AI 系统, 尤其是 LLM,主要依赖子词词元化,以在 词汇效率与语言覆盖范围之间取得平衡。
1. 单词词元化
单词词元化基于空格 或标点符号边界,将文本拆分为单个单词。它在处理具有明确词界的语言(如英语)时效果良好, 但在处理复合 词、没有空格的语言(例如中文、日语)以及 词汇表外术语时表现不佳。
2. 字符词元化
字符词元化将文本切分为单个字符, 它只需很小的词汇表,但会产生更长的序列。 这种方法可有效处理生僻词或新造词,并适用于 具有复杂文字体系的语言,但会增加序列长度和 计算开销。
示例:单词“cow”可以被拆分为字符词元,例如 “c”“o”和“w”。
3. 子词词元化
子词词元化是现代 LLM 的标准方法,它将 单词拆分为高频出现的片段,这些片段通常(但不总是) 与前缀、词根和后缀相对应。它在词汇量 与语言覆盖范围之间取得了平衡,使模型能够通过将生僻词、 技术术语和新语言分解为已知的子单元 来处理它们。
示例:单词“tokenization”可以被拆分为子词词元, 例如“token”和“ization”,使模型能够使用较小的已知片段处理 不熟悉或复杂的单词。常见方法 包括:
- BPE:从单个字符或字节开始, 反复将出现频率最高的相邻对合并为新的词元。 字节级变体广泛应用于 GPT 系列和许多其他 LLM 中。
- WordPiece:与 BPE 类似,但会选择 能使训练数据似然度最大化的合并方式。它被用于 BERT 及相关编码器模型。
- SentencePiece:一个词元切分器工具包,而非 单一算法。它将文本(包括空格)视为原始字符流, 因此不依赖于语言特定的分词方式。它可以 实现 BPE 或 unigram 词元化,并广泛用于多语言 模型。
4. 句子切分
句子切分,有时也称为句子词元化, 会将段落或文档划分为单个句子。与 上述方法不同,它并不会创建 LLM 处理的词元;它只是 传统 NLP 流水线和文档工作流程中使用的预处理步骤 。它支持需要文档级分析的任务,例如 摘要、翻译和长上下文推理。
如何使用词元化?
词元化广泛用于各类 AI 应用,是解释或生成人类语言的系统的 基础预处理步骤。大规模 部署 AI 的组织(从 AI 数据中心 到边缘设备)必须管理词元数量,以维持 吞吐量并控制推理成本。
- 搜索引擎:词元化使系统能够 精确地索引和匹配用户查询,从而提升搜索相关性 及检索速度。
- 聊天机器人和虚拟助手:每个用户 输入都会在处理前被词元化;输出词元则会被实时解码为 自然语言响应。
- 机器翻译:词元化将 源句子转换为可处理的单元,从而实现准确的 跨语言重构。
- 语音识别:语音输入先被转录 成文本,然后进行词元化,以便 AI 系统进行语义解释 。
- 医疗保健 AI:词元化可将临床 记录、病理报告和医学文献处理成适合输入 AI 模型的形式, 从而支持诊断和研究工作流程。
- 财务文档分析:词元化 会对合同、财报和监管文件进行预处理,供 AI 模型提取结构化洞察。
- 法律文档处理:AI 词元切分器会将 案件卷宗、合同和法规文件进行切分,以便进行自动审查和 摘要生成。
- AI 训练流水线:模型通过 预测序列中的下一个词元进行学习;高效数据存储和 训练词元数据集检索是 大规模 AI 基础设施中的关键性能因素。
NLP 词元化和安全令牌化是完全不同的概念, 二者仅仅是共用“token”一词。NLP 词元化将文本拆分为 语言单元,以供 AI 处理,而安全令牌化 则将敏感数据(例如支付卡号)替换为 占位符令牌,以保护存储和传输中的信息。 二者用途互不相关,不应混淆。
词元化决定了表示给定的 输入或输出所需的词元数量,而词元数量是影响计算、占用内存和延迟推理的主要因素 。由于 KV 缓存会随着上下文中的每个词元增加而增长, 更长的上下文也会提高内存容量需求。在 大规模部署中,跨 AI 代理的重复上下文以及 不必要的冗长提示,可能会成倍增加成本。通过 精确界定上下文范围,并使用适合相应语言和域的 词元切分器来管理词元数量,可降低基础设施开销并 提升跨 AI 负载的响应能力。
词元化会在请求开始时将文本转换为词元 ID, 并在请求结束时将生成的词元 ID 转换回文本。推理则是 模型在处理输入词元和 生成输出词元之间所做的工作。词元化在 AI 系统的 总工作量中占比很小,而推理则驱动着 AI 系统中的大部分计算、内存和 能源需求。