AI 是如何获得“知识”的？

了解嵌入空间，以及 AI 如何模拟知识。

要回答“AI 是如何获得‘知识’的？”这个问题，我们不能仅仅分析其输出的内容，而必须深入了解 AI 背后隐藏的、普通人不熟悉的数学空间。AI 所做的预测就发生在这个数学空间中。了解该过程有助于改变我们与 AI 的关系，我们不应将 AI 视为真理的来源，而应将其视为一个复杂的系统。AI 系统基于概率生成预测，我们必须加深对 AI 的认识，并怀着审慎的态度，才能更好地利用 AI 的能力。有了这种技术层面的理解，我们才能以一种更加平衡的方式去思考，并开始进行深入的探究：不再盲目接受有关 AI 的笼统、泛泛的论断，而是首先承认其不确定性，然后提出更精确的问题——AI 可能会在何时、什么条件下、以何种方式增强或者重塑人类的能力？ 本文是我们有关 AI 相关概念的四篇博客系列文章中的第一篇。我们将从“词元”和“嵌入”等基本术语开始讨论，然后进一步了解“嵌入空间”，这是一个高维度的空间，在 AI 大语言模型内部用于表示语言。正是在嵌入空间内部，单词之间的关系被编码，然后以一种统计的方式，而非基于单词意义的方式，来引导模型作出预测。我们还会谈到内存在该过程中的作用。作为 AI 底层硬件架构的一部分，内存以一种默默无闻的方式，决定了这些系统能够存储及输出的内容。

“白雪公主的故事告诉我们，永远不要吃……”

这是作家 Lemony Snicket 提出的一个未完成的句子。作家在这里试图重新构想白雪公主故事的结局，同时也为了揭示：当逻辑偏离了正常轨道，走向极端时，我们从故事中获得的教训将会变得非常奇怪、不合常理。虽然这个句子不完整，但前半部分已经给我们提供了足够的信息。读到这些信息时，我们的脑海中会浮现出一种熟悉的形状，并引导我们想到接下来应该出现的词。这一过程只有少部分来自有意识的回忆，更多的部分来自已经深深“嵌入”我们记忆中的东西——童年时代阅读童话故事时留下的烙印。因此，答案脱口而出：苹果！或者更确切一点：毒苹果。作为读者，面对这个不完整句子时，我们可能会感觉自己非常有把握去补全它，这是一种对该句子应该如何收尾的下意识反射。即便我们也知道，苹果并非那个故事真正要传达的寓意。这种反应引出了一些更深层次的问题：如果一种语言模型可以产生与人类相同或相似的结果，那么它究竟是从哪些知识中推导出该结果的？在模型内部，这些“知识”又是怎样表示的？

如果我们将这个不完整的句子提供给大语言模型 (LLM)，它可能会这样补全句子：“来自陌生人的食物”、“毒苹果”，或者只是简单输出“苹果”。每个版本似乎都是合理的。“来自陌生人的食物”反映了故事中的实际情节；“毒苹果”指出了故事中的标志性危险物；“苹果”则指向故事中出现的、大家都知道的水果。但这些可能的答案，都不是从模型的真实体验或经历中得出的。在这里，LLM 并没有去解释这句话背后的故事，它只是通过识别英语中的统计模式，然后得出答案的。也就是说，LLM 只是从下一个词元出现的概率分布中采样，然后来生成文本。所以，其生成的结果可能发生变化，与我们如何表述提示词、所使用的具体模型，甚至最近与模型的对话有关。因此，我们上面所举的例子，只是说明了模型有可能生成这些答案，并不是一定会生成这些答案。

在我们继续探讨 AI 如何通过这些统计模式获得知识之前，一个值得考虑的问题是：是什么样的物理基础设施，让模型具备了获得知识的能力？ 输出“苹果”或“来自陌生人的食物”这样的答案看起来很简单，但其依赖的底层机制却是一个非常复杂的层状结构，就像我们大脑中存储的、曾经阅读过的无数故事一样。模型的每一个预测，都来自于其内部存储的、数字化的关系，而这些信息必须依赖物理基础设施才能存在。而这些数据需要一个“容身之所”——也就是能够大规模存储、计算和处理它们的电路与内存系统。在模型与我们流畅交流背后，是其运行所在的底层硬件架构。“底层硬件架构”虽大多隐匿于视野之外，不太被注意到，但对于模型生成每一次看似毫不费力的响应都至关重要。本篇博客专注于对从文本到预测这一过程的概念性讨论。在讨论中，我们会稍微涉及使这一切成为可能的物理基础设施，并会特别关注基础硬件中所采用的先进内存技术。正是凭借这些技术，模型才产生了智能。

文本到预测的过程是如何实现的？

词元

当 AI 遇到一个单词时，它不会像人类一样去回想单词的意思，也不会去回忆自身的过往经历、记忆或感觉。它只是将单词转换为词元，然后依靠这些词元来解释整个文本。我们可以将词元视为 LLM 可以处理的最小文本单位。词元可以是完整的单词，例如“snow”；也可以是单词的一部分，例如“app”；甚至可以是标点符号、字母或空格。当我们将“白雪公主的故事告诉我们，永远不要吃……”这样的短语输入 AI 系统，然后要求 AI 补全句子时，AI 首先会将这些文本转换成词元。词元化的确切结果因模型而异，不过，很可能类似这样：

["\u201cThe\u201d | \u201c moral\u201d | \u201c of\u201d | \u201c Snow\u201d | \u201c White\u201d | \u201c is\u201d | \u201c to\u201d | \u201c never\u201d | \u201c eat\u201d"]

需注意，为便于说明，我们对这一过程进行了简化处理。真正的词元化基于复杂的算法，通常是专有算法。这些都是较短的常见单词，这意味着它们在词元化的过程中不太可能继续分解。请注意中间单词前的空格。这表示它们包含在句子当中，而非开启一个新的语义单元。¹从文本到预测是一个多步骤过程，词元化只是其中的一个阶段。为了理解机器如何辨认人类语言，可以将这一过程视为一种变形的过程。就像毛虫变成蝴蝶一样，在人类语言（在本例中，输入内容为文本）变成机器可以解释的东西之前，经历了一系列结构化的步骤，其中的含义被转化为数学关系。为了简单起见，我们将这一复杂过程简化为两个步骤：从文本到词元；再从词元到嵌入。然而，实际的转换过程要复杂得多，涉及许多中间步骤，如词元 ID 和其他表示形式。这些步骤旨在帮助机器更好地理解表达形式丰富多样的自然语言。

嵌入

然后，词元被映射到嵌入。嵌入是一种数学表示形式，可以保留单词之间的语义（单词所代表的想法）和语法（单词在句子中扮演的角色）关联。²重要的是，这些关联并非通过人工明确编程实现；它们是从单词在训练数据（可能包括文献、文章、文字稿和其他资料）中出现和重复出现的模式中自主学习得来的。随后，这些嵌入将被投影到训练期间产生的高维空间中。这个空间被称为嵌入空间，是一种数学结构，用于对嵌入模型中语言的内部表示进行编码。它不是一部包含各种定义的词典，而是一张呈现单词之间邻近性和关联性的统计图谱。也就是说，那些经常同时出现或发挥相似功能的词语，会在嵌入空间中相互聚集、彼此靠近。例如，“Pirouette”（芭蕾舞中的脚尖旋转）和“arabesque”（芭蕾舞中的燕式旋转）可能会彼此靠近，“apples”（苹果）和“caramel”（黄油奶糖）同样如此，但这种关系只是一种统计结果，并不是因为模型能够理解芭蕾舞或者甜点搭配。这些单词只在类似的上下文中彼此靠近出现。

模拟出的知识

以上解释可以让我们得出模型与人类之间的关键区别。对人类而言，“苹果”这个词可能引发多种层次的含义（与我们的经历和记忆有关）：邻居家的树、一斤苹果的重量、舌尖上的甜味等等。人类的理解源于文化、感觉和生活经验。但对 AI 来说，“苹果”并不会以这种方式存在于记忆当中。它的含义完全基于在句子中的位置，从嵌入空间内的关系推断得出，并且基于从海量文本中学到的模式。AI 可能不会像人类那样去“理解”，但它模拟出了人类的理解，表现足够优秀，并且非常有用。这里的“模拟”是指 LLM 可以生成类似于知识的响应，而非暗示 AI 系统具有像人类一样的理解能力或意识。如果想要更好地理解 AI 如何生成看起来类似知识的东西，我们需要深入地探究嵌入空间。