应用

一个问题,数万个词元。

为何不断增长的词元需求正在推动更多 AI 从云端走向端侧

Greg Agius、Rui Zhou

当您向 AI 发出指令:“帮我找一下本周适合安排一日家庭出游的时间,目的地须在 100 英里以内 。帮我推荐一些目的地,适合携带宠物及幼儿, 并且靠近电动汽车充电站;然后为我制定一份行程。”

您可能会收到一份简短、友好的回复:“本周六可以。以下是 三个目的地,以及每个目的地的行程。”

您知道吗?在这个简短的交互背后,您的 AI 刚刚处理了数万个词元。它执行了规划、 搜索、比较、自我检查,以及再次尝试等过程。而这些过程,您都看不到 。

您发出的请求与 AI 实际运行的工作之间,存在着 当今 AI 领域最重要的数字之一:词元个数,而且它正在持续增长。

一个请求会触发很多工作

在给出简洁的答案之前,您的 AI 会运行一个工作流。它会将请求拆分为多个步骤、搜索上下文、调用工具、验证结果,还会重新尝试处理失败的部分。在美光的测试中,一个 86 个单词的编码请求触发了 15 次模型调用,处理的词元数量超过 40 万个。1

这就是词元放大效应。当 AI 系统在内部消耗的词元数量远远多于用户在最终回复中看到的词元数量时,就会发生这种情况。

交互每用户请求对应的词元数
提出问题,获得答案(单轮问答)最多几百
具有对话记忆能力的 AI 助手(具备上下文感知能力的多轮对话)数千个
使用工具并执行多个步骤的智能体(小型智能体)数万个
在后台工作的自主系统(多智能体编排)数十万至数百万个

词元数量范围基于美光白皮书中的建模场景。实际的词元消耗量因模型、上下文长度、工具使用、重试次数和智能体架构而异。

问题不在于 价格,而在于计费方式

云端推理对于前沿推理、 不可预测的需求以及实验性需求仍然至关重要。当用量较低时,云端推理成本很低,并且 还在不断下降。

这并不是说云端推理成本高昂。成本是否可以接受, 与使用量有关。放大效应意味着用户无法控制甚至无法看见其工作背后的词元数量, 而且输出词元 的成本通常是输入词元的五倍或以上。即便价格下降, 但乘以更多的词元数,总成本仍然不容忽视——而且更重要的是, 模型仍然是按量计费的。

这种感觉,就像是定量配给制一样。于是您开始减少 AI 使用, 因为一旦使用,计费器便会运转。您不会对提示词做第四次优化。 您不会让智能体彻夜运行。

如果 AI 不会按量计费,您便不会有这种担忧。当您的日常 AI 运行在自有硬件上时,您在提问前无需再考虑成本。

有些事物永远不会 变得更便宜

延迟、隐私和合规性与成本关系不大。它们是 使用时的限制因素,降价并不能解决这些问题。

对于实时语音、机器人技术 以及实时分析应用而言,将数据传送到云端处理可能不切实际。对医疗保健、金融和政府部门的工作负载而言, 如果通过第三方基础设施传输敏感数据, 可能面临来自监管、合同或数据治理方面的限制。而就家庭 和个人使用场景而言,例如教育规划、金融投资组合 审查,以及管理医疗记录等,本地推理能将 私人数据保留在自己的设备上。在本地运行意味着您可以使用确定的版本、 可微调的模型,当提供商 在新版本中弃用某些功能时,您所用的模型也不会发生变化。

当您在 自有设备上运行 AI 时,内存和存储决定了速度

当推理转移到端侧设备上后,基础设施瓶颈的位置 也会随之变化,处理器的性能只是可能的瓶颈之一。

单次请求涉及的词元数量越多,意味着生成回复所需的时间越长,而端侧 生成回复的速度受限于内存带宽。更高带宽、 更大容量的内存可支持系统运行更大的模型、维持 更长的上下文窗口,并能在端侧更快地生成词元。美光 所做的 LPDDR5X 测试显示,解码性能随着内存速度 等级的提高而提升。2

在回答问题之前,AI 必须将模型从存储设备加载到 内存中。如果一个拥有数十亿参数的模型保存在速度较慢的存储设备上, 那么在 AI 生成首个词元之前,用户需要等待较长时间;而智能体工作流通常 会调用多个模型。高性能 PCIe 5.0 SSD 可缩短 模型加载时间,而更大的容量则意味着设备能存储 更大的模型库,用于不同的任务。3,4

存储决定了 AI 启动速度有多快。而内存决定了 AI 的 思考速度有多快。

混合架构是未来趋势

端侧推理并不会取代云端。它只是将 AI 扩展到 人们日常使用的设备和系统中——智能手机、AI PC、 工作站、企业端侧服务器、车辆以及工业 平台等等。

在混合架构中,每项工作负载都运行在 适宜的位置。云端负责处理前沿推理、弹性需求以及 重度计算任务。端侧计算则承担着需要高吞吐量、可预测、 隐私敏感型或延迟要求严苛的工作。

三大要点

  • 词元放大效应现已成为设计时的首要考量因素。用户所见的交互只是实际工作负载的一小部分,随着系统中的上下文、工具、验证、重试和多智能体协作不断增加,词元消耗量将会大幅增长。
  • 延迟、隐私和合规性与价格无关。无论每词元成本如何,这些都是不变的限制因素,只会推动特定工作负载转向本地推理。
  • 内存和存储是本地 AI 性能的基础。内存容量和带宽决定了模型的能力和词元生成速度,而存储设备的性能和容量则影响模型的加载速度,以及设备上能容纳的模型数量。

重点不在于更便宜的词元。本地 AI 是一种即时响应的、私密且随时可用的 AI,用户或组织无需计算每一次交互的成本。它无需等待网络传输,因此能够即时响应。它了解用户的日程、文件和使用习惯,并且在工作负载支持下,能够让敏感的上下文数据更贴近用户。

这正是内存和存储创新的意义所在。

完整的分析过程(包括成本建模和部署指南)请参见美光白皮书《端侧还是云端? 用于 AI 推理部署的词元级框架》。

参考资料

1. 美光白皮书《端侧还是云端? 用于 AI 推理部署的词元级框架》(Edge or Cloud? A Token-Level Framework for AI Inference Deployment),2026 年 11 月,https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/ai-tokenomics-white-paper.pdf

2. 美光白皮书《边缘解码:LPDRAM 在加速 AI 推理中的作用》(Decode at the edge: the role of LPDRAM in accelerating AI inference),2026 年 1 月,https://www.micron.com/content/dam/micron/global/public/products/memory/mobile-dram/lpddr5/documents/mobile-memory-foundation-edge-ai-white-paper.pdf

3. 美光 3610 新闻稿《美光推出全球首款面向客户端计算的 PCIe 5.0 QLC SSD》(Micron Launches World's First Gen5 G9 QLC SSD for Client Computing),2026 年 1 月 6 日,https://www.micron.com/about/press/news/micron-launches-worlds-first-gen5-g9-qlc-ssd-for-client-computing

4. 美光 4600 新闻稿《美光重塑性能标杆,让 AI PC、游戏玩家及专业人士如虎添翼》(Micron Redefines Performance for AI PCs, Gamers and Professionals),2025 年 2 月 18 日,https://investors.micron.com/news/press-release/2025/Micron-Redefines-Performance-for-AI-PCs-Gamers-and-Professionals-02-18-2025/default.aspx

美光营销活动与数字营销总监

Greg Agius

Greg Agius 是美光移动与客户端业务部门 (MCBU) 产品营销总监,拥有 20 多年的技术营销团队领导经验。他负责统筹全球绩效营销、社交媒体及数字战略。Greg 与妻子 Dorothea 及两个孩子定居于爱达荷州。他拥有新泽西学院的学士学位以及南加州大学的工商管理硕士学位。

Headshot of Greg Agius

モバイルビジネスユニット、プロダクトマーケティング担当シニアマネージャー

Rui Zhou

ハイテク業界におけるビジネスとエンジニアリングで20年近くの国際的な経験を持つルイは、製品ポジショニング、バリュープロポジション、および成長戦略の専門家としての実績があります。ルイはポートランド州立大学でMBAを取得しているほか、シンガポールの南洋理工大学でIC設計の修士号(M.Sc.)と電気電子工学の学士号(BEng)を取得しています。

Rui Zhou

相关博客