DRAM

我们是否在为端侧 AI 优化错误的对象?

Tara Abarca

为什么说端侧视觉语言模型 (VLM) 的性能不仅仅取决于 AI 计算,还取决于内存子系统

AI 处理的数据类型早已不再局限于文本。如今,人们越来越多地使用图像作为模型的上下文,让模型能够以全新的方式理解外部世界,并与之交互。即便是以出色的 AI 吞吐量作为宣传点的设备,在处理多模态数据时,也可能无法提供响应迅速且持续稳定的用户体验。随着视觉语言模型从演示阶段真正进入智能手机、AI PC、增强现实设备和其他端侧系统,这一明显的矛盾正变得愈发重要。

原因很简单:视觉语言模型所做的,不仅仅是执行运算。它必须摄取视觉数据,将图像转换为词元,然后将词元与语言上下文相结合,访问模型参数,维护中间状态,并生成响应,所有这些工作都必须在严格受限的功耗和散热条件下完成。当这些活动争夺内存容量和带宽时,峰值计算能力并不能说明全部情况。

多模态 AI 改变了系统工作负载

纯文本交互的 AI 性能,会受到模型大小和上下文长度的影响。而视觉语言模型的引入,增加了另一个维度,带来了更大的复杂性。图像分辨率、切片策略和视觉编码器的设计,决定了提供给语言模型的视觉词元数量;在生成第一个输出词元之前,视觉语言模型对于预处理、预填充和内存的需求,都远远超过纯文本模型。要维持更长的对话,系统必须保留更多需要重复访问的上下文。

以上这些系统面临的压力,并非持续稳定地出现。视觉编码、提示词预填充和逐词元解码等阶段,对于计算和内存的要求各不相同。因此,在单次交互期间,性能瓶颈可能出现在不同阶段,并且随着模型、图像输入、上下文窗口或设备电源状态的变化而动态转移。

为什么说现有的 AI 性能指标可能不全面

从上面的讨论可知,仅靠加速器吞吐量无法预测完整的用户体验。首词元生成时间、词元生成速率、可持续的性能、单次交互能耗,以及保留有效上下文的能力,全都取决于平台移动和存储数据的效率,以及计算的速度。

对系统设计师而言,更有用的问题可能不是“该设备能执行多少次 AI 运算?”,而是“整个平台能否在满足功耗限制的前提下,为引擎提供所需数据、保留所需状态,并维持良好的用户体验?”

内存已成为架构设计时的一项决策因素

内存容量决定哪些数据可以常驻在内存中。内存带宽影响模型权重和中间数据的供给快慢。内存能效决定工作负载能持续多久。数据放置位置和移动方向则同时影响以上三者。这些考量因素并不影响计算的重要性;它们共同决定了计算能否得到有效利用。

在决定端侧与云端的分工时,这种系统级别的视角也让决策更加明确。端侧执行可支持低延迟交互、隐私保护、个性化,以及无网络环境下的操作。云端执行则可利用更大的模型和弹性资源。如何合理分工,取决于工作负载特性、用户体验目标,以及端侧与云端之间的数据传输成本。

了解更多

美光发布的白皮书《在边缘设备上启用视觉语言模型:内存子系统的重要性》探讨了视觉语言模型推理流程中出现的性能瓶颈。白皮书探讨了驱动内存流量的工作负载特征、更丰富的视觉输入和更长交互的影响,以及设计平台时在响应速度和效率方面的权衡。

其核心结论并不是说内存将会取代计算,成为决定 AI 性能的指标;而是说,下一代端侧 AI 的成功与否,将取决于系统层面。阅读完整白皮书,了解该结论背后的测量数据、扩展性分析和架构影响。

营销部门负责人

Tara Abarca

Tara Abarca 现任美光营销传播部门负责人,专注于展示先进内存技术如何为移动设备、AI PC 和边缘智能等下一代计算赋能。作为移动与客户端业务部门的负责人,她致力于推动战略性叙事传播,重点展现美光在整个生态系统中的实际影响力和创新成果。她的工作旨在将技术深度与市场相关性相结合,帮助受众了解数据驱动的体验如何变为现实。

Tara Abarca portrait

相关博客