DRAM

为何峰值性能只是 AI 整体性能的一部分

Tara Abarca

对于 AI 而言,真正的挑战不在于达到峰值性能,而在于随着工作负载的扩展,如何维持有效的吞吐量、可预测的延迟和效率。

AI 系统在受控条件下可以取得令人瞩目的基准测试结果。但实际生产环境中的推理要求更高。上下文长度会变化,并发请求会波动,新兴的智能体应用可能需要持续运行,同时还要利用不断扩展的历史数据和数据源。

在这些情况下,仅靠峰值算力本身并不能决定用户体验。更重要的问题是,随着需求增长,系统能否持续提供稳定的性能。

勿让计算等待数据

随着模型变得越来越大,它们需要更多的内存容量来存储其权重。随着上下文窗口和并发会话的增加,这会进一步加剧内存容量的压力。系统必须足够快速地反复移动和传输这些数据,才能确保昂贵的计算资源高效运行。

如果内存容量、带宽、延迟或数据传输速度跟不上需求,增加计算能力可能不会带来成比例的提升。吞吐量可能会趋于平缓,延迟可能会变得难以预测,而能效也可能会下降。

因此,持续推理的限制因素可能不在于系统计算的速度有多快,而在于它能否高效地为计算过程提供所需的数据。

重新思考内存与计算之间的关系

基于以上原因,AI 基础设施设计开始超越处理器规格,转而关注完整的数据路径。

人们不再将内存视为单独的辅助资源,而是将重点转向评估内存与计算如何紧密协作,以支持持续的推理工作负载。

这就引出了一个更有用的设计问题:不仅仅是 AI 系统具备多少计算能力,而是整个平台在实际运行条件下能多有效地维持这种计算能力。

持续 AI 推理的新视角

为更好地了解这些挑战,美光团队探索了现代推理工作负载如何日益依赖内存架构,以及随着模型规模、上下文长度和并发性的增加,计算与内存的交互如何变得越来越重要。

这些发现挑战了一些关于 AI 瓶颈根源的常见假设,并突显了为什么维持性能可能需要以更广阔的视角来审视系统设计。

对于基础设施架构师、数据中心规划人员和 AI 平台开发人员而言,这些见解有助于为未来 AI 系统的构建和优化决策提供参考。

从峰值性能到可持续性能。

峰值性能仍将是衡量 AI 能力的一个重要指标。但随着 AI 从演示阶段转向持续部署,基础设施还必须通过持续吞吐量、可预测的延迟、能效以及支持更多用户和更长时间运行工作负载的能力等方面来进行评估。

下一代 AI 系统将不仅仅由计算能力来定义,而将由计算、内存和数据移动的协同工作效率来塑造。

了解更多

阅读美光的“用于持续 AI 推理的统一内存架构”,了解为什么内存正成为 AI 可扩展性的核心,以及当峰值性能不再具有足够代表性时,哪些系统级权衡至关重要。

营销部门负责人

Tara Abarca

Tara Abarca 现任美光营销传播部门负责人,专注于展示先进内存技术如何为移动设备、AI PC 和边缘智能等下一代计算赋能。作为移动与客户端业务部门的负责人,她致力于推动战略性叙事传播,重点展现美光在整个生态系统中的实际影响力和创新成果。她的工作旨在将技术深度与市场相关性相结合,帮助受众了解数据驱动的体验如何变为现实。

Tara Abarca portrait

相关博客