设计工具
应用

美光低功耗产品推动 AI 发展

Larry Hart | 2024 年 5 月

“AI、AI、AI……” 我并非想要通过重复热门关键词来吸引点击,但在科技行业,“AI”这个词几乎已经无处不在,频繁出现在会议、新闻发布会、媒体文章、甚至与家人的讨论中。AI 是不是炒作? 我的朋友、美光企业副总裁 Jeremy Werner 认为 AI 并非炒作,他认为 AI 将以各种方式证明其对人类的价值。(请参阅《2024 年存储、技术和全球趋势预测》,第 1 部分第 2 部分。)

尽管 Jeremy 的观点有理有据,但仍然有人在质疑 AI 的前景。我们不妨先花点时间,回顾一下过去 20 年里改变人们生活和工作方式的众多技术。我们几乎每天都使用搜索引擎来查找重要(有时不那么重要)的信息。智能手机已成为我们的“智能伴侣”,现在谁还只用它来打电话? 开车去一个新地方时,谁不使用 GPS 地图? 下班后开车回家时,我猜您肯定使用过 GPS 来推荐畅通的路线。您还会去商场买东西吗? 很多人不再去实体店购物,而是选择在线下单和送货上门。看电视剧和电影的观众已经从传统电视转向了 Netflix 等流媒体服务。我们现在可以自行决定要看的内容,而不是被动接受电视台提供的内容。通过社交媒体,我们无论身在何处都能与朋友和家人保持联系。改善了人们生活的变革性技术远远不止以上这些。生活在当今时代,我们确实非常幸运!

与这些技术类似,有关 AI 的很多设想也可能成为现实。如果我们将时间拉长,考虑未来 20 年 AI 对人类生活的影响,可能性会更高。即使我的预测不够准确,有一件事则是肯定的——我们的客户已经将 AI 作为其技术生态系统的核心。从 2024 年到 2029 年,预计全球 AI 服务器市场将增长 25%(营收复合年增长率 [CAGR])。1我们的客户持续扩充他们的 AI 工作负载和 AI 用例,推动了 AI 服务器销量增长。

AI 服务器解决方案的基本组件之一是 GPU 或加速器。这些 GPU 会消耗大量电力。例如,NVIDIA H200 GPU 的峰值功率高达 700 瓦。如果服务器中有八个 H200 GPU,总功率为 5,600 瓦。对比峰值功耗为 25 瓦的 SSD。即使服务器中有 24 块 SSD,总峰值功耗也仅有 600 瓦。

当然,我也知道,我比较的是峰值功耗,而非典型功耗。但一个显然的事实是,理论上系统中 GPU 的功耗约为 SSD 功耗的 10 倍以上。该比例关系通常也适用于 CPU、DPU 与 GPU 的功耗比。客户最近向我们反映,服务器 AI 工作负载的功耗已成为一个关键考虑因素。

功耗是构建基础设施时的关键考虑因素

随着用户数量和内容的增加,在系统中安装更多 GPU,必然导致总功耗增加。事实确实如此。但令人奇怪的是,数据中心的能耗占全球电力使用量的百分比却保持稳定。

对数字服务的需求正在迅速增长。自 2010 年以来,全球互联网用户数量增加了一倍多,全球互联网流量增长了 20 倍。

能源效率的快速提高有助于抑制数据中心和数据传输网络能耗的增长,两者的能耗各占全球电力使用量的 1% 到 1.5%。2

奇怪的是,在互联网用户数量翻倍、流量增长 20 倍后,为何总能耗仅占全球能源使用量的 1% 至 1.5%? 为何这些年来,该百分比一直没有变化? 部分原因是美光产品的能效持续提升。我们最近宣布,NVIDIA 正在 H200 Tensor Core GPU 中使用美光 HBM3E 内存。3据 NVIDIA 称,新款 H200 GPU 在大型语言模型 (LLM) 计算中消耗的能源是前代产品的一半。功耗的降低主要缘于美光在提升高功耗设备能效方面所做的工作。

 

来源:NVIDIA H200 Tensor Core GPU 数据表
NVIDIA H200 Tensor Core GPU 数据表

美光走在可持续发展的前沿

美光致力于为所有人创造可持续的未来,凭借性能更高、能耗更低的 AI 解决方案,美光已成为减少 AI 对环境影响方面的佼佼者。以下是几个例子:

  • 与竞品相比,美光 HBM3E 的能效大幅提升。该产品的功耗可比竞品低大约 30%3,同时可提供每秒 1.2 TB 的带宽。
  • DDR5 能够以更低功耗完成推理任务,用于 AI 推理时可将功耗降低 48%。AI 训练时间也缩短高达 28%。4
  • 美光 6500 ION SSD 不仅功耗更低,还拥有更长的使用寿命。其功耗比竞品 QLC SSD 低 20%,可节约运营成本;其 4KB 随机写入耐久度是竞品 QLC SSD 的 10 倍以上,使用寿命更长。5
  • 美光 7450 SSD 的吞吐量是 7300 SSD 的两倍。两者功耗大致相同,但 7450 的能效提高了 50%(每瓦特对应的每秒输入/输出操作 [IOPS])。6
  • 美光 9400 SSD 的能效比前代产品高出 77%。7

令我们自豪的是,美光致力于提高每一款新产品的功效标准,以确保尽自己的力量来降低功耗。同时,也不会在性能、安全性和其他功能做出妥协。为何如此? 因为我们认为,必须在确保可持续性的前提下提升技术。正如美光首席执行官 Sanjay Mehrotra 所言,“……可持续发展不仅是美光愿景、使命和价值观的核心,也是美光长期战略计划中不可或缺的一部分。我们认为,美光有责任在提升整个行业的可持续性方面做出表率。”8Sanjay 的话便是我们的可持续发展宣言!

尽管 AI 将为人类带来许多机遇和好处,但美光在推动 AI 发展的同时坚持关注可持续发展。可持续发展已经融入了美光的所有工作当中,因为我们致力于为社会和地球带来积极影响。 

1全球人工智能服务器市场(2023 年版):按价值和单位出货量、服务器类型(数据、训练、推理、其他)、AI 服务器基础设施、硬件架构、最终用途、国家/地区进行分析:市场洞察和预测(2019-2029 年) | Research and Markets | researchandmarkets.com
2《数据中心和数据传输网络》 | 国际能源署 | iea.org
3美光开始量产行业先进的 HBM3E 解决方案,加速人工智能发展 | 美光科技 | micron.com
4128GB_DDR5 RDIMM 产品简介 | 美光科技 | micron.com
5美光推出两款数据中心 SSD,将存储技术水平提升至新高度 | 美光科技 | micron.com
6《SNIA 固态存储性能测试规范企业版 v1.1》定义的稳定状态;启用驱动器写入缓存;NVMe 功率状态为 0;队列深度为 32 时使用灵活输入/输出 (FIO) 测量的顺序工作负载
77.68TB SSD 比较 — 美光 9400 SSD 的 4K 随机读取为每瓦 94,118 IOPS;美光上一代 9300 NVMe SSD 的 4K 随机读取为每瓦 53,100 IOPS。
8首席执行官致辞 | 《2023 年美光可持续发展报告》 | 美光科技 | micron.com

解决方案营销高级总监

Larry Hart

Larry Hart 现任美光存储业务部门解决方案营销高级总监,致力于打造和推广具有影响力的技术解决方案。他在产品定价、产品营销、推式营销、产品管理和生态系统开发等方面拥有丰富的经验,负责领导美光的营销战略,旨在推动并改善生态系统内部的技术协调,根据客户的需求推广美光的解决方案,为客户提供更大的总体商业价值。