更快的数据中心。
更快的 AI。

一分钟之内……


视频已上传。直播开始。照片已分享。在每一个这样小的时间片段背后,都会有数据被创建、移动、存储,并用于提供服务。即时、无缝、大规模处理。下方的数据量增长速度凸显出整个世界对 AI 基础设施的需求,以及内存和存储在保持数据高速流动方面所发挥的关键作用。

数字化时代,每一个时刻都遵循着相同的路径:创建、存储、服务和学习。

创建

AI 可帮助创建内容、回答问题、生成推荐,并支持实现个人助理。高带宽内存助力 AI 数据中心大规模高效处理数据,从而提供这些体验。

代表视频内容的播放按钮图标。

存储

数据中心存储并组织海量的内容、模型和数据,以便在需要时随时提供信息。随着数据量增长,大容量存储有助于高效地保存和检索这些信息。

三个文档图标,代表多个内容文件。

服务

每一次流媒体传输、搜索、推荐和 AI 响应,都依赖于数据中心实时提供的数据。系统内存能够以低延迟在存储、计算和用户之间传输数据。

正在播放视频内容的移动设备。

学习与改进

每一次用户互动,都有助于提升 AI 系统的智能,从而为用户带来更强大、更个性化的体验。内存和存储协同配合,用于捕获、处理和保存新信息,使 AI 系统能够持续改进。

代表数据流的网络连接图标。

美光。AI 时代的核心。

AI 正在改变世界的运行方式,帮助企业加快创新步伐、做出更明智的决策,并开启更多可能性。在每个 AI 数据中心的背后,都有内存和存储的身影,它们共同决定了数据移动、扩展以及交付价值的效率。美光内存和存储解决方案为企业的发展奠定了基础,包括企业当下所依赖的突破,以及未来将创造的机遇。

两侧排列着服务器机架和网络基础设施的现代数据中心通道。

AI 催生了新型数据中心基础设施

现代数据中心正在进行重新设计,以支持日益复杂的 AI 工作负载。随着更多数据被创建、存储、移动和处理,内存和存储已成为企业的战略资产,助力企业提升性能、效率,并扩大规模。

AI 数据中心需要新的内存和存储策略

并非所有 AI 工作负载所需的基础设施都相同。从训练和推理,到智能体 AI 和分析,企业需要采用合适的内存和存储技术组合,以优化性能、效率和规模。

面向未来的 AI 基础设施合作伙伴

构建大规模 AI 系统,需要合适的技术和合适的合作伙伴。凭借先进制造工艺,业界领先的内存和存储解决方案,以及生态系统深度合作,美光助力客户以更高的性能、效率和信心部署 AI。

适用于各类 AI 工作负载的理想内存与存储


每一次上传视频、AI 生成响应并提供推荐,都有赖于数据在多个内存和存储层级间的流动。在每一层应用合适的技术,能够更好地支持 AI 助手、实现个性化体验,以及在现实世界中获得成果。

与金字塔示意图交互,了解美光如何支持 AI 流水线的每一个阶段。

探索盒子内部

常见问答

AI 数据中心是一种旨在支持人工智能工作负载的设施,包括 AI 模型训练、推理和大规模数据处理。AI 数据中心结合了计算、网络、内存、存储和冷却技术,旨在移动、处理和存储海量数据。美光等公司提供内存和存储技术,帮助 AI 数据中心实现现代 AI 应用所需的性能、效率和规模。

传统数据中心支持广泛的业务应用,而 AI 数据中心则针对 AI 工作负载进行了优化,相比普通工作负载,AI 工作负载需要高得多的计算能力、内存带宽、存储性能和网络容量。随着 AI 模型越来越复杂,如今的 AI 数据中心在设计时便旨在支持更大的工作负载,同时具备更高的性能、更强的连接性以及更高的效率。建设和运营 AI 数据中心的公司通常会使用 GPU 加速的服务器、先进的冷却系统、高速网络以及高性能内存和存储,目的是保持数据在 AI 流水线中高效流动。

AI 数据中心利用高性能服务器集群处理和存储海量数据。数据从存储设备移动到内存,由 AI 模型进行处理,其输出再发送给生成式 AI分析机器学习推理等应用程序。为保持性能和效率,计算、内存、存储、网络、电源和冷却系统协同工作,构成一体化流水线。这种协作有助于组织高效地交付 AI 驱动的服务、洞察和体验,其中内存和存储等技术在整个 AI 流水线中发挥着关键作用。

AI 基础设施是指企业开发、训练、部署和运行 AI 应用程序所需的硬件、软件、网络、内存、存储和电力系统。AI 基础设施为整个 AI 生命周期提供了坚实基础,可助力企业将海量数据大规模转化为 AI 驱动的洞察和服务。AI 基础设施整合了计算、网络、内存和存储技术,为 AI 体验、洞察和服务提供支持。大型云服务提供商和科技公司通常运营着超大规模数据中心,这些规模庞大的设施专为支持巨大的计算工作负载而设计。小型组织通常使用主机托管设施,通过租赁服务器空间、电力和散热设施来存放其设备,而非自行建设和维护数据中心。

服务器机架是一种标准化机柜,用于容纳服务器、存储系统、网络设备和电源组件。在 AI 数据中心内,服务器机架整合了计算、网络、内存和存储技术,以满足大规模 AI 工作负载所需。AI 服务器机架通常包含高密度 GPU 服务器、高速网络、先进冷却技术,以及帮助数据在 AI 流水线中持续高效流动的内存和存储系统。

内存和存储对于 AI 的性能表现至关重要,因为 AI 系统依赖于对海量数据的快速访问。内存将活跃数据保存在靠近处理器的地方,有助于 AI 应用程序实时生成响应、做出决策并处理工作负载。存储系统用于保存驱动 AI 生命周期的训练数据、AI 模型和输出结果。内存和存储相结合,助力企业在整个 AI 流水线中高效地移动、处理、存储和检索数据。随着 AI 工作负载的规模和复杂性不断增加,内存和存储的适当组合对于性能、效率和规模至关重要。

“最适合”的内存和存储解决方案由 AI 工作负载的性质决定。不过,大多数 AI 数据中心都依赖于高带宽内存、DRAM 和高性能 SSD 的组合。不同的 AI 工作负载对带宽、容量、延迟和能效有着不同的要求,因此需要针对 AI 流水线的每个阶段采用合适的内存和存储技术。这些技术协同配合,有助于减少瓶颈、提高效率,并提供现代 AI 工作负载所需的性能。美光提供专为 AI 基础设施设计的内存和存储解决方案。美光 HBM 提供 AI 加速器所需的带宽;美光 DDR5 DRAM 支持内存密集型服务器工作负载;美光数据中心 SSD 支持对 AI 数据集和模型的快速、可靠访问。这些技术相结合,有助于保持数据高效流动,从而加速 AI 训练、推理和数据处理。

继续了解美光与 AI

 

  1. 根据 Statista 的数据,全球每分钟有 16,000 个短视频被上传到 TikTok 平台。TikTok - 统计数据与事实 | Statista。
  2. 报告显示,2025 年全球平均每分钟有 500 小时的视频(约 2,500 个视频)被上传到 YouTube。2026 年 YouTube 统计数据 [按“国家/地区 + 人口统计资料”划分用户]。
  3. 据 Tech Business News 报道,2025 年,全球平均每天产生 4.0274 亿 TB 数据。“创建”包括新生成、捕获、复制或消费的数据。402,740,000TB/1,440 分钟 = 279,680.56 TB/分钟或约 279,600TB;每天产生 4.0274 亿 TB 数据 – 2025 年。
  4. HBM4(12 层堆叠)与 HBM3E(12 层堆叠)对比。在相似速度下,能效以每比特皮焦耳 (pJ/bit) 为单位进行测量。
  5. 基于引用 ACM 出版物的美光内部模型,与 H100 平台相比。
  6. 与上一代 128GB SOCAMM2 相比
  7. 结果基于美光内部开展的 Llama3 70B 模型(FP16 量化)实时推理测试,测试配置为:500K 上下文长度;16 个并发用户。此处预计的 TTFT 延迟性能改善基于以下数据:2TB LPDRAM 的每 CPU 延迟为 0.12s;1.5TB LPDRAM 的每 CPU 延迟为 0.28s。
  8. 结果基于美光内部的 LPDDR5x 功率计算器,以及假设的预估 AI 用例和条件。 ​
  9. 与 LPDDR5X 8533 Mb/s 相比
  10. 与上一代产品相比
  11. 基于使用 Intel 内存延迟检查器 (Intel MLC) 的测试数据,测试比较了 128GB 8800MT/s MRDIMM 与 128GB 6400MT/s RDIMM。
  12. 基于 Stream Triad 的测试数据,测试比较了硬盘存储容量为 1TB 时 128GB 8800MT/s MRDIMM 与 128GB 6400MT/s RDIMM。
  13. 基于 OpenFOAM 任务能耗测试数据,测试比较了 128GB 8800MT/s MRDIMM 与 128GB 6400MT/s RDIMM。
  14. 性能优势系通过比较 9,200 MT/s 与 6,400 MT/s 产品计算得出。
  15. 工作功耗的测量单位为瓦特。通过对两个 128GB 模块(以 9.7W 运行,总计 19.4W)与单个 256GB 模块(以 11.1W 运行)进行比较得出。
  16. 9650 SSD 在发布时是唯一市售 PCIe 6.0 SSD。此处的 SSD 对比基于截至 2025 年 5 月按收入排名前五的 OEM 数据中心 SSD 厂商当前量产且可供货的 PCIe 6.0 主流数据中心 SSD,数据来源于 Forward Insights 分析报告《2025 年第一季度 SSD 供应商状况》(SSD Supplier Status Q1/25)。
  17. 9650 SSD 的能效有所提高,性能是美光上一代产品(9550 SSD)的两倍,最大功率仍为 25W。
  18. 按 E3.L 计算的每 U 容量:(每块 SSD 245TB)x 每 2U 服务器 40 块 SSD,机架空间为 36U,服务器总可用存储容量为 4.9PB;E3.S:(每块 SSD 122TB)x 每 1U 服务器 20 块 SSD(机架空间为 36U) = 2.45PB/U。