- US - English
- China - 简体中文
- India - English
- Japan - 日本語
- Malaysia - English
- Singapore - English
- Taiwan, China - 繁體中文
无效的输入。不支持特殊字符。
从计算到内存：我在美光的 AI 之旅
认知转变
第一次接触人工智能 (AI) 时，我就被它的潜力深深吸引。但当时自己对 AI 了解甚少，对于如何在工作中利用 AI 一片茫然。我对 AI 的早期探索集中在计算加速器（CPU、GPU 和 NPU）领域，主要研究如何通过加速器，在智能手机等端侧设备运行 AI。然而，加入美光后，我对 AI 的认识发生了重大转变。我开始意识到，内存和存储不仅仅是支持 AI 运行的普通硬件，更是 AI 创新的关键推动因素。这种认识引发了更深层次的转变：AI 不仅是一种技术，更是一种驱动产品开发和业务转型的思维模式。
美光如何助力 AI 的普及应用
随着 AI 模型的复杂度和规模（通常拥有数十亿甚至数万亿个参数）不断增长，对快速高效数据访问的需求愈加迫切。这种情况下，业界的关注焦点再次转向计算领域长期存在的挑战：内存墙问题。所谓“内存墙”，指的是处理器速度和内存带宽/延迟之间越来越大的差距。这一瓶颈可能会严重影响 AI 的性能，尤其是在大模型训练和推理过程中。
美光认识到，克服这一瓶颈对于构建可扩展的 AI 至关重要。因此，我们认为，内存和存储不仅仅是支持 AI 运行的组件，更是 AI 创新的关键推动因素。美光的产品组合旨在直面这些挑战：
- 近内存：HBM 和 GDDR 等解决方案与 CPU 和 GPU 紧密集成，可显著提升访问数据和模型参数的速度，大幅降低延迟并提高吞吐量。
- 主内存：美光提供采用标准 DIMM、MRDIMM 和低功耗 DRAM 等技术的大容量、低延迟产品组合，出众的性能和能效可满足现代 AI 工作负载的需求。
- 扩展内存：Compute Express Link (CXL) 等技术可为数据密集型工作负载提供可扩展的内存容量，在解决内存瓶颈问题的同时，还可以降低总拥有成本。
- 存储解决方案：从高性能 NVMe SSD 到经济高效的数据湖解决方案，我们的存储产品针对 AI 的严苛 I/O 需求进行了优化，能够确保数据随时随地可用。
针对 AI 不断发展的需求，美光开发了多种创新技术，正在帮助解决内存墙问题，并有望将整个 AI 领域的性能和效率提升至新的水平。
如果您想要深入了解美光的产品组合和未来创新，我强烈推荐您阅读 The Register 上发表的这篇对 Praveen Vaidyanathan 的深度访谈文章。
美光的创新正在塑造 AI 的未来
美光之所以能在支撑 AI 的技术领域占据优势地位，源于我们的前沿创新：
- 1γ (1-gamma) DRAM：与上一代技术相比，每片晶圆的位密度提高了 30% 以上，功耗降低多达 20%，速度提升 15%。（更多信息请参阅：美光 1-gamma 节点技术）
- G9 NAND：业界速度出众的 NAND，I/O 速度高达 3.6 GB/s，读取速度提升 99%，写入性能提升 88%，是数据密集型 AI 工作负载的理想之选。（更多信息请参阅：G9 NAND）
这些技术进步不仅仅代表着技术上的里程碑，更是构建速度更快、能效更高、更具可扩展性的 AI 系统的基础。
AI 领域的重要指标——以及内存和存储如何影响这些指标
AI 最令人欣赏的一点是，无论是什么平台（数据中心、客户端设备、移动系统等），都共享同一套性能指标。尽管在应用用例、架构和软件框架方面存在差异，但计算、内存和存储这些核心支撑因素均基于类似的系统级 KPI 进行评估。
对于 AI 推理，尤其是大语言模型 (LLM) 上的 AI 推理，其关键指标包括：
- TTFT（首词元生成时间）— 系统开始生成输出内容的速度。
- 每秒词元数 — 衡量吞吐量的指标。
- 每瓦每秒词元数 — 评估能效的关键指标。
这些指标对于评估性能和能效至关重要，并在很大程度上受到内存和存储子系统能力的影响。
存储在 AI 指标中的作用
从系统的角度来看，存储性能通常通过以下指标衡量：
- IOPS（每秒读写操作次数）— 在数据中心和客户端 SSD 环境中尤其重要。
- 读/写速度 — 对于使用 UFS（通用闪存）的移动平台至关重要。
影响性能的因素还包括访问模式、块大小和逻辑块寻址 (LBA) 大小等，进一步增加了性能评估的复杂性。不过，这些参数对 LLM 推理性能的总体影响在各平台上均保持一致。
美光在存储技术方面的创新旨在满足所有细分领域的上述需求，确保存储能够助力提升性能，而不会成为性能瓶颈。
内存的作用日益重要
在内存方面，我们正在见证一场重大转变。类似 LPDDR 这样长期以来只用于移动和客户端设备的技术，现在正在进入数据中心环境。这种转变源于数据中心对高能效、高性能内存的需求，此类内存能够用于运行要求严苛的 AI 工作负载。（更多信息请参阅：每一瓦特都很重要：低功耗内存如何改变数据中心）
尽管不同细分领域的关键内存配置参数（例如等级、通道数、I/O 宽度和密度等）各不相同，但内存系统的目标始终如一：在保持能效的同时，以优异速度等级持续提供出色性能。
美光的内存解决方案（包括 DDR、LPDDR、GDDR 和 HBM 等）均旨在支持完整的 AI 推理流程，涵盖嵌入、预填充、解码和后处理（更多信息请参阅：百万级词元上下文：优缺点分析）。这些解决方案可确保内存与计算和存储无缝协作，消除瓶颈，并尽可能提高吞吐量。
就其本质而言，无论是在超大规模数据中心还是在移动设备上部署 AI，都适用相同的基本指标。美光的内存和存储技术专为优化这些指标而设计，能够助力构建速度更快、能效更高、更具可扩展性的 AI 系统。
进一步思考：深入了解 AI 性能指标
如果您有兴趣深入了解如何跨平台衡量 AI 的性能，以及内存和存储如何在其中发挥关键作用，我强烈推荐您阅读以下文章：
NVIDIA NIM LLM 基准测试 — 全面探讨数据中心环境中的推理性能指标。
移动平台上的大语言模型性能基准测试 — 详细评估移动设备上的 LLM 性能。
推理= IOPS：为什么 AI 的下一前沿领域取决于存储技术 — 美光关于存储性能（尤其是 IOPS）将成为 AI 工作负载决定因素的观点。
这些资源为希望了解 AI 系统性能未来发展趋势的人士提供了宝贵的背景知识和深度技术探讨。
美光与 AI：从赋能 AI 到应用 AI
在美光，我们不仅为 AI 赋能，还利用 AI 来打造更好的产品。从智能制造到良率分析，AI 已融入美光运营的各个环节。我们将 AI 应用于：
- 图像和声音分析
- 流程自动化
- 工程工作流
- 业务运营
美光在公司内部广泛采用 AI，提升了我们的产品质量、效率和创新能力。
美光印度的故事：AI 应用案例
在美光印度核心数据中心业务部门 (CDBU) 下属的技术卓越中心 (CoTE)，我们见证了在业务运营中集成 AI 的强大力量。该中心在将新技术转化为商业产品方面发挥着至关重要的作用。在这里，几乎所有主要职能部门都采用集中办公模式并进行了垂直整合。从明确需求到为客户赋能，AI 正在帮助该中心简化流程、改善协作并加速创新，同时还可确保产品质量以及保守机密。
结语：内存是 AI 的核心
从计算到内存，我的 AI 之旅是一场变革之旅。加入美光后，我逐渐意识到：内存和存储不仅是支撑 AI 运行的组件，更是构建 AI 系统的基础。随着 AI 不断发展，美光将继续秉持对创新的承诺，确保我们不仅能够紧跟 AI 的步伐，还能助力塑造 AI 的未来。
