美光科技术语表

AI 工厂

代表人工智能的数字大脑

全球对可扩展机器学习能力的需求疾速增长, 改变了企业在计算基础设施领域的投资方向。随着 生成式 AI、大 语言模型 (LLM) 以及推理密集型工作负载从 研究项目进入实际运营系统,一类新的 基础设施应运而生,旨在满足大规模工业系统的相关需求。AI 工厂 是这一趋势进入成熟阶段的代表。AI 工厂是一种专门构建的 环境,在这里,智能生产被视为一种持续的、 自动化的制造过程。

什么是 AI 工厂?

AI 工厂是一种专门构建的计算基础设施,旨在 通过对 AI 全生命周期的管理从数据中创造价值,涵盖了数据 摄取、训练、微调,以及大批量 AI 推理。AI 工厂的主要产品是智能,以词元 吞吐量来衡量,它推动了决策、自动化的发展,并催生了新的 AI 解决方案。

与专为通用计算和存储工作负载而构建的传统数据 中心不同, AI 工厂专为智能的大规模生产而设计。 传统数据中心主要用于检索和存储信息,而 AI 工厂则通过可重复的自动化流水线,将原始数据转化为 可付诸行动的智能。AI 工厂将 AI 视为一种 制造流程,用于生产可靠、高效且可扩展的 智能。这种特性塑造了 AI 工厂技术栈中的每一层,从 以内存为中心的硬件,到软件编排和设施供电 管理。

AI 工厂是如何运作的?

AI 工厂将数据、计算和工作流 阶段连接起来,将它们整合成一个连续的流程,使模型能够从最初的 训练阶段进入生产环境,并根据反馈进一步优化,全程无需人工手动 干预。高性能计算集群、可扩展的数据 存储和自动化软件编排协同工作,能够 消除拖慢传统 AI 开发 周期的瓶颈。

AI 工厂生命周期包括五个核心阶段:

  • 数据摄入与准备:原始输入经过 收集、清洗、标注和标准化,旨在让训练系统 无需定制即可对其进行处理。
  • 模型训练与调优:准备好的数据集 被输入到配备数千个并行专用处理器的高性能训练环境中,模型在其中学习数据集中的模式 。
  • 测试与评估:在部署前, 会对照基准的准确性要求、生产延迟要求,以及 从针对现实世界数据变化的稳健性等方面,对模型进行评估。
  • 部署与推理:经过验证的模型 可以基于实时数据生成预测和决策,并在 几毫秒内返回结果,即使请求量波动时也能维持稳定的性能。
  • 监控与持续改进: 实际性能信号会反馈到再训练周期中,以防止模型 漂移,让模型能够长期保持准确性。

AI 工厂与传统 工厂比较

AI 工厂的运作方式与传统工厂类似,它将原始 输入通过可重复的流程转化为有价值的输出。在 传统工厂中,原材料通过生产线, 最后变成成品。而在 AI 工厂中,数据通过训练、 调优、部署和推理流水线,最终产生 大规模智能。

两者的主要区别在于输出的产品不同。传统工厂生产 实体商品,而 AI 工厂生产数字智能。这些智能 可以用来支持决策、自动化各种任务,还可以 随着时间推移改进 AI 应用。

AI 工厂的发展历程 是怎样的?

AI 工厂的概念源于几十年来数据中心 的进步以及机器 学习运营的工业化。其发展紧随 图形处理器 (GPU) 计算的扩展,以及 需要持续进行 大规模训练的大语言模型 (LLM) 的出现。

AI 工厂演进的关键里程碑:

  • 2010 年代:超大规模云服务商开始构建专用 GPU 集群,以支持早期的深度学习工作负载,将 AI 计算 从通用基础设施中分离出来。
  • 2017 年:Google 公司研究人员发表研究论文《Attention Is All You Need》,引入了 Transformer。Transformer 是一种深度 学习架构,它使用一种被称为“自注意力”的机制来 同时衡量输入中所有部分之间的关系。因为 Transformer 以并行而非串行方式处理数据,可以 在数千个 GPU 上执行高效训练,并能扩展为规模更大的 模型。这从根本上改变了模型训练对规模的要求, 为当今 AI 工厂的设计奠定了基础。  
  • 2020-2022 年:LLM 开发加速; 各机构开始构建专门为 AI 进行优化的设施,其功率密度和冷却要求远远超出传统 标准。
  • 2023 年至今:“AI 工厂”的概念 在 NVIDIA 的 GPU 技术大会 (GTC) 上被重点宣传,进入了 主流基础设施规划。Uber、Google 和 Netflix 等公司已经开始运营 AI 工厂,用于数字调度、搜索 优化和个性化推荐。

AI 工厂的部署模式有哪些?

AI 工厂部署在三种主要的基础设施模式中, 每种模式都反映了对控制权、可扩展性和 成本的不同权衡。组织应基于数据治理 需求、工作负载特征和长期投资 策略来选择部署模式。

1. 本地部署的 AI 工厂

本地部署的 AI 工厂是一种 AI 基础设施环境,由组织 在其物理设施内拥有、运营和管理。该 模式让团队能够直接控制硬件、数据位置、安全 策略和性能调优,适用于敏感 工作负载或者受到严格监管的环境。

由于组织自己负责管理整个环境,本地部署的 AI 工厂可以围绕特定的模型需求、 内部数据系统和长期基础设施目标进行定制。需要考虑之处 在于这种模式需要更高的前期投资、专业的运维 知识和持续的容量规划。

2. 基于云的 AI 工厂

基于云的 AI 工厂是一种 AI 基础设施环境, 通过云平台而非私有设施交付结果。 此模式允许组织访问大规模计算、存储 以及编排资源,无需自行构建 基础设施的每一层。

基于云的 AI 工厂可以随着工作负载的变化而增减资源, 可支持实验性需求、突发训练需求,以及 全球分布式 AI 服务。基于云的 AI 工厂还可以减轻基础设施的 管理负担,不过,组织仍需对数据移动、成本控制和工作负载性能等方面 实施强有力的治理。

3. 混合 AI 工厂

混合 AI 工厂是一种 AI 基础设施模式,它结合了 本地系统与云端资源。这种方法让 组织能够将敏感数据或者对延迟敏感的工作负载保留在 内部系统附近,同时利用云来实现灵活的容量规划、 大规模训练或分布式推理。

混合 AI 工厂通常用于团队既需要控制权又需要 弹性的场景。例如,专有数据可能会保留在本地以保持合规, 而云资源则用于支持临时激增的计算 需求或者全球团队间的协作。

AI 工厂 有哪些优势?

AI 工厂可帮助组织从孤立的 AI 实验转向 可重复、可扩展的 AI 运营。通过结合数据管道、 加速计算、高性能内存和存储,以及自动化 编排,AI 工厂可以提高团队构建、部署和 完善 AI 系统的速度。

  • 更快的模型开发:AI 工厂 可简化从数据准备到训练和 部署的流程。
  • 可扩展的 AI 性能:专用 基础设施支持更大的模型、更高的推理量和更多 要求严苛的工作负载。
  • 提高资源效率:自动化 工作流有助于减少整个 AI 基础设施的空闲计算时间并提高 利用率。
  • 持续改进:监控和反馈 循环有助于团队根据数据、需求和业务需求的变化 来优化模型。
  • 更好的业务成果:AI 工厂有助于 组织更加持续稳定地将数据转化为决策、自动化 和新服务。

AI 工厂是如何应用的?

各行各业的组织使用 AI 工厂模式来 实现其智能生产的工业化。AI 工厂可加速 智能的生产,尤其是当数据的体量、速度和复杂性 超过传统基础设施的处理能力时。AI 工厂能让团队 从孤立的 AI 实验迈向持续、可重复的模型 开发和部署。

关键行业应用包括:

  • 医疗保健和药物研发:研究团队 并行处理海量的化学和基因组数据集,以加速 候选药物识别,并制定个性化患者治疗 方案。
  • 金融服务:银行利用 AI 工厂来 运行实时欺诈检测和风险评估模型,确保 安全逻辑不断更新,以应对新兴金融 威胁。
  • 制造和预测性维护: 知名工业企业利用 AI 工厂模型处理来自 数千台机器的传感器数据,并自动优化模型,预测 设备故障,以尽可能减少非计划停机时间。了解美光如何通过内存和存储解决方案 支持工业 创新。
  • 电信行业:电信公司 利用 AI 工厂提高网络效率并提升客户 服务质量,通过 持续更新的 AI 模型优化网络性能,减少停机时间。
  • 公共部门与主权 AI:政府通过 对主权 AI 工厂的投资来创造经济机会,推动 科学突破,利用 特定地区的数据集来构建本地语言模型,从而在全球 AI 领域 确立领先地位。

美光是如何支持 AI 工厂的?

美光利用内存和存储技术来支持 AI 工厂, 这些技术有助于移动、处理和存储 AI 工作负载背后的数据。随着 AI 系统从训练扩展到大规模推理,内存带宽、 内存容量和高性能存储对于 在整个 AI 生命周期内维持吞吐量至关重要。

内存和存储是 AI 的基石,数据在内存和存储中诞生、 训练并投入使用。美光的端到端内存和存储 AI 产品组合 旨在加速 AI 革命,涵盖从 数据采集到推理的全流程。美光的业界前沿存储支持快速、 高效访问训练所需的海量数据集,而 内存则能够将这些数据处理为实时智能。这些智能 可变革世界使用信息的方式,丰富全人类的生活。 美光的高带宽内存 (HBM)、高性能固态 硬盘 (SSD) 等解决方案可消除计算与数据之间的瓶颈, 这些瓶颈限制了 AI 工厂在各个生命周期阶段的吞吐量。

美光的 AI 产品组合涵盖了用于数据中心、 边缘 AI 和 AI 设备的内存和存储解决方案。HBM 可快速为加速器提供数据, 用于训练和推理,而数据中心 SSD 则支持快速访问 数据集、模型检查点和推理内容。这些技术互相配合, 有助于减少数据瓶颈,提高 AI 工厂的运营效率。

美光还在其自身的制造 和运营中应用了企业级 AI,使公司能够切实了解数据、 内存、存储和自动化工作流程如何支持复杂的生产 环境。

常见问答

AI 工厂常见问答

AI 数据中心为 AI 工作负载提供物理基础设施层, 而 AI 工厂则是在 该基础设施之上构建的完整运营模式。AI 数据中心的特点是 高密度电力(每机架 50 kW-100 kW)和先进的散热 管理,用于提供 AI 所需的原始电力。AI 工厂是 成熟的运营模式,集成了完整的 AI 技术栈和 自动化数据架构,通过可重复的流程来生产和 优化模型。

AI 工厂通常由超大规模云服务商、云 服务提供商、大型企业、研究机构和 投资于主权 AI 能力的政府拥有或运营。例如 Microsoft Azure、Google Cloud、Amazon Web Services、Oracle Cloud Infrastructure、Meta、OpenAI、xAI 以及正在构建 主权 AI 基础设施的国家 AI 计划。其他重要参与者还包括那些 提供必需技术的公司,如网络提供商、服务器 制造商、加速器和 AI 系统供应商(例如 NVIDIA),以及 内存和存储供应商(例如美光)。

智能制造是指使用互联系统、传感器、数据 分析和 AI 来改进产品设计、生产、 检测和维护的方式。在 AI 工厂的助力下,智能 制造可以使用 AI 模型来预测设备问题、优化 生产线,并改进质量控制。

GPU 性能呈指数级增长,而内存带宽的 增长速度要慢得多,从而造成了瓶颈,GPU 往往面临数据供应不足的情况。内存带宽不足会限制 加速器的性能发挥,降低利用率,并延长模型训练时间。 美光的 NVMe™ SSD 和 HBM 解决方案旨在提供 AI 工厂所需的吞吐量和 效率,让 AI 工厂能够持续保持 高负载运营状态。