- English – US
- English – India
- English - Malaysia
- English - Singapore
- 日本語 (Japanese)
- 简体中文 (Simplified Chinese)
- 繁體中文 (Traditional Chinese)
人工智能时代的到来,促使云服务提供商对云基础设施进行了根本性的重构。随着各组织竞相训练前沿模型并大规模部署实时推理,对图形处理器 (GPU) 计算的需求激增,而传统云平台很难满足这些需求。这一差距为新兴云服务提供商创造了机遇。新兴云是一种新的云基础设施类别,专为满足现代 AI 对原生吞吐量和内存带宽的需求而构建,有别于定义了上一代云计算的通用企业级服务。
什么是新兴云?
新兴云(Neocloud,新兴云服务提供商的简称)是指从零开始构建、专注于 GPU 计算和 AI 工作负载而非通用企业级应用的云服务公司。传统云提供商提供的是通用服务,可能面临虚拟化开销和网络瓶颈,而新兴云则是从零开始,专为“GPU 即服务”而构建,优先考虑原生性能和硬件可见性,而非覆盖广泛的服务类别。新兴云平台可支持整个 AI 生命周期,从大规模训练和微调到推理,提供按需访问、预留实例和平台即服务等灵活的使用模式。新兴云这一新类别的出现,源于 GPU 资源不足暴露了原有超大规模云服务商的局限性,许多拥有高密度计算设施(很多源于加密货币挖矿)的运营商意识到,这是一个为 AI 行业提供服务的机会。据 Synergy Research Group 估算,2025 年新兴云市场规模超过 250 亿美元,并预测到 2031 年市场规模将接近 4,000 亿美元,复合年增长率接近 58%。
新兴云基础设施是如何运作的?
为提供确定的性能,新兴云基础设施摒弃了通用云的高度抽象设计,转而专注于三个紧密集成的层级:针对 AI 优化的计算、高性能 AI 网络,以及解耦且安全的基础设施。这种对局部领域的专注,使得新兴云相比传统平台能够支持更加定制化的 AI 模型设置。
新兴云集群用于实现其性能优势的关键核心组件包括:
- 针对 AI 优化的计算:高密度节点,每台服务器通常搭载四到八块 GPU,以支持大规模并行处理,并提供充足的原生吞吐能力
- 高性能网络:采用双网络架构,使用无损网络结构和远程直接内存访问 (RDMA) 技术,将管理流量与 GPU 到 GPU 同步流量分离,这是一种在高性能计算 (HPC) 领域常见的方法,旨在绕过 CPU 开销
- 解耦式基础设施:计算、存储和网络可根据工作负载需求独立扩展,而非同步扩展
- 裸金属服务器访问:客户获得单租户物理服务器,在工作负载和硬件之间没有虚拟机管理程序,消除了虚拟化开销
- 长期容量合同:服务提供商通过多年期供应协议锁定 GPU 库存,并为客户提供有保证的访问权限
通过尽可能减少网络变动和“嘈杂邻居”效应,新兴云服务提供商能够确保其基础设施为客户提供持续稳定 GPU 吞吐量,这将直接提高组织的成本效率。
新兴云如何盈利?
新兴云服务提供商通过出租 GPU 密集型 AI 基础设施的访问权来获得利润。其营收通常来自短期 GPU 使用、长期容量合约以及托管服务,使客户无需构建自有 AI 数据中心,也能完成模型训练、微调或部署。这种商业模式依赖于让成本高昂的加速器集群保持高利用率,同时为客户提供比传统采购方式更快的计算资源访问速度。
新兴云的发展历程是怎样的?
新兴云这一类别的出现,是两种力量汇聚的产物:生成式 AI 应用普及引发的全球 GPU 短缺,以及加密货币挖矿时代遗留下来的大量高密度计算基础设施。许多公司在起步阶段的业务是加密货币挖矿,随后转型为 GPU 即服务提供商,在不经意之间创造了一种新的、聚焦于 AI 的云计算类型。
- 2022 年之前 - 源于加密货币:为区块链工作负载构建基础设施的 GPU 运营商积累了大量电力充沛的计算密集型设施,很适合用于高密度 AI 计算
- 2022 年至 2023 年 - 生成式 AI 爆发:大语言模型 (LLM) 的迅速崛起推动了对 GPU 的海量需求,而现有超大规模云服务商难以在短期内满足 AI 开发团队的需求
- 2024 年末 - 类别定型:SemiAnalysis 于 2024 年 10 月发布了《AI 新兴云手册与剖析》(AI Neocloud Playbook and Anatomy),为新兴的“GPU 优先”提供商群体确立了一个统称,随着市场对 AI 计算的需求超过了现有平台的供应能力,该术语在 2025 年期间得到广泛使用
- 2025 年及以后 - 市场加速:大规模基础设施交易激增,各大科技公司投入数百亿美元,用于与新兴云服务提供商建立合作伙伴关系,希望能够比超大规模云服务商更快地获得容量,并获得更具竞争力的条款
新兴云服务提供商主要有哪些类型?
新兴云服务提供商利用多元化的商业模式为企业提供 AI 基础设施,这些商业模式通常可归纳为三种主要方法,这些方法在可扩展性、成本、性能和数据本地化之间各有侧重。对 AI 团队而言,最合适的模式取决于团队的主要需求,包括成本可预测性、运营灵活性、基础设施便捷性等等。
- 预留实例:企业承诺使用分配给单一客户的整个 GPU 集群,期限固定(通常为一到三年),可充分实现性能一致性和容量保证,在确保工作负载状态稳定的前提下,成本明显低于按需定价模式
- 按需实例:一种按需付费模式,企业可从共享池中消耗针对 AI 优化的计算资源,专为实验、开发、测试或需求不稳定的突发性工作负载而设计
- 无服务器平台:一种托管平台模式,由服务提供商处理所有配置、扩展和生命周期管理,客户按执行时间、请求或词元付费,很适合在将模型部署到生产环境中时优先考虑简便性的情况
AI 云基础设施模式:传统云、超大规模云服务商以及新兴云对比
随着 AI 从实验阶段迈向生产阶段,在选择 AI 基础设施时的决策目标,不再仅仅是寻找可用的 GPU。传统云、超大规模云服务商和新兴云之间最显著的区别,在于每种模式优化的交付目标不同,包括灵活的通用计算、集成式全球平台或专用 GPU 性能等。
| 模式 | 适用对象 | 主要优势 | 主要劣势 |
|---|---|---|---|
| 传统云 | 通用业务应用、数据准备、仪表板和小型 AI 实验 | 快速配置,灵活访问广泛的计算资源 | 共享基础设施和虚拟化可能会限制大型分布式 AI 训练的性能一致性 |
| 超大规模云服务商 | 需要全球性规模、合规性、托管服务和应用集成的企业级 AI 系统 | 丰富的服务种类,可将 AI 与数据库、安全工具、分析以及面向客户的应用连接起来 | GPU 访问权限可能取决于配额、区域可用性、定价承诺以及平台限制 |
| 新兴云 | 高度依赖 GPU 的训练、微调以及高吞吐量 AI 工作负载 | 专用 GPU 集群,配备高带宽网络,提供硬件可见性,裸金属服务器或者近乎裸金属服务器的访问权限 | 服务种类较少,团队可能仍然需要依赖其他云平台进行应用托管、获得数据服务或使用企业工具 |
1. 传统云
传统云是最通用的选择。当团队需要支持快速配置的标准计算、存储、网络和软件环境时,传统云完全可满足需求。对于 AI,传统云通常在工作流的边缘环节很有用,例如准备数据、运行 Notebook、托管内部工具或支持较小规模的实验。当工作负载依赖于数百或数千个 GPU,以可预测的延迟协同工作时,并非理想选择。
2. 超大规模云服务商
超大规模云服务商的独特之处在于,能将基础设施与广泛的托管服务生态系统结合在一起。其价值不仅限于提供 GPU 访问权限。更重要的价值在于,能够在一个统一的全球平台内,将 AI 工作负载与身份认证、安全、数据库、分析、合规控制以及面向客户的应用连接起来。这使得超大规模云服务商十分适合生产环境,但用户对硬件部署位置、网络拓扑,或者各区域内可用的确切加速器容量的直接控制力可能较低。
3. 新兴云服务提供商
新兴云服务提供商的独特之处在于,其兴起于大型 AI 训练集群的需求。这类厂商会优先考虑高密度 GPU 容量、加速器之间的快速通信、裸金属服务器或近乎裸金属服务器的访问权限,以及可预测的集群性能。其不提供广泛的企业服务,而是专注于缓解影响分布式 AI 任务性能的瓶颈,包括网络延迟、硬件抽象,以及对 GPU 的不一致访问。
三者之间的区别可以概括为:传统云针对灵活性进行了优化;超大规模云服务商针对集成式全球平台进行了优化;而新兴云则针对 GPU 性能进行了优化。许多组织会使用不止一种模式。一个团队可能会在新兴云上训练或微调模型,在超大规模云服务商平台上运行生产应用程序,同时使用传统云资源来支持工具或区域工作负载。在所有三种模式中,对于内存、存储和网络的选择,决定了可用的计算能力是否能转化为有效的 AI 性能。
新兴云基础设施是如何被使用的?
新兴云基础设施可为 AI 生命周期中的计算密集阶段加速,从模型训练直至生产环境中的推理。AI 公司之所以选择新兴云服务提供商,是因为这些提供商专注于 AI 公司迫切需要的领域:支持快速可靠访问的大规模计算。此外,新兴云服务提供商专注的领域较窄,使其能够比大型云服务商行动更迅速,并支持定制化程度更高的 AI 模型设置。
- 前沿模型训练:AI 研究团队运行大规模多 GPU 作业,在针对集群通信优化过的 GPU 密集型低延迟集群上预训练和微调大语言模型
- 大规模 AI 推理:生产环境中的应用将 AI 推理工作负载路由至新兴云 GPU 资源池,从而在流量高峰期仍能维持吞吐量,而无需过度配置专用硬件
- AI 数据中心增强:企业利用预留的新兴云实例来补充自有或者租赁的数据中心容量,从而能在无需长期资本投入的情况下应对需求高峰
- 初创企业的 AI 开发:早期阶段的 AI 公司能够获得 GPU 容量,其价格比超大规模云服务商的价格更实惠。因此,对需要灵活且经济高效地访问 GPU 资源以保持竞争力的初创企业和小型 AI 开发人员而言,新兴云特别有吸引力
- 研究与实验:机器学习团队使用按需购买的新兴云实例在不同的硬件配置上运行实验,无需承担长期预留容量的成本
- 多云 AI 流水线:以突发方式在租用的 GPU 容量上运行模型训练,同时通过更宽的数据管道,将训练数据、模型检查点和生成的模型权重数据移至产品运行平台,而应用托管、数据库、面向客户的推理以及企业集成依赖项,则统一部署在单独的平台上。
哪些公司属于新兴云服务提供商?
通常被称为新兴云服务提供商的公司包括 CoreWeave、Lambda、Crusoe、Together AI 和 Nebius。这些提供商在规模、服务模式和客户侧重点上各有不同,但其共同点是强调“GPU 优先”的基础设施,这些基础设施专为 AI 训练、微调和 AI 推理而构建。新型云服务提供商之间通常不会在广泛的企业软件生态系统领域展开竞争,其竞争点主要包括对加速器容量、集群性能、高带宽网络的使用权限,以及是否能够帮助 AI 团队,以比传统采购或通用云环境更快的方式来扩展计算资源。
为何内存和存储对新兴云的性能至关重要?
美光的数据中心 SSD 和内存解决方案构成了新兴云运营商所依赖的数据基础层,用于高速移动训练数据集、暂存模型检查点,以及维持 GPU 密集型集群所需的存储吞吐量。AI 数据中心需要以内存为中心的架构,且需要针对带宽、延迟和每瓦性能进行优化,美光的端到端产品组合可帮助消除从 AI 训练到 AI 推理阶段的所有瓶颈,为未来的 AI 数据中心提供了坚实基础。先进 HBM 和快速的云存储解决方案直接决定了新兴云集群将原始计算能力转化为成品模型的效率。
超大规模云服务商的卖点是服务的广度:计算、存储、托管数据库、 身份认证、安全工具、合规认证以及全球区域等等, 所有这些均包含在同一份合同中,而新兴云服务提供商的卖点则是单一维度上服务的深度, 其每小时 GPU 价格通常更低,且通常能够让 AI 相关工作更快地获得资源。如何在两者之间做出选择,取决于公司 的需求:新兴云服务提供商适合主要制约因素是训练 吞吐量的团队;而超大规模云服务商适合那些需要合规性、 市场地位和企业集成的团队。
新兴云 AI 工作负载依赖于大规模数据中心,这些数据中心耗电量巨大,已经 让电网不堪重负,美国数据中心 在 2024 年的耗电量大约为全国总用电量的 4%,且 预计到 2030 年耗电量将翻一番以上;为了冷却这些设施, 一年就需要消耗大约 170 亿 加仑的水。除了能源和水资源需求之外, 新兴云服务提供商的激增造成了明显的市场碎片化, 随着资本约束收紧, GPU 供应方面的竞争加剧,预计未来会出现整合。