端侧 AI 的五大须知

在当今技术驱动的世界中，AI 正在彻底改变各行各业。无论您关注手机、PC 还是汽车领域，都需要了解内存和存储对端侧设备上 AI 工作负载的关键作用。美光科技深知，虽然 GPU（包括张量核）、TPU 和 NPU 等计算单元至关重要，但 AI 工作负载往往在计算资源耗尽之前就会遭遇内存墙。我们的业界前沿内存和存储解决方案专为满足这些严苛的端侧数据需求而设计，可保障性能、效率与可靠性。

近年来，端侧设备数量持续激增，默默地收集和处理着大量数据流。如今，这些设备的推理能力正在迅速发展，使 AI 工作负载能够更接近数据来源运行。这种演变为内存和存储制造商带来了巨大机遇。据 Gartner 预测，2025 年支持生成式 AI 的端侧设备硬件支出将增长 99.5%，达到 39 亿美元。作为 DRAM 和 NAND 技术领域的前沿企业，美光在 AI 生态系统中扮演着关键角色，完全有能力把握这一机遇。

当您思考未来端侧设备 AI 如何发展时，需要了解以下五大关键须知。

1. 端侧推理正在提升效率并加速 AI 普及

端侧 AI 推理可带来切实的好处，包括缩短网络延迟、加强隐私保护、减少对网络连接的依赖、降低运营成本、提高能效等。通过在本地处理数据，而非将数据发送到云端，端侧设备可提供速度更快、响应更灵敏的 AI 体验。此外，本地数据处理还可避免在端侧设备和数据中心之间不断地来回传输大量数据集，从而能够节省大量能源。

这种演变标志着一个重大转变。在以前，端侧设备严重依赖云服务器来完成自动驾驶等任务，面临着网络延迟和连接中断等风险。如今，在端侧执行的高级推理使车辆能够实时处理传感器数据，无需等待云端响应即可做出即时决策。这些进步为端侧 AI 解锁了新的可能性，并增强了用户体验。 消费者一旦亲身体验到这些好处，AI 将加速普及。

2. 端侧高级推理将推动 AI 转向分布式模型，但云不会消失。

尽管端侧计算发展迅猛，但云仍然是 AI 生态系统的重要组成部分。融合便捷端侧计算与大规模云计算的分布式模型，正成为 AI 工作负载的理想解决方案。云端将继续承担大规模数据处理、模型训练和集中管理等任务，而端侧设备则负责实时推理和本地化处理。要了解分布式 AI 在实际当中是如何工作的，请观看视频：从数据摄取到生成洞察：美光的产品组合可加速 AI 数据管道。该短视频展示了如何通过大规模创建结构化和规范化的 AI 数据，来实现端侧与云之间的无缝协作，从而提高 AI 的效率。

这种协作可充分利用两种环境的各自优势，为混合方法奠定基础。通过将端侧的敏捷性与云端的可扩展性相结合，企业可获得灵活性、效率和弹性。在此基础上，代理式 AI（即无需人工干预即可自主做出智能决策的 AI 系统）进一步加强了端侧与云端的协同，可优化性能表现、增强安全性并确保资源的高效分配。简而言之，AI 代理可驻留在终端设备中，当遇到无法完全解答的问题时，它会立即向云端或数据中心中更复杂、更专业的 AI 模型寻求答案，然后为用户返回更精准的响应。

总之，端侧设备将越来越多地独立处理推理任务，只有在完成需要大型模型或专用模型来执行的任务时，才依赖云端。

3. 端侧与云端协同运作的 AI 正在带来终极数据挑战

在端侧和云端双重环境中管理 AI 工作负载带来了独特的数据挑战。海量的多样化数据加上实时处理需求，亟需创新解决方案。美光前沿内存和存储技术应运而生，能为复杂的 AI 数据工作负载提供所需的性能、可靠性和效率。

内存瓶颈可谓一个重大问题，在模型训练和推理阶段尤其如此。高带宽内存 (HBM3E) 可有效缓解云端的瓶颈，而 LPDDR5X 则为端侧设备提供了高带宽与高能效。这些内存技术可确保 AI 工作负载能高效快速执行，无论它们位于端侧还是云端。

我们的全系列产品客户都依赖美光的优势地位与专业积淀，来有效应对这些数据挑战。

4. 内存和存储对于 AI 越来越重要

随着 AI 模型日趋复杂，它们对内存和存储容量的需求与日俱增。无论是端侧设备还是云端基础设施，都需要支持这些不断扩展的模型，同时不影响性能。美光的内存和存储解决方案专为满足这些需求而设计，可提供 AI 应用所需的大容量与高速度。

我们的产品基于业界前沿制程节点，能效表现卓越，其中采用美光前沿 1γ 制程节点的产品更在竞争中脱颖而出。对于 AI 数据中心而言，高带宽内存（HBM3E 和 HBM4）能有效突破 AI 加速面临的内存墙限制。为实现更佳性能，AI 数据中心需要构建完整的内存与存储层级架构，包括：高密度 DDR5 模块、LPDDR5X、采用美光 CZ122 的 CXL 扩展内存池、采用美光 9650 NVMe™ SSD 的本地 SSD 数据缓存，以及采用美光 6600 ION 的联网数据湖。

同样，端侧设备需要均衡的内存和存储组合配置，以保持 AI 工作负载的持续响应。LPDDR5X 等低功耗 DRAM 可提供实时处理所需的带宽，而快速、高效的存储可用于处理模型数据和推理结果。通用闪存 (UFS) 4.0 具备移动设备和 AI PC 所需的速度和可靠性，当与 PCIe 5.0 SSD（如美光 4600 NVMe SSD）搭配使用时，可确保智能手机和下一代 AI PC 等端侧设备上的 AI 顺畅运行。

5. 您无需独自应对所有数据挑战，美光始终与您同行

凭借逾 45 年的深厚积累，美光已成为手机制造商、PC OEM 厂商和汽车制造商值得信赖的合作伙伴。我们在内存与存储解决方案领域拥有出类拔萃的专业实力，致力于助力客户实现 AI 目标。深厚的行业积淀与持续创新的产品体系，使我们成为解决棘手数据挑战、把握加速 AI 发展新机遇的理想合作伙伴。让我们携手共进，攻克 AI 技术难题，推动智能科技蓬勃发展。

随着 AI 持续演进，内存与存储在端侧应用及设备中的重要性不容忽视。无论是手机、PC 和汽车领域的企业，还是工业与机器人行业的先行者，都必须优先考虑这些核心器件，方能确保其 AI 工作负载的成功运行。美光始终提供快速、高效、可靠的解决方案，为这些企业提供助力。

我们的技术不仅能存储数据，更能将数据转化为切实可行的智能洞察，加速价值兑现。