设计工具

无效的输入。不支持特殊字符。

AI

端侧 AI 的兴起

美光科技 | 2025 年 12 月

从城市街道上行驶的自动驾驶汽车,到提供实时翻译的智能手机,端侧 AI 已不再是遥不可及的愿景,而是正在重塑人们生活和工作方式的现实。在这一转变背后,是人们对更快决策、更低延迟,以及更完善数据隐私保护的需求。端侧 AI 技术使智能应用运行在更靠近数据产生的地方,用户无需依赖集中式云基础设施即可更快获得洞察。

随着 AI 向端侧转移,内存和存储成为这场技术演进中的支柱——为各行各业的性能、效率和自主性提供支持,并将 AI 智能带到最需要的地方。

AI 在端侧计算中的演进

近年来,端侧设备数量持续激增,在源头默默地收集和处理着大量数据流。这些数据被用于集中式数据中心内部的 AI 模型训练,为当今的智能系统奠定了基础。现在,数据处理的闭环即将形成:在云端训练和优化后,越来越多的模型被部署在端侧设备上,在数据来源就地执行推理任务。

这种转变具有变革性。在本地运行 AI 工作负载可减少延迟,加强隐私保护,并实现更快的上下文感知决策,无需持续依赖云端。对美光和其他主流内存和存储供应商而言,这种演进带来了显而易见的机会:端侧设备需要高性能内存和快速可靠的存储来高效处理数据,并在设备本地运行日趋复杂的 AI 工作负载。

随着用户对即时响应的需求不断增长,纯云架构的局限性越来越明显,为端侧计算的兴起铺平了道路。端侧计算可以让计算更接近数据来源,尽可能减少向集中式服务器传输数据,从而补充了云端计算的不足之处。为实现这一愿景,端侧设备上的高性能存储和内存至关重要,可支持在本地处理海量数据流,实现快速、智能的决策。

内存在端侧 AI 中的作用

在人生旅途中,我们会捕捉沿途的每个视觉、听觉和感觉信号,并存储在记忆中。这些生命中的片刻,无论是精彩华章还是平凡琐事,都会塑造我们的认知,引导我们做出决策,并丰富我们的日常体验。

人类的记忆对于应对生活的复杂性至关重要,内存技术对于运行复杂的 AI 模型同样不可或缺。AI 模型需要内存来提供数据和上下文,协助处理信息并做出即时决策。

以一辆在城市繁忙街道上行驶的自动驾驶汽车为例。每个传感器、摄像头和雷达脉冲都会生成海量数据,自动驾驶汽车必须实时处理这些数据,才能确保安全和高效。而这正是内存的用武之地。

内存技术使端侧设备能够在本地处理和存储数据,做出推动创新和性能的即时决策,正如人类的记忆能让我们回忆过往经验、做出明智决策一样。

无论是人脑还是 AI 驱动的端侧设备,记忆(内存)都是做出智能决策的基础。对端侧 AI 应用而言,这种本地处理能力可转化为智能,让手机、个人计算机和自动驾驶汽车等设备高效自主地执行推理任务。

在端侧,数据不仅是存储的客体,更是活跃的主体,它能够移动、会思考、会学习。端侧数据的这些特性,与人类记忆不断演变、适应新环境并影响个体行动的方式非常类似。

端侧 AI 的关键驱动因素

多重因素推动了端侧 AI 的兴起,每个因素都有助于增强端侧设备的能力和效率。正如人类记忆让我们能够处理和响应周围环境一样,先进的内存技术使端侧设备能够在本地执行复杂的任务。

技术进步
 

内存和存储技术:高带宽内存 (HBM) 和低功耗 (LPDDR) DRAM 等内存和存储领域的创新,可以在更接近数据源的位置高效处理数据,从而显著提升端侧算力。HBM 对于在数据中心内部训练和优化 AI 模型至关重要。如今,HBM 已部署在端侧设备上。LPDDR5X 可大幅提升内存的带宽和能效,已成为当今端侧设备的首选内存解决方案。随着端侧生成的数据量极速增长,需要高密度、大容量的快速端侧存储设备。

算力提升:增强的算力对于各种高性能端侧 AI 应用至关重要,例如 AI 任务、游戏和专业工作负载等。采用前沿技术打造的 DRAM 和 SSD 可为更复杂的 AI 计算提供所需的速度和效率,使 AI 能够快速处理大型数据集,并生成准确的推理。

AI 范式
 

代理式 AI:端侧 AI 应用需要在设备端实现高精度数据处理,并快速做出决策。AI 代理支持基于实时数据的自主推理、适应和行动,是高级驾驶辅助系统 (ADAS) 和自动驾驶汽车等应用的理想之选。

生成式 AI:当今高度互联的端侧系统必须具备创造性和创新能力,以提供实时数据合成、预测建模和自适应学习。利用生成式 AI 技术,PC 和移动设备等端侧设备能够执行复杂的任务,推动媒体、娱乐和教育等行业的创新。

分布式 AI:随着 5G 和先进连接技术的出现,端侧设备能够实现更快的数据传输和更低的延迟,从而增强端侧 AI 功能。分布式 AI 可协同云计算和端侧计算,实现并行处理、自主节点和本地数据处理,从而提高远程手术等需要低延迟和高可靠性的应用的可扩展性、稳健性和效率。

运营优势
 

数据隐私和安全:在本地处理数据可实现敏感数据本地化处理,无需将其传输到中心服务器,这种方式不仅能降低延迟,还可提高隐私保护水平和安全性。这种能力对于金融等行业尤为重要,在这些行业中,数据泄露可能造成严重后果。

能效:端侧 AI 技术可减少与云端之间的数据传输量,以及云端的数据处理,从而降低能耗。通过在本地处理数据,端侧设备能够以更高效率和更低功耗运行。这并不意味着云端和数据中心内部的 AI 工作负载正在消失。相反,AI 将分布在端侧设备和云中,以优化效率。

可扩展性和灵活性端侧 AI 系统可轻松扩展并根据特定用例进行调整,使企业能够根据自身需求灵活部署 AI 解决方案。这种可扩展性,对于希望为各种应用和环境引入 AI 技术的行业至关重要。

塑造端侧 AI 的未来

存储在人类记忆中的视觉、听觉和感觉信息塑造了我们的认知,丰富了我们的体验,并指导我们做出决策。同样,先进内存技术正在塑造端侧 AI。这些技术使端侧设备能够在本地处理信息,利用类似于人类认知的智能做出即时决策。

在内存和存储解决方案持续进步的推动下,端侧 AI 兴起,标志着 AI 领域的重大转变。未来的 AI 系统将采用新的模型,即云计算和端侧功能相互协同,并与代理式 AI生成式 AI分布式 AI 范式无缝集成。随着这一转变,AI 变革行业与改善生活的潜力将更为巨大。 端侧 AI 不仅是 AI 领域的渐进式改进,还是 AI 创新和效率提升的催化剂,有望加速由 AI 驱动的增长和发展,引领人类进入新时代。