- US - English
- China - 简体中文
- India - English
- Japan - 日本語
- Malaysia - English
- Singapore - English
- Taiwan, China - 繁體中文
无效的输入。不支持特殊字符。
人工智能 (AI) 正在逐步“靠近”用户——这不仅是比喻,而是从物理层面上也是如此。AI 越来越多地直接部署在移动设备上,不再需要在每次推理或交互时依赖云基础设施。这种转变将为移动用户带来更快的响应时间,更具个性化的体验,以及对个人数据的更强控制能力。端侧 AI 正为移动设备带来许多更即时、更直观的新功能,包括管理日程、主动推荐晚餐选择以及实时总结通话内容等。然而,转向端侧 AI 不仅仅是一次性能升级,更是一场架构层面的根本性变革。
要在移动设备上提供富有吸引力的 AI 体验,需要搭载高性能且高效节能的内存和存储解决方案,以便支持实时推理,并尽可能减少延迟和延长电池续航时间。从高分辨率图像和视频、传感器输入数据,到个性化用户交互,直接在设备上生成和处理的数据不断增加且日益复杂,从而推动了上述需求。随着 AI 模型日趋复杂并具备上下文感知能力,内存系统必须能以极低的延迟和功耗来处理海量的数据流。如果没有可靠的内存和存储系统,即使是最简单的 AI 模型也可能受限于延迟、功耗和带宽等因素而无法发挥全部潜力。因此,内存不仅仅是系统的一个组件,它已经成为移动 AI 的关键推动因素。
要实现此项变革,我们需要重新审视内存与计算的协作方式、数据的传输路径及安全保障措施。
带宽和功耗:两大硬性限制
要实现端侧 AI,需要解决两项硬性限制:带宽和功耗。
移动 AI 工作负载对带宽需求高且对延迟非常敏感,其中由多模态和生成式代理驱动的工作负载更是如此。同时,这些工作负载必须在严格的散热和电池续航限制下运行。更高的带宽通常需要更快的信号传输和更多的活跃数据通道,这些都会增加功耗。由于存在这种取舍,对内存架构和数据传输策略进行优化至关重要。这一需求使得在设计时,每一字节的传输和每一毫瓦的消耗都至关重要。不妨设想这样一个场景:智能手机用户一边录制 4K 视频,一边让 AI 代理帮忙在附近咖啡馆点单,同时使用 GPS 导航前往该咖啡馆——所有这些操作均同时进行。这种无缝的多模态交互要求对相机数据、语音数据和位置数据进行实时处理。如果没有高带宽、高能效的内存,用户体验可能出现卡顿,手机容易过热,电量也会快速耗尽。
内存墙:AI 打破旧模式
AI 工作负载的运行方式与传统应用程序截然不同。AI 代理在访问内存时并不采用可预测的线性模式,而是采用突发性的非线性模式,这给传统 DRAM 系统带来了巨大的压力。这种不匹配导致了通常被称为“内存墙”的问题——内存带宽无法满足 AI 加速器的要求,且两者之间的差距越来越大。
“内存墙”不仅是技术瓶颈,更是实现实时移动 AI 所需解决的基础架构挑战。
架构转变:重塑系统
LPDDR5X 等技术正在向着更高的带宽和能效发展,OEM 厂商正在持续扩展内存容量,以满足不断增长的需求。这些技术进步已经逼近了当前设备性能的极限。
业界正在积极探索为端侧 AI 量身定制的一系列创新,以克服 AI 工作负载带来的带宽、功耗和架构挑战。这些创新包括更高带宽的内存接口、更智能的数据传输策略,以及能够在不增加散热和空间需求的情况下提高互连密度的先进封装技术。无论是通过改进标准,还是通过采用全新方法,不同途径指向的目标始终一致:提供更快、更高效、可扩展的内存系统,以跟上日益复杂的移动 AI 的步伐。
在这些大趋势中,业界对旨在平衡带宽、能效、安全性和可扩展性的新型内存架构和接口兴趣日益浓厚。随着移动 AI 工作负载日趋复杂,对基础设施的要求也日趋苛刻,这些技术创新将发挥至关重要的作用。
AI 操作系统的兴起
业界正处于移动计算新时代的前夕,而 AI 将成为新时代中人与设备交互的主要接口。移动设备的交互接口,经历了从数字键盘到 QWERTY 键盘,再到触摸屏的演变。下一次飞跃将是 AI——不仅包括语音助手,还包括功能完备的情境感知系统。这些系统了解用户偏好,能够提前预测用户需求,并代表用户采取行动。想象一下,手机能够感知用户何时下班,并在无需任何提示的情况下,适时调节家中温度、关闭安保系统。这一转变正催生一种被称为“基于意图的 AI 操作系统”的新型智能层,它将与传统移动操作系统平台并行运行。AI 操作系统能够解读多模态输入,统筹协调不同应用和服务的任务,带来更流畅且个性化的体验。
要实现这一愿景,需要比以往更快、更高效、更安全的内存和存储系统。这些系统必须能够在移动设备严苛的功耗和散热限制下,实时处理日益复杂、庞大的数据流。随着 AI 越来越深入地融入人们的日常移动体验,如个性化助手、移动中的实时决策等,这些需求只会越发强烈。
然而,随着 AI 系统日益深入地融入我们的日常生活,其处理的数据也越来越具有私密性质,从而引发了有关隐私和信任的讨论。
端侧安全
随着 AI 越来越贴近个人,所使用的数据也日益敏感。这些系统需要访问高度个性化的个人数据,包括用户的日常习惯、日程安排、个人偏好等等。将这些数据保留在设备上,而非传输到云端,可以让用户获得更强的掌控感,并有利于提升访问的即时性。
话虽如此,云平台在确保海量数据安全方面取得了巨大进步,并将继续在 AI 生态系统中发挥重要作用。向端侧计算的转变并非要取代云端,端侧计算引入了一些新的信任和响应模型,可作为云端的重要补充。
未来,随着这种混合模式在行业中的普及,必须仔细考虑如何同时在两种环境中保护用户数据。相关考虑因素包括重新构想如何在系统设计之初便内置隐私保护、透明度和控制等机制。
云端对于 AI 训练和协调仍然必不可少,端侧则是实时 AI 的用武之地,两者的互补性将越来越强。
云端的作用 仍然不可或缺
我们的观点很明确:端侧计算并非云端的替代品,而是后者的重要补充,旨在实现实时本地智能。未来的 AI 将是一种混合模式。
云端对于训练大模型、管理更新和实现设备间智能协同仍然具有举足轻重的作用。这些任务需要大量算力和集中的资源。
至于实时推理、个性化和隐私敏感型任务,则更适合放在端侧执行。端侧计算可降低延迟,实现更快的响应,是自动驾驶汽车和移动助手等应用的理想选择。
总之,AI 在未来将兼采云端和端侧之长:云端负责处理繁重的计算任务,端侧则提供快速的本地智能。
展望未来
移动 AI 的未来不仅在于更快的芯片或更大的模型,更在于打造更智能的系统——这些系统应专为 AI 生态系统设计,从一开始就针对带宽、功耗和安全进行优化。
美光不仅设计制造实现这一未来所需的内存和存储,还参与定义将 AI 带入数十亿人手中的架构。这些创新不仅仅与性能有关。它们旨在提供更丰富、更直观的用户体验——更快的翻译、更智能的摄像头、无缝的语音交互,以及真正个性化的设备。为实现这一目标,美光正在各团队中推行“以 AI 为先”的设计,优先考虑通过前沿创新,打造具备更高带宽和更低功耗的产品。这种做法可确保我们在 AI 工作负载日益复杂且严苛的当下,始终处于行业发展前沿。
端侧 AI 已崭露头角。精彩未来却刚刚开始。美光正为其构建赋能的基石。
了解美光如何为下一代移动 AI 提供支持。敬请访问美光的端侧 AI 页面,了解更多洞察和创新。