AI 推理

开发人工智能 (AI) 模型需要进行大量训练，以生成准确有效的输出结果。但训练只是开发过程中的环节之一。模型训练完成后，必须进行部署，以实现对现实世界的预测——这一过程被称为 AI 推理。在推理过程中，模型将所学知识应用于新数据，为自动驾驶系统、金融服务领域的实时欺诈检测、数据中心的预测性维护，以及智能工厂和移动平台中的端侧智能设备等应用提供支持。 

什么是 AI 推理？

AI 推理的定义：在人工智能领域，推理是指训练好的模型无需进一步训练，即可处理从未见过的新数据，以生成预测或决策的阶段。 

人工智能模型依托大规模且多样化的数据集进行高度训练，以学习其中的规律。训练完成后，模型将进行部署，以对新数据进行实时处理或批量处理。这种将模型应用于预测的过程即被称为推理。 

可通过学习与考试之间的区别这一类比来辅助理解。训练相当于学习，模型从数据中进行学习。推理则对应考试环节，模型将已掌握的知识应用于新信息。  

AI 推理不仅对部署新模型至关重要，对评估经过重新训练或微调的模型同样重要。推理质量通过模型在现实世界数据上的运行准确性和效率予以衡量，通常受延迟和低功耗等条件约束。

AI 推理的工作原理是什么？

AI 推理是指将训练好的机器学习模型应用于新数据以生成预测或决策的过程。与需从标注数据集中学习的训练阶段不同，推理阶段旨在利用已学到的知识，在不进行进一步学习的情况下，提供实时或批量处理结果。 

在推理过程中，模型会接收从未见过的输入数据，并根据训练阶段学到的规律生成输出结果。需注意的是，该阶段不提供任何标注示例或预期输出。若提供此类信息，将导致训练过程被重新触发，进而损害推理过程的完整性。

推理工作流通常包括以下步骤：

• 将新的输入数据输入到训练好的模型中 
• 生成预测或分类 
• 根据已知基准或预期行为对输出结果进行评估 

为评估推理质量，数据科学家会寻找以下错误的迹象：

• 不准确（预测错误）
• 偏差（因训练数据分布不平衡导致的结果偏移）
• 安全漏洞（对对抗性输入的易感性）

推理也是性能表现最为关键的环节。在现实世界应用中，无论是自动驾驶汽车和需要即时响应的移动语音助手，还是必须以高精度检测异常的医学影像系统，延迟、吞吐量和能效都至关重要。每秒推理次数 (IPS) 和每次推理延迟等指标用于评估系统性能。

这些指标正是美光高性能内存和存储解决方案产生显著影响的方面。通过降低数据访问延迟、提升带宽，美光的技术实现了更快、更高效的推理，从而帮助 AI 系统实时响应并有效扩展。推理测试完成后，若未发现性能差距，模型可部署至生产环境；若存在性能短板，则需返回进行重新训练。

AI 推理的发展历程是怎样的？

自人工智能诞生之初，AI 推理就一直是其核心组成部分。这一概念源于 20 世纪 50 年代，彼时研究人员首次探索机器如何模拟人类的推理。

随着 AI 的演进，尤其是 21 世纪深度学习兴起后，推理已成为将训练好的模型应用于现实世界数据的关键环节。如今，从移动设备到医疗健康领域，推理已成为各行业部署 AI 系统的重要步骤。

AI 推理有哪些主要类型？

AI 推理可依据其执行方式和部署场景进行分类：

• 端侧推理直接在智能手机或物联网 (IoT) 传感器等设备上运行 AI 模型，无需依赖云端即可实现快速的本地处理。该推理模式支持实时响应，并可增强数据隐私保护。
• 批量推理以分组形式处理大量数据，通常在离线环境下执行。对于欺诈检测或趋势分析等对即时结果无要求的应用场景，批量推理是理想选择。
• 实时推理可处理实时数据流并提供即时预测——这对自动驾驶或医疗监测等时间敏感型应用至关重要。

除上述部署类型外，AI 推理还因方法的不同而有所差异：

• 统计推理或神经网络推理用于现代机器学习和深度学习模型。此类模型基于从大规模数据集中学习到的规律生成预测。
• 基于规则的推理通过应用预定义的逻辑规则来得出结论。尽管该方法在深度学习中较为少见，但在透明度和确定性至关重要的专家系统及合规驱动环境中仍具有价值。

AI 推理是如何应用的？

AI 推理是指训练好的模型从新数据生成输出并将所学知识转化为现实世界行动的方式。虽然在测试阶段发挥着作用，但其主要功能在于部署，为从语音助手到医疗诊断等各类应用提供支持。以下示例展示了其广泛的应用场景：

• 大语言模型 (LLM) 通过推理来实时响应提示、总结内容并翻译语言。
• 自动驾驶汽车依靠推理来解析传感器数据，并瞬间做出驾驶决策，以提升安全性和响应速度。
• 计算机视觉系统借助推理技术，在医疗保健、工业自动化等领域检测物体、识别人脸并分析图像。

推理在 AI 应用领域均至关重要，它使模型能够在动态的现实世界中运行，而这一步骤是将训练好的模型转化为智能工具的核心环节。