美光科技术语表

数据管道

代表数据流动的彩色光流

随着组织在 AI 数据中心、云平台和边缘设备中持续生成海量数据, 高效移动并处理这些数据的能力已成为一项基础性的竞争 优势。从摄取原始数据到最终转化为可供分析的输出, 数据管道实现了数据处理流程的自动化,使企业能够大规模获得 可付诸行动的洞察。从训练大 语言模型 (LLM) 到支持实时财务决策, 数据管道是每项现代数据驱动型 运营的核心。

什么是数据管道?

数据管道是一种自动化系统,可将来自多个来源的原始数据 转换为可用于分析、报告或 运营工作流的格式。数据经过清洗和标准化后, 通常会存储在数据湖或数据仓库等中央存储库中, 供分析 平台和机器 学习工作流等下游工具使用。

随着 AI 模型变得越发庞大和复杂,数据管道必须 在摄取、转换、 训练和推理等阶段快速、可靠地传输信息。这使得内存和存储的性能 对于大规模提供有价值的洞察至关重要。

什么是 AI 数据管道?

AI 数据管道为模型训练、接地、推理和 持续改进准备数据。它通过组织结构化和非结构化输入、 保留元数据和数据血缘, 并将新数据回流到评估或再训练环节, 从而支持完整的 AI 生命周期。

这种能力对于生成式 AI、检索增强生成以及 实时机器学习至关重要,因为模型需要最新、相关且 治理良好的数据,才能在生产规模下产生可靠的输出。

数据管道中有哪些关键 步骤?

数据管道通过一系列相互衔接的步骤移动数据, 以收集、准备、存储和监控用于商业用途的信息。每个 步骤都有助于确保数据准确、一致,并可用于分析、 报告、应用或其他下游工作流程。

1. 数据摄取

数据摄取是数据管道的第一步, 即从应用程序、数据库、应用程序 编程接口 (API)、文档、传感器或联网设备等来源收集原始数据。 其目标是将来自不同系统的数据引入同一个工作流,以便 更有效处理和使用。

此步骤会确定哪些数据进入管道,收集频率如何, 以及数据是以分批方式还是持续方式捕获。强大的 数据摄取流程有助于减少数据缺失、重复记录, 以及不必要的延迟。

2. 数据验证

数据验证会在数据进入管道更深处之前, 检查传入数据是否准确、完整且可用。此步骤可能包括 检测缺失字段、重复记录、错误格式、 意外值或者不符合质量标准的数据。

数据验证有助于团队及早发现问题,避免不准确或 不完整的信息影响报告、仪表板、应用程序或 业务决策。

3. 数据转换

数据转换将已验证的数据转换为 合适的格式、结构,或调整数据中信息的详细程度,使其可供使用。此步骤可能包括 清洗文本、标准化所用的单位、规范化数值、连接 数据集、聚合记录,或者应用业务规则。

转换使数据更易于比较、分析以及跨系统 共享。这也有助于确保不同团队基于一致的信息 开展工作。

4. 数据丰富

数据丰富旨在为现有数据添加有用的上下文,让数据中的信息变得 更加丰富。添加的信息可能包括元数据、标签、分类、 客户属性、位置详情,或者来自其他可信 内部和外部来源的信息。

数据丰富有助于团队更好地理解数据中的关系、趋势和 模式。此步骤还有助于提高筛选、分段、 报告和分析的质量。

5. 数据存储

数据存储将准备好的数据保存在数据库、 数据湖、数据仓库或湖仓一体等存储库中。存储层为团队 和系统提供了一个集中访问数据的位置,这里的数据可用于报告、分析、 应用程序或运营工作流。

有效存储能够在数据量增长时, 支持数据访问、安全、治理与可扩展性。

6. 管道监控

管道监控会在整个数据管道范围内 跟踪性能、可靠性和数据质量。团队会监控吞吐量、 延迟、失败作业、模式变更和数据新鲜度等因素,以便能够 在问题影响下游用户之前发现它们。

监控还能通过显示数据流何时减慢、 质量何时下降或某个流程需要关注, 帮助团队保持对数据管道的信任。

现实中的数据 管道如何运作?

零售商可能会使用数据管道,整合 网站的销售数据、门店系统的库存数据,以及来自客户忠诚度计划的 客户数据。数据管道会从各个来源摄取数据、验证 其准确性、将其转换为一致的格式,并使用 产品或客户详细信息来丰富数据,然后将其存储在数据仓库中, 供报告和分析使用。

业务团队可以使用数据管道跟踪产品需求、 识别库存不足、更新仪表板,并做出与定价或补货 决策。在上述示例中,数据管道能够将孤立的运营 数据转换为团队可以快速且一致地使用的信息。

数据管道的发展历程 是怎样的?

数据管道已从简单的顺序批处理脚本,演进为 能够实时处理 PB 级数据的 复杂分布式系统。这种演进反映了数据量的指数级增长, 以及 AI 工作负载对数据处理能力日益增长的需求。

  • 2000 年代初:企业数据管道依赖于 预定的批量提取、转换和加载 (ETL) 流程, 在关系数据库与报告系统之间移动结构化数据 。
  • 2004 年:批处理算法 MapReduce 获得专利,随后被集成到 Hadoop、CouchDB 和 MongoDB 等开源系统中,开启了可扩展 分布式数据处理时代。
  • 2010 年代:流式数据管道(也称为 事件驱动架构)兴起,能够持续处理 由传感器或用户交互生成的事件; Apache Kafka 等消息系统使实时数据流成为可能。
  • 2010 年代中期及以后:云原生数据管道 日趋成熟,Snowflake 和 BigQuery 等现代平台提供 弹性托管基础设施,可大规模存储和提供 转换后的数据。
  • 现阶段:AI 数据管道包含采集、摄取、 转换、训练和推理等阶段,每个阶段都对 底层基础设施的内存和存储性能有独特要求, 这使得正确的硬件选择对于 AI 项目能否成功 至关重要。

数据管道有哪些 主要类型?

数据管道有多种架构模式,每种模式都针对 延迟、容量和处理要求进行了侧重点不同的优化。在选择 合适的类型时,应考虑下游消费者是否需要新鲜的实时数据, 或者是否能接受定期批量交付。

1. 批处理管道

批处理管道按照预定的 时间间隔、而非持续地收集和处理数据。这种方法适用于 不需要立即更新的工作负载,例如月度 会计核算、例行报告,或者大型后台数据作业。

组织需要在非高峰时段高效处理大量数据时, 通常会使用批处理管道。这有助于 减轻系统压力、支持预先确定的报告周期,还有助于用户更轻松地 管理不依赖实时信息的 工作负载。

2. 流式数据管道

流式数据管道持续处理即时生成的 事件数据。它适用于要求数据必须在近实时状态下保持最新的情况,例如 库存系统、销售点平台、传感器或欺诈 检测工作流。

当快速响应至关重要时,流式数据管道是非常有用的。它们 有助于组织及时检测刚刚发生的变化、持续更新系统, 并支持依赖最新数据而非 延迟批处理更新数据的应用。

3. 数据集成管道

数据集成管道可将来自多个 来源的信息整合为统一视图。它通常使用 ETL 流程清洗、 丰富或重新格式化原始数据,然后再将数据存储在 数据仓库等中央存储库中。

当团队需要连接 原本无法自然协同工作的系统中的信息时,数据集成管道非常有用,例如 客户关系管理平台、财务工具、产品 数据库或营销应用程序。通过将这些数据汇集在一起, 组织可以创建更完整的报告、减少数据孤岛, 并支持更一致的决策。

4. ETL 管道

ETL 管道从源系统提取数据,将其转换为 所需格式,然后加载到目标系统中。因为 转换发生在加载之前,因此这种方法适合以下情形: 需要对数据进行清洗、标准化、脱敏或治理,然后再将其存入 数据仓库或其他中央存储库。

ETL 通常用于结构化数据、合规敏感型工作流, 以及团队在执行分析之前获得一致且可信数据的 报告环境。ETL 还可以降低下游 用户的工作复杂性,因为大部分准备工作已在管道的 上游完成。

5. ELT 管道

一种提取、加载和转换 (ELT) 管道,会提取数据,再将其加载 到目标系统中,然后在目标系统中进行转换。因为 转换发生在加载之后,这种模式适合以下情形: 组织希望先存储原始数据,然后利用云数据 仓库或湖仓一体按需转换 大量数据。

ELT 在现代云分析环境中十分常见,因为它让 团队能够更灵活地将同一批原始数据 重复用于不同的报告、分析或应用需求。它还能支持更快的摄取, 因为数据在进入目标系统之前, 无需完成全部转换。

6. 云原生数据管道

云原生数据管道专为云环境运行而构建, 可以使用可扩展的托管基础设施。它使组织能够更灵活地 收集、清洗、转换和分析数据,无需 仅依赖本地系统。

云原生数据管道可以根据 工作负载需求来扩展或缩减资源,对于 数据量经常变化或拥有分布式团队的组织非常有用。它们还可简化数据在基于云的系统之间的移动、处理和访问, 支持现代分析、应用开发 和 AI 工作流。

数据管道如何应用?

数据管道的应用范围几乎遍及所有行业, 因为数据管道可加快分析、AI 训练和 运营系统等应用中的数据处理速度。组织在任何必须先对原始数据进行 优化处理,才能产生商业价值的应用场景中,都可以部署数据管道。

按行业和应用划分的用例:

  • 人工智能:数据管道 在采集、摄取、转换、分段等阶段之间移动数据,然后将处理后的数据拆分为 训练、验证和测试数据集,以驱动 AI 模型 开发。
  • 金融服务:实时流式 管道能在几毫秒内处理交易事件,从而支持欺诈 检测和即时运营响应。
  • 医疗保健:集成数据管道可整合 来自不同系统的患者记录,能够加速诊断 工作流程并支持临床决策。
  • 零售与电子商务:流式管道 实时更新库存和销售历史记录,使卖家能够 准确告知消费者某种产品是否有货。
  • 数据迁移:组织 在云迁移或基础设施升级期间, 使用数据管道将数据从一个系统移动到另一个系统,以确保 数据血缘在传输过程中得以保留。
  • 商业智能:组织良好的数据 管道为探索性数据分析、数据 可视化和机器学习任务奠定基础,有助于管理层做出明智 决策。

美光是如何支持数据 管道的?

数据管道和 AI 数据管道需要在 摄取、转换、存储、 训练、推理和分析等工作流之间快速、可靠地传递信息。美光的内存和存储解决方案支持这些 工作负载,帮助系统 高效地访问、处理和保留海量数据。随着 组织构建的数据密集型应用越来越多(包括 生成式 AI 和实时分析应用等),高性能内存和 存储有助于减少瓶颈,并支持这些管道所需的规模、速度和 可靠性。

常见问答

数据管道常见问答

ETL 管道是一种特定类型的数据管道,并非所有数据 管道都是 ETL 管道。ETL 管道按照预定义的工作流提取数据、转换数据, 然后将其加载到数据存储库中; 而其他类型的数据管道工作范围更广,可能还包括 额外的处理与交付阶段。现代架构 日益采用 ELT(提取、加载、转换)模式和实时 流式处理流程,其涵盖范围远超传统的 ETL 管道。

ETL 代表“提取、转换和加载”,而 ELT 代表 “提取、加载和转换”。在 ETL 管道中,数据 在加载到目标系统之前被转换。在 ELT 管道中, 数据先被加载,然后在目标系统内部进行转换, 转换时通常会利用云数据仓库或 湖仓一体等可扩展计算资源。

批处理数据管道按照预定的时间间隔处理数据,而 流式数据管道持续处理数据,数据在生成后便会被立即处理。 批处理数据管道适用于定期报告或者无需 立即更新的大型作业。流式数据管道更适合 依赖近乎实时信息的使用场景,例如库存 更新、欺诈检测或传感器监控。

可靠的数据管道能够交付准确、完整且及时的数据, 且只需极少的人工干预。数据管道的可靠性取决于有效的 验证、持续的监控、清晰的错误处理、安全的访问 控制措施,以及能够支持数据量不断增长的可扩展基础设施 。

可靠的数据管道还有助于数据追踪,包括数据的来源、 变化,以及在下游使用时是否足够新鲜。高可靠性 可以让团队信任依赖于数据管道的报告、应用程序、AI 系统以及 业务决策。

数据管道是一种非常重要的基础设施,可确保 AI 模型接收到干净、结构化且持续更新的训练数据。 单个损坏的数据集可能导致耗资数百万美元的训练任务 彻底失败,因此,数据管道的可靠性成为 AI 开发中极为 关键的工程挑战之一。美光的数据 中心 SSD 和大容量内存解决方案, 专为满足 AI 数据管道在大规模应用中所需的 高带宽、低延迟要求而设计。