数据湖

当需要存储大量原始数据时，数据湖能帮助组织安全地存储和管理其中的数据。 

与美光一起进一步了解数据湖为何以及如何能帮助各行各业的组织，也可联系美光的销售支持团队，了解更多详情。

什么是数据湖？

数据湖的定义：数据湖是集中式存储库，能帮助组织存储海量原始数据，其中包括结构化、半结构化和非结构化数据，同时不受数据规模的限制。与传统数据库不同，数据湖无需预定义的模式，因此很适合灵活摄取数据、进行探索性分析和机器学习。组织利用数据湖来存储：

• 结构化数据（例如，SQL 数据库）
• 半结构化数据（例如，CSV 文件、HTML）
• 非结构化数据（例如，多媒体文件、文档、社交媒体贴文）

这种灵活性使组织能够以原生格式摄取原始数据，而无论是定量数据（例如，传感器读数、销售数据）还是定性数据（例如，调查回复、客户反馈），并随后对其进行结构化处理以供分析。例如，某制造商可能从工厂传感器中采集温度读数，从电子商务平台中导出客户订单，并分析视频评论，所有这些操作都在同一数据湖中完成。

不妨将数据湖看作巨型水库，能够容纳来自不同来源的多种类型“水”（数据）。储存水前无需对其进行净化处理；您可根据需要对其进行处理并使用。对于管理多样化且不断演变的数据集的组织而言，这使得数据湖尤其有价值。

随着数据需求变得更为复杂，组织正在以此为基础构建网络化数据湖（即一种联合或互联系统），该系统能够将跨部门或跨平台的多个数据湖连接起来。这些系统既能让数据保持分布式存储，又能通过统一的框架进行访问，从而实现跨组织共享、集中式治理和可扩展分析——不妨将网络化数据湖看作由管道连接起来的水库系统。这些互联系统可增强：

• 安全性：跨分布式数据源进行集中式治理和访问控制，提升数据保护水平并实现长期可靠性
• 可扩展性：无缝扩展，以适应不断增长的数据量
• 可访问性：按需对原始数据进行结构化处理，以供分析

作为多样化且不断演变的数据集的灵活、可扩展存储库，数据湖这一基础性作用也催生了“数据湖仓”的出现。“数据湖仓”是新一代架构，其将数据湖的原始存储能力与数据仓库的性能、治理和事务处理功能进行整合。通过整合这些优势，数据湖仓能够支持实时分析、结构化与非结构化数据，并具备企业级可靠性。 

这一发展契合了数据密集型行业日益增长的需求。在这些行业中，美光的大容量 SSD 等解决方案可提供支持 AI 数据湖、高性能计算和高级分析工作负载所需的性能、效率和容量。

数据湖的工作原理是什么？

数据湖既支持关系型（表格）数据，又支持非关系型（非表格）数据格式。数据湖支持：

• 大数据分析
• 实时数据处理
• 机器学习应用

这些能力可帮助组织发掘洞察、实现客户体验个性化并优化决策。举例而言，将数据湖中的结构化数据（例如，电话号码）与同一数据湖中的非结构化数据（例如，图像）相结合，有助于更深入地分析客户行为。

数据湖从许多不同来源（如应用、设备、网站和数据库）收集原始数据，无需事先对其进行整理。这意味着企业可以按原样存储所有数据，并根据其希望解答的问题，后续决定如何使用这些数据。凭借这种灵活性，快速探索和分析大量信息会变得更加容易。为了保持数据组织有序，数据湖会利用工具对数据进行标记和编目，以便在需要时能够更轻松地查找和使用。

网络化数据湖在此基础上更进一步，可将跨不同团队或位置的多个数据湖连接起来。这有助于组织分享洞察、处理更庞大的数据集，并支持人工智能 (AI) 等技术。这些技术依赖于海量数据做出准确预测并改善运营。

数据湖的发展历程是怎样的？

要了解数据湖的发展历史，需要从整体上了解数据存储和数据库的发展历史。

• 20 世纪 70 年代，数据库的首次使用：借助数据库，组织能够在内部收集、存储和分析数据。关系型数据库使企业能够利用结构化查询语言 (SQL) 分析结构化数据。
• 20 世纪 80 年代至 90 年代，数据仓库和数据孤岛：过去整整二十年，技术进步催生了更多数据收集，而这些数据需要存储。数据仓库和数据孤岛应运而生，为存储碎片化数据带来了安全、去中心化的解决方案。
• 21 世纪 00 年代，大数据：大数据是指传统数据处理工具无法进行分析的更复杂数据集。数据湖解决方案之所以备受青睐，是因为其能够存储大量的各种数据。
• 21 世纪 10 年代，数据湖应运而生：“数据湖”一词诞生于 2010 年，可以将其比作不断有溪流注入的巨大水体。很快，数据湖便成为产生海量数据的组织所采用的通用数据存储解决方案。

数据湖架构有哪些主要类型？

组织可以考虑采用不同类型的数据湖架构： 

本地架构 

本地数据湖位于组织基础设施内部，其为所存储的数据提供了更大的灵活性和控制权。但由于维护和运营成本较高，此类数据湖架构通常不如基于云的数据湖架构具有成本效益。 

基于云的架构 

由于缺少所需的模式，基于云的数据湖架构在存储大数据方面具有灵活性及诸多优势。 

Amazon^TM、Microsoft^TM 和 Google^TM 等企业可为各类公司提供各种基于云的数据湖存储解决方案。

混合架构

混合数据湖将本地和基于云的解决方案相结合，既具成本效益，又能确保控制权。然而，由于结合了不同的数据湖架构，混合数据湖的管理可能会更为复杂。

数据湖是如何应用的？

数据湖广泛用于以下领域：

娱乐流媒体平台利用网络化数据湖来存储个人数据和信息，从而获取有关客户行为的深入洞察。借助数据湖，组织能够将这些洞察转化为量身定制的流媒体推荐。

数据湖也应用于医疗保健领域。其能够存储和管理复杂的数据集，为医疗保健专业人士带来了一种简化途径，可改善患者护理并降低成本。 

金融行业从数据湖中获益颇丰，在增强机器学习和人工智能能力方面尤其如此。投资公司利用数据湖来更有效地管理投资组合，实时分析金融风险，并更快地识别市场趋势。

例如，对冲基金可能会利用网络化数据湖来摄取和分析来自全球证券交易所的流式数据，从而使其 AI 模型能够在几毫秒内检测到异常情况并调整交易策略。