几十年来，组织一直在使用 提取、转换和加载 （ETL） 集成跨不同源系统存储的数据。 然而，大数据时代带来的数据量、种类和速度不断增加，需要不同的方法。 许多数据架构师现在倾向于提取、加载和转换（ELT），这更适合现代数据堆栈。

该博客讨论了 ELT 的工作原理、ETL 向 ELT 的演变、为什么后者成为一种更流行的方法以及这两种方法是否可以共存。

什么是 ELT？

提取、加载和转换 (ELT) 是一种现代 数据集成 数据转换过程涉及从各种来源提取数据，将其加载到目标系统中，然后在该环境中进行转换。转换步骤包括清理、构造和优化数据以进行分析和报告。ELT 利用现代数据仓库和数据湖的处理能力，可以高效处理大量结构化和非结构化数据。这种方法通常用于基于云的架构，使组织能够存储原始数据并根据需要应用转换。

英语教学如何运作

ELT 遵循三步流程，优化云原生环境中的数据移动和处理。

1。 提取

第一步涉及从多个来源检索原始数据，例如：

• 关系数据库 （例如 MySQL、PostgreSQL、SQL Server）
• API 和 Web 服务 （例如 REST、SOAP）
• 平面文件 （例如 CSV、JSON、XML）
• 流媒体源 （例如 Kafka、物联网传感器、事件日志）

这些数据以其原始格式提取，通常是非结构化或半结构化的。提取过程可以分批或实时流执行，具体取决于用例。

2.负载

提取后，原始数据将直接加载到存储系统中，例如：

• 云数据仓库 （例如 Snowflake、Google BigQuery、Amazon Redshift）
• 数据湖 （例如 Amazon S3、Azure Data Lake、Google Cloud Storage）
• 分布式处理框架 （例如 Apache Hadoop、Apache Spark）

此步骤的目标是快速移动数据而不对其进行修改，从而实现更快的提取和存储。许多 ELT 平台使用并行加载技术来优化性能并减少瓶颈。

3.转换

加载后，将对数据进行处理，使其可用于报告、分析和决策。此步骤可能包括组织、清理、标准化和丰富数据等任务。ELT 允许使用各种工具执行转换，包括内置数据库函数、SQL 查询以及无代码或低代码数据处理解决方案。由于现代云仓库提供按需计算能力，因此可以大规模高效执行转换，而不会影响提取和加载速度。

ELT 与 ETL：有什么区别？

ETL 和 ELT 都涉及三个步骤： 提取, 改造和加载。两者的根本区别在于 何时何地 发生数据转换。

• ETL 转换数据 before 加载： 在这种方法中，数据从源中提取，在暂存区进行处理，然后加载到目标系统中。这确保只存储结构化、干净和优化的数据，使 ETL 成为需要严格数据治理和预定义模式的传统数据仓库的理想选择。由于转换发生在目标系统之外，ETL 通常需要专用的处理资源和额外的时间来准备数据。

• ELT 转换数据 after 加载： 在这里，原始数据首先被加载到目标系统（通常是云数据仓库或数据湖）中，并根据需要进行转换。这样就无需外部暂存区，将计算工作负载转移到目标系统。ELT 通常用于处理大量结构化、半结构化和非结构化数据的现代数据架构，从而实现更灵活的数据处理和实时分析。

使用 ELT 进行更快、更智能的数据处理

连接 100 多个来源，自动移动数据，并利用云原生处理实现可扩展的转换。减少延迟、提高效率并解锁实时洞察 — 所有这些都无需编码！

开始免费试用

云时代的英语教学

非常规数据源（物联网设备、社交媒体和卫星图像）的兴起导致数据量、种类和速度激增。为了应对这种激增，企业正在转向云数据仓库（例如 Snowflake、Amazon Redshift、Google BigQuery）和云存储平台（例如 Amazon S3, Azure Blob存储, 谷歌云存储) 实现可扩展、高性能的数据管理。

在这个云优先的环境中，ELT（提取、加载、转换）已经成为处理数据的首选方法。

它特别适合云环境，因为：

• 针对平台内处理进行了优化： 与传统数据库不同，现代云仓库可以高效地执行大规模转换。ELT 利用这一点，首先加载原始数据，然后在仓库内应用转换。
• 更快、更具可扩展性的数据提取： ELT 通过消除转换瓶颈来加速加载过程，从而更容易获取大量、实时或非结构化数据。
• 保留原始数据可提高灵活性： 由于 ELT 以原始形式加载数据，因此组织可以通过多种方式对其进行转换，以满足各种分析用例、AI 模型和合规性要求。

ELT 的好处

• 增强性能和效率 – 云数据仓库使用并行处理和分布式计算来处理转换，与传统 ETL 工作流相比，可以实现更快的执行时间和更好的资源利用率。

• 针对现代数据架构进行了优化 – ELT 与现代数据湖和湖屋架构保持一致，允许企业高效地存储和处理各种数据格式，同时支持实时分析和报告。

• 减少数据延迟 – ELT 通过先加载数据，然后在云平台内进行转换，实现实时或近实时的数据可用性。这确保企业能够根据最新信息采取行动，而不必等待批量 ETL 流程完成。

• 灵活且面向未来的数据策略 – ELT 在转换之前存储原始数据，允许企业在出现新的分析需求、法规或用例时重新处理和调整数据，确保长期灵活性并最大化数据价值。

• 更大的可及性 – 业务用户和分析师可以直接与云仓库中的原始数据进行交互，实现自助式数据探索和分析，而无需依赖 IT 团队提供预先转换的数据集。

• 降低运营成本 – 由于 ELT 利用云计算资源进行转换，企业可以通过消除对单独的 ETL 服务器的需求并减少数据移动来最大限度地降低基础设施成本，从而降低运营费用。

ETL 和 ELT——替代品还是补充？

虽然 ETL 和 ELT 被认为是替代方案，但这些方法并不相互排斥。 虽然后者解决了 ETL 的许多问题，但将其称为替代品可能并不准确。 两种方法都有优点和缺点，其有效性取决于数据资产的类型和业务需求。

例如，如果您需要将数据与敏感业务信息集成，ETL 应该是您首选的数据集成方法，因为它允许您在将数据加载到目标目的地之前根据要求构建、转换、操作和保护数据。 另一方面，当您处理来自多个来源的大量数据时，任何速度下降都会对业务绩效产生不利影响，您应该选择 ELT。

因此，可以肯定地说，ELT 和 ETL 可以共存，并且对于组织的成功至关重要。 您不应将两者视为替代品，而应将它们视为对手，以利用对增长至关重要的商业智能。

ELT 工具中需要注意的功能

为您的组织选择正确的 ELT 工具非常重要。 在投资之前，您需要记住以下一些功能：

1. 无代码架构

ELT 工具应该为开发人员和业务用户提供相同级别的可用性，而无需高级技术知识。 无代码 ELT 工具减少了对 IT 团队的依赖，并提供易用性和信息可访问性，从而使企业能够快速有效地利用有价值的见解。

2. 自动化

典型的企业每天都会处理大量数据。 重复执行类似的任务会浪费时间、资源和精力。 ELT 工具应具有自动化和编排功能，以便您可以轻松安排集成和转换作业，无论是简单的数据流还是复杂的工作流程。

3. 与多个数据源的连接

当工具提供与各种来源和目的地的本机连接时，ELT 工作就会变得更加容易。 在购买工具之前，请查看它支持的连接器库。 理想情况下，ELT 工具应具有与流行云数据库和存储平台（例如 Amazon S3、Azure Blob、Snowflake 和 Amazon Redshift 等）的本机连接。

构建 ELT 管道 Astera

Astera 是一款无代码的数据集成工具，具有强大的 ETL/ELT 引擎。 和 Astera的 ELT 或 下推优化模式，当源数据库或目标数据库驻留在同一服务器上时，您可以将转换逻辑下推到它们。 这就是为什么 Astera 是完美的 ELT 解决方案：

1. 支持各种云平台，例如 Snowflake、Redshift、Amazon S3 和 Blob 存储，非常适合云环境。
2. 两种下推模式：部分下推和完全下推。 Astera的智能算法会决定两者中哪一个最适合作业的性能。
3. ELT 模式在目标上执行自动生成的 SQL 查询。
4. 对转换的本机 SQL 支持，包括join、aggregate、union、route、switch、各类查找、数据库写入策略。

最小化构建 ELT 管道的时间 Astera

Astera 利用无代码拖放界面、工作流和数据流调度和自动化以及对所有流行数据库和云平台的连接支持 - 使构建 ELT 管道变得简单且超快速！

立即试用！– 免费试用 14 天

Astera的 ELT 功能，加上强大的工作流程自动化和编排功能，可加速大量数据的数据集成，同时最大限度地减少延迟。 和 Astera，您可以利用 ELT 的强大功能并优化最复杂的数据流的性能。

您可以下载 Astera“ 今天14天免费试用 以令人难以置信的速度整合大量数据。