本文作为综合指南 变更数据捕获 PostgreSQL 中的 (CDC)，也称为 Postgres。它将引导您了解实施 Postgres CDC 的不同方法，包括优点和缺点，以及所有手动方法的自动替代方法。 

本文还将探讨PostgreSQL CDC的重要性。在开始之前，先快速了解一下您将学到的内容：

什么是 PostgreSQL？ 

PostgreSQL 是一个 开放源码 关系型数据库 管理系统（关系型数据库管理系统）。它的多功能性使其既可以用作 数据库并在需要时作为数据仓库。 

PostgreSQL的 PostgreSQL 完全免费，用户始终享有广泛的开源开发和可靠的支持。这些是它经久不衰的主要原因——PostgreSQL 已经存在了二十多年，并且仍然是使用最广泛的关系数据库之一。 用于数据管理 ！ 

PostgreSQL的特点和应用 

• 除了免费之外，PostgreSQL 还因其适应性和可扩展性而享有盛誉。它与您现有的系统无缝集成并遵守 SQL 标准，因此您知道会发生什么。
  
• 凭借对变更数据捕获的内置支持，Postgres 提供 用于跟踪和捕获数据库更改的强大机制。
• 这是 符合 ACID、高度安全且能够处理处理错误，因此您可以信赖数据的有效性。
  
• 它支持 JSON 和 SQL 查询。
  
• 作为一个关系数据库，PostgreSQL 以表的形式存储数据元素，其中的行也称为元组，每个元组都用唯一的键标识。这些列存储每个相应数据元素的属性。 

这些功能使 PostgreSQL 成为许多应用程序的正确选择， 一些 其中包括： 

• 事务数据库: 当您经常需要快速访问产品或应用程序中使用的信息时，PostgreSQL 是正确的数据库选择，因为它的关系结构可以高速获取相关数据。
• 数据仓库: 数据库适用于事务性数据操作，但不适用于分析，而数据仓库则相反。 两者相辅相成 所以你可以 杠杆作用 您的数据更容易。 PostgreSQL 与商业智能工具的兼容性使其成为一种实用的工具 选项 满足您的数据挖掘、分析和 BI 需求。
• 基于位置的服务: 使用 PostGIS的 扩展，你可以 根据需要使用 PostgreSQL 存储、索引和查询地理空间数据。这使得 明智的选择 用于基于位置的服务和地理信息系统 (GIS)。
• OLTP事务: PostgreSQL 是 常用 用于在线事务处理 (OLTP) 事务 在许多行业，包括 电子商务（在线购买和库存更新）、银行业务（资金转账、ATM 取款）, 和余额检查）、销售（零售交易、发票生成和忠诚度积分）, 服务 （预约、服务更新、 与 支付 用于服务 呈现). 

你需要 Postgres的 疾病预防控制中心? 

假设您需要最新的数据用于报告目的 现在可以做些什么，除非您还不能拥有它，因为下一次同步已安排在 个小时里 现在起。手动同步是一种选择，但如果您是一家处理大量数据的大型企业，批处理很快就会成为一个障碍。它可能会导致错误、使用过时的信息和不正确的报告。

最终，您的决策将受到影响，因为您将无法获得采取应有步骤所需的更新数据。 

这正是使用 Postgres CDC 可以避免的情况。 

Postgres的 CDC 方法可帮助您跟踪和处理数据库中的更改。在这种情况下，最常见的操作是将源中的更改复制到目标数据存储。 本篇 使您可以在多个数据库之间保持数据同步。 

如何 PostgreSQL CDC 的工作原理及其作用是什么？ 

Postgres CDC 确保所有系统都能一致地访问最新版本的数据，因此 你是 始终使用最新信息。 Postgres c变更数据采集 也有一些 额外 好处，例如: 

• Postgres CDC 可以帮助您降低 您的 网络使用成本，因为每次同步期间仅处理最新更改而不是整个数据集。
• A分析学 以及类似的任务 需要更多资源 执行，如此频繁的批处理影响 随着时间的推移，Postgres 数据库的性能会下降，并会破坏其功能。 Postgres CDC 首先制作数据库的副本，然后使用更改的数据增量更新它们。这 过程要轻松得多 比批处理，让您的数据库更快、更高效。
• 您的 主数据管理 (MDM) 系统将 操作 使用 Postgres CDC 更顺利 有效。随着来自不同来源的变更数据在 MDM 系统中不断更新，您的所有团队都将 使用 相同的更新数据。这可以改善协作和协调，并加快更好的业务决策。
• 你甚至可以使用 更改数据捕获 Postgres 作为数据的灾难恢复机制。实时 CDC 可帮助您备份关键数据库并创建可用于以下方面的冗余： 系统故障、恶意软件攻击、人为错误和其他类似情况的实例。    

Me实施方法 PostgreSQL C焊割 DATA C狂喜 

如上所述，Postgres CDC 将跨多个数据库跟踪和复制任何数据更改。 您选择的 CDC 方法可以是批量的，也可以是实时的，因为 CDC 才不是 有任何与时间相关的要求。  

您可以在几天内实现 Postgres CDC固有的 根据您的操作要求的方式，以及 我们将 仔细看看下面的内容： 

T索具工 

基于触发器的 Postgres CDC 也称为“事件溯源”设立的区域办事处外，我们在美国也开设了办事处，以便我们为当地客户提供更多的支持。“ 在此方法中，创建专用事件日志作为信息的主要来源。顾名思义，该方法严重依赖于触发器，即 关键 在每个数据库事务中并捕获事件 实时的. 

一个触发器 对数据库进行编程，使其在发生指定事件时以特定方式运行 发生。此事件可能是引入新数据、更新现有数据或从数据库中删除现有数据。 

Postgres CDC 触发器是高度可定制的。您可以将它们配置为在上述事件之前或之后运行、针对每个单独的更改运行或针对一组更改运行一次。您甚至可以对触发器施加操作条件——仅当特定元组被触发时才运行它们 改性 或仅作为对某些操作的响应而运行。 

Postgres CDC 中的触发器可以很好地跟踪表中的更改、将它们记录在不同的表中以及创建每个更改的日志。实现基于触发器的 Postgres 变更数据捕获，您可以在 Postgres 数据库上创建审核触发器，该触发器将跟踪与 INSERT、UPDATE 和 DELETE 等操作相关的所有事件。 

由于这个方法 运营 在SQL级别，您可以参考Change Data Capture表和 鉴定 所有的变化。 这是 触发函数的示例： 

此代码将创建一个名为 '用户_cdc'用于存储变更数据捕获信息，捕获用户ID、操作等信息离子类型（INSERT、UPDATE、DELETE）、更改的时间戳以及用户的 变更前和变更后 信息. 

这段代码定义了一个PL/pgSQL 功能 （'捕获_更改“） 引发 在“users”表上执行 INSERT、UPDATE 或 DELETE 操作之后。 这个 '案件' 声明 确定 操作类型基于 价值 of  “TG_OP' （触发操作）。 

此代码创建一个名为 '用户触发' 在“users”表上，该表将在任何 INSERT、UPDATE 或 DELETE 操作后触发。

在上面 Postgres CDC 例如，每当“users”表发生更改时，相应的触发器就会激活“捕获_更改' 函数，它将记录对 '用户_CDC' 桌子。 CDC表将捕获更改前后的操作类型、时间戳以及相关数据。

这些元素一起将帮助您跟踪原始表中一段时间​​内的所有修改。 

基于触发器的 Postgres CDC 的优点 

• 基于触发器的 Postgres CDC 可靠且全面。
• 所有变更捕获s 记录保存发生在 SQL 系统内。
• 瞬时变化捕获可以实现事件的实时处理。
• 您可以为不同类型的事件创建触发器。 

基于触发器的 Postgres CDC 的缺点:

• 由于您创建的任何触发器都在主 Postgres 数据库上运行，因此它们可能会减慢数据库速度。与任何其他操作一样，执行 Postgres CDC 通过 触发器也需要资源并且增加了数据库的压力。
• 最大限度地减少对数据库资源的影响涉及创建另一个表来镜像主表并使用该辅助表来实现触发器。但是，您还需要创建一个单独的管道来镜像触发器适用的 Postgres 实例之外的任何目标中的任何更改。

查询 

基于查询的 Postgres CDC 过程需要在牛奶或乳清产品在管式降膜蒸发器中浓缩至约XNUMX%固体含量之前，进行初始的热处理和巴氏杀菌步骤。 更多的体力劳动 比 使用触发器。您必须主动查询 Postgres 数据库才能 鉴定 任何更改，而不是依赖预先配置的触发器。您的表格中需要一个时间戳列e 使用此自定义方法。每当添加记录或 改性，时间戳列将更新以包含更改的日期和时间。 

您对 Postgres 数据库进行的任何查询都将使用此时间戳列来获取所有 改性 记录 自上次查询以来，然后显示那些捕获的更改。  

您还可以使用脚本 监控 您的 Postgres 数据库进行更改并将它们记录在目标数据库中，但这 选项 比简单地查询数据库更加耗费人力。 

继续 Postgres的 变更数据捕获 上面的例子， 这是 如何查询“用户”表： 

此查询从以下位置获取所有记录 the '用户' 桌子 其中 “最近更新时间“ 时间戳大于“2024-01-01”。它用于检索自指定日期以来已更新的用户记录。

Th代码将创建表'用户更改与 有关每次更改的信息 - 例如操作类型（INSERT、UPDATE 或 DELETE）、其时间戳以及更改前后的相关数据。

基于查询的 Postgres CDC 的优点 

• 这比设置更容易 Postgres 变更数据捕获 通过 触发器。
• 它给 您可以更好地控制 CDC 流程。
• 您不需要任何外部工具来进行基于查询的 CDC。 

基于查询的 Postgres CDC 的缺点

• 需要比“一劳永逸”触发器更主动的方法 Postgres的 CDC。您需要定期查询数据库以确保准确、及时的更改跟踪。
• 查询层对于该方法中的数据提取至关重要，这会给 Postgres 数据库带来额外的负载。 

PostgreSQL的 逻辑复制 

具有逻辑复制的 Postgres CDC 也称为逻辑解码。将其视为预写日志 (WAL) 的流式表示。自从 WAL 捕获并记录 Postgres 数据库中的所有数据更改，这些更改被视为逻辑解码流，并被归类为数据库级别的逻辑复制槽。 

换句话说，复制槽只不过是数据库中发生的更改流。每个数据库可以有多个槽或更改流。  

实现 PostgreSQL的 逻辑复制需要逻辑解码插件。 Postgres 版本 10 及更高版本具有默认的 'PG输出' 插入。它允许 Postgres 数据库更改作为流进行处理。但是，如果您使用的版本早于 10，则需要手动安装插件，例如 '解码器缓冲区' 要么 'wal2json“。 

左侧工具栏上的'PG输出' 插件对于在两个或多个 PostgreSQL 实例之间复制数据很有用。尽管如此，它 可 难 将 Postgres 更改流数据传输到另一个 平台或数据库。 

如果您想将更改流数据移动到非 Postgres 平台，您可以使用 'wal2json' 将变更流数据转换为 JSON 的插件。这将允许您的目标平台以 JSON 格式读取它——这更容易 比读书 pg输出的 二进制输出。 

除了插件之外，另一个重要组件 通过 PostgreSQL 逻辑副本进行 CDC 是一种具有发布者和订阅者的订阅模型。此订阅模型允许一个或多个订阅者使用发布者节点订阅一份（或多份）出版物。订阅者从发布中提取数据，并且可以重新发布数据以进行复制或进一步重新配置。 

请按照以下步骤 实施 Postgres CDC 从源数据库进行逻辑复制（我们将使用 “用户” 前面示例中的表）到目标数据库，我们将其称为 '用户更改' 表。

请记住替换占位符，例如 '源数据库' 与 '复制用户' 与您的实际数据库信息。 

首先，在 Postgres 配置文件中启用逻辑表示'配置文件'。使用上述设置并在进行这些更改后重新启动 Postgres。 

此部分将创建一个名为的表 “用户” 以及一份名为“我的酒吧“ 为了 '用户' 桌子。本出版物是要复制的更改的来源。 

本节将创建一个名为 “用户更改“ 在目标数据库中存储来自源的更改。

此代码将 建立 订阅'我的子“，它将连接到源数据库并订阅 “我的子“ 出版物。 

这段代码定义了一个触发函数'捕获_更改' 捕捉变化'用户 桌子。它我插入 相关信息进入'用户_变化' 桌子 取决于操作类型（INSERT、UPDATE、DELETE）。它还创建触发器'用户触发' 在每个 row-le 之后执行此函数的 vel 变化用户 表。 

这是一条 SQL 语句，用于监视名为 ' 的逻辑复制槽中的更改我的子'和 去取他们。 代替 '我的子' 与您的特定订阅名称。 

Postgres CDC 与逻辑复制的优点： 

• 基于日志的 CDC 允许使用事件驱动机制实时捕获数据更改。这使得下游应用程序能够一致地访问 Postgres 数据库中的更新数据。
• 该CDC方法可以识别Postgres数据库中的各种更改事件。
• 由于此方法直接访问文件系统，因此对数据库的压力较小。 

Postgres CDC 与逻辑复制的缺点： 

• 逻辑复制不适用于 9.4 之前的 PostgreSQL 版本。
• 根据用例，处理这些事件所需的复杂逻辑及其最终转换为目标数据库的语句可能会影响项目的完成。 

Postgres CDC 使用预写日志 (WAL) 

随着时间的推移，基于触发器和基于查询的 Postgres CDC 都会产生延迟并影响数据库的性能。如果, 你会 宁 杠杆作用 Postgres 的内置功能并将其重新用于 CDC 流程，而不是使用上面讨论的技术，您可以使用 沃尔. 

WAL 是记录数据库中所有更改的事务日志。其主要目的是恢复并确保数据完整性， 制造 它对于基于事件的 CDC 很有用。由于这是一项内置功能，因此您将主要使用 Postgres 数据库自己的设置来为 CDC 设置它。 

以下是您需要采取的步骤 实施 陈波斯特格雷斯使用事务日志捕获 ge 数据: 

首先，在 Postgres 配置中启用 WAL。虽然这通常是默认设置，但请检查“配置文件' 文件进行确认。 Postgres 允许用户检查 WAL 的内容。作为示例，我们将使用 'pg_waldump'工具。 R替换占位符 'wal 文件路径>' 当您使用此代码时，请使用 WAL 文件的实际路径。

接下来，q使用 SQL 查询查询 WAL 内容。这 “逻辑的' 扩展包包括 'pg_解码' 扩展名，这是为此目的最常用的扩展名。

• “CREATE EXTENSION”将创建并安装“逻辑性的 为 Postgres 提供逻辑复制功能的扩展。
• “SELECT”SQL 语句 创建一个名为 ' 的逻辑复制槽我的槽“ 使用 'pg_create_逻辑_表示_槽'功能。
  
• “PG输出' 指定要使用的输出插件 解码更改和此处 这是 用于逻辑复制的内置输出插件。
• 'pg_logic_slot_peek_changes' 用于检查逻辑复制槽中捕获的更改
• “我的槽' 是正在查询的逻辑复制槽。该名称是一个占位符，您应该将其替换为您要查询的实际插槽的名称
• “空，空' 是您可以放置​​指定要检索的更改范围的参数的位置。使用 '空，空' 这里的意思是检索所有可用的更改，没有任何特定范围。 

请注意，您可能需要进行一些编码，特别是如果 你是 计划自动化变更提取和处理。 

将 WAL 用于 Postgres CDC 的优点

• 而 一些编码仍然是 涉及使用 WAL，总的来说，它比我们讨论过的其他 Postgres CDC 方法需要更少的编码。
• 第三方解决方案和平台，例如 'pg逻辑' 可用于简化过程中更复杂的步骤。 

将 WAL 用于 Postgres CDC 的缺点

• 您从 WAL 中提取的数据可能是原始格式。对其进行转换以与应用程序的数据结构保持一致 过程需要在牛奶或乳清产品在管式降膜蒸发器中浓缩至约XNUMX%固体含量之前，进行初始的热处理和巴氏杀菌步骤。 额外的工作。
• 监视 WAL 中的更改可能需要进一步的脚本或自动化。
• 理解和解释 WAL 记录需要深入了解 Postgres 数据库的内部工作原理。 

自动化 Postgres CDC w第i个 Astera 

下面的例子解释了如何 你可以自动化 触发–基于 Postgres CDC 运用 Astera. L等 承担 你 与 Postgre 一起工作SQL 数据库并配置了 数据库表源从该数据库读取信息。  

首先， 你会 在此数据上启用 CDCa瑟由 选择 在表上启用更改数据捕获. 

然后，通过以下方式选择要启用 CDC 的字段： 选择列 对话框。 

而 you 可以选择数据库中的一个或所有字段， 必须选择主键。 在这种情况下，您可以选择 员工ID. 
 

一旦 你已经 选择字段，单击“确定”“。 你会 请参阅对话框 表明您已成功在此数据库上启用 CDC。 

接下来， 设置目标表来存储源表中更新的数据。从左侧的工具箱添加数据库目标对象。 

通过打开目标对象的属性来配置目标对象。在里面 定义 Ma 的输入端口平 部分, 选择 向上插入 带有 CDC 源的复选框，因为传入数据将 容易 包含 新记录和更新记录。在 选择匹配数据库重新的字段线, 选择 员工ID 自 这是 源数据库中每条记录的主键和唯一值。 

接下来， 使用拖放 将数据库源对象的所有字段映射到目标对象。 数据流向 Postgres CDC 的实施现已完成。 

当您运行数据流并检查作业进度窗口时， 你会 发现 Astera 已读并已写 这个 条目来自 源表到目标表。 

增量 Postgres CDC

这是 使用以下命令可以轻松在 PostgreSQL 数据库中设置增量 CDC Astera，使您能够加载数据 ， 你的数据库表 渐进地 而不是 每次运行都完成负载。

让我们 假设 我们 在此用例中使用运输公司的数据 并希望将这些数据存储在一个新的 数据库 表。 我们想 能够随时更新新表 有 更改源，而无需完全加载源表。

好 使用带有相关信息的预配置数据库表源。 

通过以下方式访问源对象的属性 右击 它的标题并选择 属性。

连接数据库并单击“下一步” 继续. 

在下一个屏幕上 你会 看到 增量读取选项 部分。  

选择 基于审计字段的增量负载 as 这个 阅读策略 这将显示更多选项。 

审计领域 创建记录时更新或 改性，例如创建日期和时间、修改日期和时间以及自动编号。增量读取跟踪您指定的任何审核字段的最高值。在下一次运行期间，仅记录值高于保存值的记录 旨在 取回。 

• 添加文件路径 增量传输信息文件，这 Astera 创建以存储有关数据库表的最后一个条目的信息。每次运行时它都会将此文件与数据库表进行比较，以检查是否有新条目。
   
• 通过拖放设置目标表 数据库表目标 从工具箱。 

• 配置完成后，将表源映射到表目标对象。  

• 你会 看到目标表是空的。您可以检查其内容，如下所示，这将打开一个 SQL 查询 用于查看表数据。 

• 当您执行数据流时，检查 工作进度 窗口，你会看到 这个 源表中的条目 已 书面 到目标表。 

• 您可以通过预览目标表来检查这一点。 

自动化 Postgres CDC Astera 并轻松保持数据库同步

将 Postgres CDC 技术与 Astera令人印象深刻的数据管理功能，并充分利用始终最新的数据库。发现 Astera 今天的不同！

开始免费试用

为您的用例选择正确的 PostgreSQL CDC 方法 

在 PostgreSQL 数据库中实现 CDC 有多种方法，在决定选择哪种方法时需要考虑多个因素。每种方法都有其优点和缺点，我们简要介绍一下 概述 多于。此外，这里还有一些需要考虑的要点： 

数据量和变化频率： 

• 在数据变化中等且需要实时跟踪的环境中，基于触发器的 CDC 是您的最佳选择
  
• 逻辑复制适用场景 - 高数据更改率，因为它提供实时复制功能。
• 如果工作流程中很少提取数据更改，请选择基于查询的 Postgres CDC。 

性能和开销： 

• 基于触发器的 Postgres CDC 可能会增加额外的开销，特别是在涉及高事务率的情况下。
• 逻辑复制对源系统影响小且简单，是高性能场景的正确选择。
• 基于查询的 CDC 通常不会消耗太多资源，但在查询密集时会影响性能。 

用例复杂性： 

• 基于触发器的 CDC 对于需要定制和详细更改跟踪的复杂案例非常有用。
• 逻辑复制适用于需要简单性和实时复制的情况。
• 对于不需要复杂触发器的简单用例，基于查询的 CDC 是一个轻松的选项。 

集成和兼容性： 

• 基于触发器的 CDC 可以与您当前的应用程序和数据库无缝集成
  
• 逻辑复制非常适合需要不同 Postgres 实例之间兼容的场景。
• 基于查询的 CDC 涉及自定义查询。因此，它是满足定制集成需求的正确选择。 

简单性和功能性： 

• 基于触发器的 CDC 是一个强大的解决方案，提供详细的更改跟踪，但这增加了其复杂性。适合定制化程度较高的环境。
• 逻辑复制在这里取得了适当的平衡，使其成为各种场景的实用选择，并且非常适合满足实时复制需求。
• 基于查询的 CDC 非常简单且灵活，但这意味着它可能需要更多的手动干预。这是偶尔进行变更提取的正确技术。 

基于聊天功能的 PostgreSQL CDC Astera Centerprise

而 没有 一刀切的解决方案 当需要改变的时候 数据抓取, 自动化该过程应该是 在你的首要任务清单中。最终，你如何 实施 Postgres CDC 取决于您 性能要求、定制偏好以及 个人用例。 

At Astera我们致力于提供简化的端到端数据管理解决方案。 Centerprise的人工智能驱动的对话式界面 与建成的–在连接器和转换中 它摒弃了编码，实现了数据操作的民主化。

亲自体验 PostgreSQL 中的对话式 CDC。开始 您的免费试用 今天或 联系我们 获取更多信息。