↑↓ 选择 ↵ 打开 ⌫ 改范围 完整检索页

pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。

Estuary 增强 PostgreSQL CDC 定向回填与大规模发现

发布于 2026-10-28,Estuary
专有软件

Estuary 为 PostgreSQL 变更数据捕获(CDC)连接器发布了多项更新,重点改进回填恢复、大规模对象发现和模式变更检测。

定向回填

PostgreSQL 采集绑定现已支持 Additional Backfill Filter,允许对单张表的回填查询应用 SQL 表达式。

当大表中只有部分数据需要恢复或重新回填时,这可以减少重新读取的数据量。例如,可使用带索引的标识列或时间戳限制恢复回填所包含的行。

过滤条件只影响回填。持续运行的 PostgreSQL CDC 仍会独立捕获新的变更,不受该过滤条件限制。

由于 SQL 表达式会直接应用于回填查询,这是一项应谨慎配置的高级选项。修改过滤条件后,必须重新回填受影响的绑定。

面向大规模 PostgreSQL 模式的发现控制

Estuary 还为 PostgreSQL 增加了发现过滤器,让采集任务控制连接器发现阶段列出的表。现在可以:

  • 只包含选定的 PostgreSQL 模式。
  • 排除选定的模式。
  • 使用 glob 表名模式发现表。
  • 按需发现尚未包含在 PostgreSQL 发布(publication)中的表。

这些控制适用于拥有大量模式或表、但只需将部分数据库纳入 CDC 管道的环境。

表元数据发现也改为按较小分组处理,以提高大量表场景下的可靠性。

可配置的重新发现

PostgreSQL 采集任务现可设置运行期间重新执行发现的频率。

重新发现用于检测新增表和模式更新等变化,默认间隔为 15 分钟,也可按环境需要调快或调慢。这让运维人员能够权衡模式变更检测延迟与系统目录查询开销。

PostgreSQL CDC 与回填

Estuary 的 PostgreSQL 源连接器使用逻辑复制,从 PostgreSQL 预写日志(WAL)捕获插入、更新和删除操作。

启动新采集任务时,Estuary 可先回填选定表的已有数据,再转入持续 CDC。新增的回填与发现控制为大规模 PostgreSQL 环境及恢复场景提供了更多操作选项。

PostgreSQL CDC 连接器支持 PostgreSQL 10.0 及更高版本,适用于自建 PostgreSQL 和托管 PostgreSQL 服务。

文档

原文