pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。
Estuary 为 PostgreSQL 变更数据捕获(CDC)连接器发布了多项更新,重点改进回填恢复、大规模对象发现和模式变更检测。
PostgreSQL 采集绑定现已支持 Additional Backfill Filter,允许对单张表的回填查询应用 SQL 表达式。
当大表中只有部分数据需要恢复或重新回填时,这可以减少重新读取的数据量。例如,可使用带索引的标识列或时间戳限制恢复回填所包含的行。
过滤条件只影响回填。持续运行的 PostgreSQL CDC 仍会独立捕获新的变更,不受该过滤条件限制。
由于 SQL 表达式会直接应用于回填查询,这是一项应谨慎配置的高级选项。修改过滤条件后,必须重新回填受影响的绑定。
Estuary 还为 PostgreSQL 增加了发现过滤器,让采集任务控制连接器发现阶段列出的表。现在可以:
这些控制适用于拥有大量模式或表、但只需将部分数据库纳入 CDC 管道的环境。
表元数据发现也改为按较小分组处理,以提高大量表场景下的可靠性。
PostgreSQL 采集任务现可设置运行期间重新执行发现的频率。
重新发现用于检测新增表和模式更新等变化,默认间隔为 15 分钟,也可按环境需要调快或调慢。这让运维人员能够权衡模式变更检测延迟与系统目录查询开销。
Estuary 的 PostgreSQL 源连接器使用逻辑复制,从 PostgreSQL 预写日志(WAL)捕获插入、更新和删除操作。
启动新采集任务时,Estuary 可先回填选定表的已有数据,再转入持续 CDC。新增的回填与发现控制为大规模 PostgreSQL 环境及恢复场景提供了更多操作选项。
PostgreSQL CDC 连接器支持 PostgreSQL 10.0 及更高版本,适用于自建 PostgreSQL 和托管 PostgreSQL 服务。