pg-cdc：极简的 Postgres 到 AWS S3 变更数据捕获
发布于 2026-07-05
相关开源软件
原文：https://www.postgresql.org/about/news/pg-cdc-frustratingly-simple-postgres-change-data-capture-to-aws-s3-3315/
发布日期：2026-07-05
作者：burnside project
代码仓库：https://github.com/burnside-project/pg-cdc
pg-cdc 不只是复制工具。它会把生产 PostgreSQL 的 WAL 流式写出，转换为 S3 上具备类型信息、不可变并支持时间旅行的 Iceberg 表。
- 在 AWS Glue Catalog 中为每个实体注册表。
- 通过 AWS Lake Formation 标签控制所有读取，使 AI agent、分析人员与查询引擎可以使用受治理的数据，而无需接触源数据库，也无需数据库凭据。
- 无 JVM，仅一个二进制文件。
- 无回写路径：WAL 单向流出，Parquet 不可变，agent 在物理上无法写入生产库。
- 无数据库凭据：消费者使用 AWS IAM 与 Lake Formation 认证，而不是连接串。
- 默认受治理：未打标签的数据不可见；Lake Formation 标签可把读取权限控制到列级。
- 内置时间旅行：每次 flush 都是一个 Iceberg snapshot；CDC epoch 与不可变的
raw@<ts> 标签支持历史查询，无需在数据库侧创建分支。
此文章已从旧版 PostgreSQL 网站迁移。对于迁移导致的任何格式问题，我们深表歉意。