S3 Vectors 加 Aurora 用 SQL 查十亿级向量
AWS 给出一种把十亿级向量放在 Amazon S3 Vectors、再用 Aurora PostgreSQL 的标准 SQL 查询的做法。中间靠 Lambda 做转换层,由 Aurora 的 aws_lambda 扩展调用 S3 Vectors 接口,关系数据留在 Aurora,大规模向量存在 S3,一条 SQL 里就能把向量检索与关系过滤、连接写在一起。官方给的成本对照是每 GB 0.06 美元对 0.10 美元。
pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。
当天收录 34 条。
AWS 给出一种把十亿级向量放在 Amazon S3 Vectors、再用 Aurora PostgreSQL 的标准 SQL 查询的做法。中间靠 Lambda 做转换层,由 Aurora 的 aws_lambda 扩展调用 S3 Vectors 接口,关系数据留在 Aurora,大规模向量存在 S3,一条 SQL 里就能把向量检索与关系过滤、连接写在一起。官方给的成本对照是每 GB 0.06 美元对 0.10 美元。
Christophe Pettus 盘点了 PostgreSQL 的可选存储引擎,分四类。堆替代品里 OrioleDB 用 undo 日志加写时复制检查点,仍在公开测试、不建议上生产,EDB 的 ZHeap 自 2019 年就停了。列存类有只能追加、压缩三到十倍的 Citus columnar 及其分支 Hydra。湖仓类包括 pg_mooncake、pg_duckdb 与 ParadeDB。他的结论是可选项比宣传材料显示的少得多。
两个都叫 Postgres 加湖仓,路子完全不同。pg_lake 出自 Snowflake,是一组开源扩展加托管服务:堆表、MVCC 和本地 WAL 照旧,只在旁边接一层湖仓访问,分析查询交给 DuckDB 边车去读 Iceberg 表。Lakebase 是 Databricks 基于 Neon 引擎的托管服务,保留 PostgreSQL 的编程界面,但把存储子系统整个换掉,页面按需从 pageserver 取。
Jan Kristof Nidzwetzki 演示了用硬件断点而不是 uprobe 追踪 PostgreSQL。做法是让 CPU 监视某个内存地址,被访问时触发 eBPF 程序,不必替换指令,适合盯高频访问的变量。文中的例子是用 bpftrace 的 watchpoint 探针盯住事务 ID 生成用的 nextXid,每次写入就打印进程号和新值。他测得硬件断点约有三成开销、uprobe 约三成八,两者都因 CPU 模式切换而不便宜。
REPACK 并发执行依赖的按数据库划分快照,问题清单又长了一截。Antonin Houska 指出 COMMIT 记录可能出现在比运行事务记录更高的 LSN 上,会破坏清理机制。Amit Kapila 补了几条:按库解码器处理集群级记录时会触发过多 WAL 写入,重排序缓冲区的清理阈值太保守造成内存压力,这项优化还与槽位同步用的故障转移槽冲突。Alvaro Herrera 认为这些不算根本性问题,但必须在 19 里解决,否则回退。
给所有分支加 OpenSSL 4.0.0 支持的方案定了下来,包括最老的 REL_14_STABLE。Daniel Gustafsson 的补丁在所有受支持的 OpenSSL 与 LibreSSL 版本上都能无告警编译并通过测试。此前的顾虑是把仍在用旧 OpenSSL 的用户逼着升级,确认 PostgreSQL 14 还剩八月和十一月两个小版本之后,团队同意把 14 也带上。Tom Lane 建议下周发布之后不久动手,留三个月暴露问题。
Jake Hertz 讲了实时仪表板在规模上来之后为什么会塌。表超过五亿行时,原本正常的多表连接开始明显变慢,简单查询从 100 毫秒涨到 1.5 秒,原因是规范化模式带来的连接爆炸:数据库要遍历多个 B-tree 索引再把仪表板视图拼起来。他给的解法是把连接成本从读时移到写时,在摄入阶段预先把元数据拍平,文中有建表、批量迁移和触发器的完整写法,并建议用缓冲区命中数衡量效果。
Dirtyfrag 公开了一条链式利用路径,把两个与 Linux page cache 写入相关的问题串起来拿到 root,Cloudflare 同日发布 Copy Fail 的缓解复盘。这类漏洞不是远程 RCE,但在多租户主机、CI runner、开发沙箱、Kubernetes 节点和共享工作站上很危险:有了公开 PoC,发行版补丁又不同步,本地用户提权到 root 的窗口就变得现实。应立刻盘点内核版本、模块加载策略与 CI 隔离。
Cloudflare 汇总了多条 React 与 Next.js 的高危公告,建议升级到 React 19.0.6、19.1.7 或 19.2.6,以及 Next.js 15.5.16 或 16.2.5。它说明自家托管规则集对部分拒绝服务类问题已有覆盖,但中间件绕过和 SSRF 一类问题不能只靠 WAF 挡住。框架层的漏洞会横跨前端、服务端与边缘部署,不是打个 npm 补丁那么简单。
Alexander Korotkov 主张回迁到引入问题的 17,Michael Paquier 无异议,但认为本轮小版本不急。
James Locke 的概念验证加了 heap_relocate 原语,在页间搬元组不必走完整 UPDATE 的开销。
谓词在 SQL 层为真、在索引评估时为假,于是重复行得以存在;是否只限虚拟列仍在争论。
评审建议分开处理 WHERE 与连接树,并质疑重复调用 canonicalize_qual() 的必要性。
检查的是 pg_tablespace 的 SELECT 权限,报错却说表空间无权限,Chao Li 给了一行修复。
GUC 系列讲插入触发的两个阈值,提醒别按死元组比例给所有表配同一套参数。
Google 称它已是基础设施优化的常规工具,还参与下一代 TPU 设计与 LSM 合并策略调优。
敏感字段可以在驱动层加密,但索引能力、查询方式和密钥轮换都要重新盘算。
Mozilla 称四月共修 423 个安全缺陷,关键是配套的验证、去重、分级与补丁交付流水线。
预览版支持会话级消费上限、钱包鉴权和稳定币支付凭证,支付权限要按云权限同等看待。