使用 C 实现的 PostgreSQL 高性能 tiktoken BPE 分词扩展
| 扩展包 | pg_tiktoken_c |
|---|---|
| 版本 | 1.1 |
| PostgreSQL 版本 | 14 · 15 · 16 · 17 · 18 |
| 仓库来源 | PIGSTY |
| 扩展形态 | 标准扩展 |
| 需要 CREATE EXTENSION | 是 |
| 需要预加载 | 否 |
| 可信扩展 | 否 |
| 可迁移 | 否 |
| 共享库 | $libdir/pg_tiktoken_c |
| 星标 | 3 |
| 最近提交 | 2026-05-25 |
| 目录更新 | 2026-08-30 |
| pg_tiktoken | 在PostgreSQL中计算OpenAI使用的Token数 |
| pg_tokenizer | 用于全文检索的分词器 |
| pg_jieba | 基于 cppjieba 的中文全文检索分词器 |
| pg_cjk_parser | 基于 PostgreSQL 默认解析器的中日韩二字组全文检索分词器 |
| zhparser | 中文分词，全文搜索解析器 |
| pg_bigm | 基于二字组的多语言全文检索扩展 |
| pgroonga | 使用Groonga，面向所有语言的高速全文检索平台 |
| dict_xsyn | 用于扩展同义词处理的文本搜索字典模板 |