↑↓ 选择 ↵ 打开 ⌫ 改范围 完整检索页

pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。

百科 / 全文检索组件 / 解析器

default

默认单词解析器

当前查看 PostgreSQL 18.6。

说明

默认单词解析器

解析器模式(prsnamespace)
pg_catalog
解析器名称(prsname)
默认
启动函数(prsstart)
prsd_start
词元函数(prstoken)
prsd_nexttoken
结束函数(prsend)
prsd_end
高亮函数(prsheadline)
prsd_headline
词元类型函数(prslextype)
prsd_lextype

解析器词元类型

词元标识别名说明
1asciiword单词,全部为 ASCII 字符
2word单词,全部由字母组成
3numword单词,字母和数字
4email电子邮件地址
5urlURL
6host主机
7sfloat科学记数法
8version版本号
9hword_numpart带连字符的单词部分,字母和数字
10hword_part带连字符的单词部分,全部由字母组成
11hword_asciipart带连字符的单词部分,全部为 ASCII 字符
12blank空白符号
13tagXML 标签
14protocol协议头部
15numhword带连字符的单词,字母和数字
16asciihword带连字符的单词,全部为 ASCII 字符
17hword带连字符的单词,由字母组成
18url_pathURL 路径
19file文件或路径名
20float十进制记数法
21int有符号整数
22uint无符号整数
23entityXML 实体

手册定义

12.5. 解析器

文本检索解析器负责把未处理的文档文本划分成词元并标识每个词元的类型,而可能的类型集合由解析器本身定义。注意,解析器完全不会修改文本 — 它只是识别看似合理的词边界。由于作用范围有限,相比自定义词典,对应用相关的自定义解析器的需求没有那么强烈。目前PostgreSQL只提供一种内置解析器,而它已经被证明对广泛的应用都很有用。

内置解析器被称为pg_catalog.default。它识别 23 种词元类型,如表 12.1所示。

表 12.1. 默认解析器的词元类型

别名 说明 示例
asciiword 单词,全部由 ASCII 字母组成 elephant
word 单词,全部由字母组成 mañana
numword 单词,字母和数字 beta1
asciihword 带连字符的单词,全部为 ASCII 字符 up-to-date
hword 带连字符的单词,由字母组成 lógico-matemática
numhword 带连字符的单词,字母和数字 postgresql-beta1
hword_asciipart 带连字符的单词部分,全部为 ASCII 字符 postgresql-beta1 上下文中的 postgresql
hword_part 带连字符的单词部分,全部由字母组成 lógico-matemática 上下文中的 lógico 或 matemática
hword_numpart 带连字符的单词部分,字母和数字 postgresql-beta1 上下文中的 beta1
email 电子邮件地址 foo@example.com
protocol 协议头部 http://
url URL example.com/stuff/index.html
host 主机 example.com
url_path URL 路径 /stuff/index.html,在 URL 上下文中
file 文件或路径名 /usr/local/foo.txt,如果不在 URL 中
sfloat 科学记数法 -1.234e56
float 十进制记数法 -1.234
int 有符号整数 -1234
uint 无符号整数 1234
version 版本号 8.3.0
tag XML 标签 <a href="dictionaries.html">
entity XML 实体 &amp;
blank 空白符号 (未被识别为其他类型的空白或标点符号)

注意

解析器对“字母”的界定由数据库的区域设置决定,具体是lc_ctype。只包含基本 ASCII 字母的词被报告为一个单独的词元类型,因为有时区分它们会很有用。在大部分欧洲语言中,词元类型word和asciiword应该被同样对待。

email不支持所有由RFC 5322定义的有效电子邮件字符。具体来说,电子邮件用户名仅支持句点、短横线和下划线这些非字母数字字符。

tag 不支持 W3C Recommendation, XML 定义的全部合法标签名。具体而言,仅支持以 ASCII 字母、下划线或冒号开头,且只包含字母、数字、连字符、下划线、句点和冒号的标签名。tag 还会包含以 <!-- 开始、以 --> 结束的 XML 注释,以及 XML 声明(但请注意,这包括所有以 <?x 开始并以 > 结束的内容)。

解析器有可能从同一段文本中产生重叠的词元。举例来说,一个带连字符的词既会被报告为整个单词,也会被报告为各个组成部分:

SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
      alias      |               description                |     token
-----------------+------------------------------------------+---------------
 numhword        | Hyphenated word, letters and digits      | foo-bar-beta1
 hword_asciipart | Hyphenated word part, all ASCII          | foo
 blank           | Space symbols                            | -
 hword_asciipart | Hyphenated word part, all ASCII          | bar
 blank           | Space symbols                            | -
 hword_numpart   | Hyphenated word part, letters and digits | beta1

这种行为是可取的,因为它既允许针对整个复合词搜索,也允许针对各个组成部分搜索。下面是另一个有启发性的示例:

SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
  alias   |  description  |            token
----------+---------------+------------------------------
 protocol | Protocol head | http://
 url      | URL           | example.com/stuff/index.html
 host     | Host          | example.com
 url_path | URL path      | /stuff/index.html

文档与源码

来源构建
版本
18.6
构建
https://ftp.postgresql.org/pub/source/v18.6/postgresql-18.6.tar.bz2
来源指纹
555610c24d53e4316da5b7d3fc25c279d96856d5e0e23ee308c328c5fa881d9f

版本比较

PostgreSQL 17 → 18: 无变化。

比较已记录的接口与属性,排除来源指纹和构建元数据。某个样本中没有记录,不能据此判断实际引入或移除的版本。

导出 JSON · 返回全文检索组件 · 收录范围为 PostgreSQL 10 至 20;最早采样版本不一定是实际引入版本。