default
默认单词解析器
当前查看 PostgreSQL 18.6。
说明
默认单词解析器
- 解析器模式(prsnamespace)
- pg_catalog
- 解析器名称(prsname)
- 默认
- 启动函数(prsstart)
- prsd_start
- 词元函数(prstoken)
- prsd_nexttoken
- 结束函数(prsend)
- prsd_end
- 高亮函数(prsheadline)
- prsd_headline
- 词元类型函数(prslextype)
- prsd_lextype
解析器词元类型
| 词元标识 | 别名 | 说明 |
|---|---|---|
| 1 | asciiword | 单词,全部为 ASCII 字符 |
| 2 | word | 单词,全部由字母组成 |
| 3 | numword | 单词,字母和数字 |
| 4 | 电子邮件地址 | |
| 5 | url | URL |
| 6 | host | 主机 |
| 7 | sfloat | 科学记数法 |
| 8 | version | 版本号 |
| 9 | hword_numpart | 带连字符的单词部分,字母和数字 |
| 10 | hword_part | 带连字符的单词部分,全部由字母组成 |
| 11 | hword_asciipart | 带连字符的单词部分,全部为 ASCII 字符 |
| 12 | blank | 空白符号 |
| 13 | tag | XML 标签 |
| 14 | protocol | 协议头部 |
| 15 | numhword | 带连字符的单词,字母和数字 |
| 16 | asciihword | 带连字符的单词,全部为 ASCII 字符 |
| 17 | hword | 带连字符的单词,由字母组成 |
| 18 | url_path | URL 路径 |
| 19 | file | 文件或路径名 |
| 20 | float | 十进制记数法 |
| 21 | int | 有符号整数 |
| 22 | uint | 无符号整数 |
| 23 | entity | XML 实体 |
手册定义
12.5. 解析器
12.5. 解析器
文本检索解析器负责把未处理的文档文本划分成词元并标识每个词元的类型,而可能的类型集合由解析器本身定义。注意,解析器完全不会修改文本 — 它只是识别看似合理的词边界。由于作用范围有限,相比自定义词典,对应用相关的自定义解析器的需求没有那么强烈。目前PostgreSQL只提供一种内置解析器,而它已经被证明对广泛的应用都很有用。
内置解析器被称为pg_catalog.default。它识别 23 种词元类型,如表 12.1所示。
表 12.1. 默认解析器的词元类型
| 别名 | 说明 | 示例 |
|---|---|---|
asciiword |
单词,全部由 ASCII 字母组成 | elephant |
word |
单词,全部由字母组成 | mañana |
numword |
单词,字母和数字 | beta1 |
asciihword |
带连字符的单词,全部为 ASCII 字符 | up-to-date |
hword |
带连字符的单词,由字母组成 | lógico-matemática |
numhword |
带连字符的单词,字母和数字 | postgresql-beta1 |
hword_asciipart |
带连字符的单词部分,全部为 ASCII 字符 | postgresql-beta1 上下文中的 postgresql |
hword_part |
带连字符的单词部分,全部由字母组成 | lógico-matemática 上下文中的 lógico 或 matemática |
hword_numpart |
带连字符的单词部分,字母和数字 | postgresql-beta1 上下文中的 beta1 |
email |
电子邮件地址 | foo@example.com |
protocol |
协议头部 | http:// |
url |
URL | example.com/stuff/index.html |
host |
主机 | example.com |
url_path |
URL 路径 | /stuff/index.html,在 URL 上下文中 |
file |
文件或路径名 | /usr/local/foo.txt,如果不在 URL 中 |
sfloat |
科学记数法 | -1.234e56 |
float |
十进制记数法 | -1.234 |
int |
有符号整数 | -1234 |
uint |
无符号整数 | 1234 |
version |
版本号 | 8.3.0 |
tag |
XML 标签 | <a href="dictionaries.html"> |
entity |
XML 实体 | & |
blank |
空白符号 | (未被识别为其他类型的空白或标点符号) |
注意
解析器对“字母”的界定由数据库的区域设置决定,具体是lc_ctype。只包含基本 ASCII 字母的词被报告为一个单独的词元类型,因为有时区分它们会很有用。在大部分欧洲语言中,词元类型word和asciiword应该被同样对待。
email不支持所有由RFC 5322定义的有效电子邮件字符。具体来说,电子邮件用户名仅支持句点、短横线和下划线这些非字母数字字符。
tag 不支持 W3C Recommendation, XML 定义的全部合法标签名。具体而言,仅支持以 ASCII 字母、下划线或冒号开头,且只包含字母、数字、连字符、下划线、句点和冒号的标签名。tag 还会包含以 <!-- 开始、以 --> 结束的 XML 注释,以及 XML 声明(但请注意,这包括所有以 <?x 开始并以 > 结束的内容)。
解析器有可能从同一段文本中产生重叠的词元。举例来说,一个带连字符的词既会被报告为整个单词,也会被报告为各个组成部分:
SELECT alias, description, token FROM ts_debug('foo-bar-beta1');
alias | description | token
-----------------+------------------------------------------+---------------
numhword | Hyphenated word, letters and digits | foo-bar-beta1
hword_asciipart | Hyphenated word part, all ASCII | foo
blank | Space symbols | -
hword_asciipart | Hyphenated word part, all ASCII | bar
blank | Space symbols | -
hword_numpart | Hyphenated word part, letters and digits | beta1
这种行为是可取的,因为它既允许针对整个复合词搜索,也允许针对各个组成部分搜索。下面是另一个有启发性的示例:
SELECT alias, description, token FROM ts_debug('http://example.com/stuff/index.html');
alias | description | token
----------+---------------+------------------------------
protocol | Protocol head | http://
url | URL | example.com/stuff/index.html
host | Host | example.com
url_path | URL path | /stuff/index.html
文档与源码
来源构建
- 版本
- 18.6
- 构建
- https://ftp.postgresql.org/pub/source/v18.6/postgresql-18.6.tar.bz2
- 来源指纹
555610c24d53e4316da5b7d3fc25c279d96856d5e0e23ee308c328c5fa881d9f
版本比较
PostgreSQL 17 → 18: 无变化。
比较已记录的接口与属性,排除来源指纹和构建元数据。某个样本中没有记录,不能据此判断实际引入或移除的版本。
导出 JSON · 返回全文检索组件 · 收录范围为 PostgreSQL 10 至 20;最早采样版本不一定是实际引入版本。