pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。
要实现全文检索,必须有函数能够从文档创建 tsvector,并从用户查询创建 tsquery。此外,我们还希望结果能按有意义的顺序返回,因此还需要函数根据文档与查询的相关性进行比较。同样重要的,是把结果良好地展示出来。PostgreSQL为这些能力都提供了支持。
PostgreSQL 提供了 to_tsvector 函数,用于把文档转换成 tsvector 数据类型。
to_tsvector([configregconfig, ]documenttext) returnstsvector
to_tsvector 会把文本文档解析为词元,将词元归约为词位,并返回一个 tsvector,其中列出各词位及其在文档中的位置。文档会按指定的或默认的文本检索配置进行处理。下面是一个简单示例:
SELECT to_tsvector('english', 'a fat cat sat on a mat - it ate a fat rats');
to_tsvector
-----------------------------------------------------
'ate':9 'cat':3 'fat':2,11 'mat':7 'rat':12 'sat':4
在上面的示例中可以看到,结果 tsvector 不包含 a、on 和 it,单词 rats 变成了 rat,标点符号 - 也被忽略了。
to_tsvector 在内部会调用解析器,把文档文本拆分成词元并为每个词元分配类型。对于每个词元,系统都会查询一个词典列表(第 12.6 节),而这个列表会随词元类型而变化。第一个能够识别该词元的词典,会输出一个或多个正规化后的词位来表示它。例如,rats 之所以变成 rat,是因为某个词典识别出 rats 是 rat 的复数形式。某些词会被识别为停用词(第 12.6.1 节),于是被忽略,因为它们出现得过于频繁,对搜索没有帮助。在这个示例中,a、on 和 it 就是停用词。如果列表中的词典都无法识别某个词元,它也会被忽略。示例里的标点符号 - 就属于这种情况,因为其词元类型(Space symbols)实际上没有分配任何词典,也就是说,空白类词元永远不会被索引。解析器、词典以及需要索引哪些词元类型,都由所选的文本检索配置(第 12.7 节)决定。一个数据库里可以同时存在多种不同配置,并且系统已经为多种语言提供了预定义配置。在本例中,我们使用的是英语的默认配置 english。
setweight 函数可用于给 tsvector 中的项打上指定的权重标签,权重可以是四个字母之一:A、B、C 或 D。这通常用于标记来自文档不同部分的项,例如标题和正文。稍后,这些信息可以用于搜索结果排名。
由于 to_tsvector(NULL) 会返回 NULL,因此只要字段可能为 NULL,就建议使用 coalesce。下面是从结构化文档创建 tsvector 的推荐方法:
UPDATE tt SET ti =
setweight(to_tsvector(coalesce(title,'')), 'A') ||
setweight(to_tsvector(coalesce(keyword,'')), 'B') ||
setweight(to_tsvector(coalesce(abstract,'')), 'C') ||
setweight(to_tsvector(coalesce(body,'')), 'D');
这里我们使用 setweight 为最终 tsvector 中每个词位标注来源,然后再用 tsvector 连接操作符 || 把这些已标注的 tsvector 值合并起来(关于这些操作的细节,见 第 12.4.1 节)。
PostgreSQL 提供了 to_tsquery和 plainto_tsquery,用于把查询转换成 tsquery 数据类型。to_tsquery 提供的特性比 plainto_tsquery 更丰富,但对输入也更严格。
to_tsquery([configregconfig, ]querytexttext) returnstsquery
to_tsquery 根据 querytext 创建一个 tsquery 值。输入必须由单个词元组成,这些词元之间使用布尔操作符 &(AND)、|(OR)和 !(NOT)分隔。这些操作符可使用圆括号分组。换句话说,传给 to_tsquery 的输入,必须已经遵循 第 8.11 节 中描述的 tsquery 一般输入规则。不同之处在于,基础 tsquery 输入是按字面接受词元,而 to_tsquery 会使用指定或默认配置,把每个词元正规化为词位,并丢弃那些按该配置被判定为停用词的词元。例如:
SELECT to_tsquery('english', 'The & Fat & Rats');
to_tsquery
---------------
'fat' & 'rat'
与基础tsquery输入一样,可以为每个词位附加权重,以限制它只匹配具有这些权重的tsvector词位。例如:
SELECT to_tsquery('english', 'Fat | Rats:AB');
to_tsquery
------------------
'fat' | 'rat':AB
此外,还可以在词位后附加*来指定前缀匹配:
SELECT to_tsquery('supern:*A & star:A*B');
to_tsquery
--------------------------
'supern':*A & 'star':*AB
这样的词位将匹配tsvector中任何以给定字符串开头的单词。
to_tsquery也可以接受单引号括起来的短语。当配置中包含可能在这类短语上触发的分类词典时,这一点尤其有用。在下面的例子中,一个分类词典包含规则 supernovae stars : sn:
SELECT to_tsquery('''supernovae stars'' & !crab');
to_tsquery
---------------
'sn' & !'crab'
如果不加引号,对于那些未被 AND 或 OR 操作符分隔的词元,to_tsquery会产生语法错误。
plainto_tsquery([configregconfig, ]querytexttext) returnstsquery
plainto_tsquery把未格式化的文本querytext转换成tsquery。该文本会像to_tsvector那样被解析并正规化,然后在保留下来的词之间插入&(AND)布尔操作符。
示例:
SELECT plainto_tsquery('english', 'The Fat Rats');
plainto_tsquery
-----------------
'fat' & 'rat'
注意,plainto_tsquery不能识别其输入中的布尔操作符、权重标签或前缀匹配标签:
SELECT plainto_tsquery('english', 'The Fat & Rats:C');
plainto_tsquery
---------------------
'fat' & 'rat' & 'c'
这里,输入中的所有标点符号都被当作空白符丢弃。
排名旨在衡量文档与特定查询的相关程度,以便在匹配很多时优先显示最相关的结果。PostgreSQL提供了两种预定义的排名函数,它们会综合考虑词法信息、邻近关系和结构信息;也就是说,会考虑查询词在文档中出现的频率、这些词彼此之间的距离,以及这些词所处文档部分的重要程度。不过,相关性这一概念本身就比较模糊,而且高度依赖具体应用。不同应用可能还需要额外信息参与排名,例如文档修改时间。内置排名函数仅仅是示例。你可以编写自己的排名函数,或者把它们的结果与其他因素结合起来,以满足特定需求。
目前可用的两种排名函数是:
ts_rank([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4根据向量中匹配词位的频率对向量进行排名。
ts_rank_cd([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4该函数为给定的文档向量和查询计算覆盖密度排名。该方法见 Clarke、Cormack 和 Tudhope 于 1999 年发表于期刊 "Information Processing and Management" 的文章 "Relevance Ranking for One to Three Term Queries"。覆盖密度排名与 ts_rank 类似,但还会考虑匹配词位彼此之间的接近程度。
该函数需要词位位置信息才能完成计算。因此,它会忽略 tsvector 中任何“被剥离的”词位。如果输入中根本没有未剥离的词位,结果就会是零(有关 strip 函数以及 tsvector 中位置信息的更多内容,见 第 12.4.1 节)。
对这两个函数来说,可选的 weights 参数允许根据词实例的标注情况赋予它们不同权重。权重数组按如下顺序指定各类词的权重:
{D-权重, C-权重, B-权重, A-权重}
如果没有提供 weights,则使用如下默认值:
{0.1, 0.2, 0.4, 1.0}
通常,权重用于标记来自文档特定区域的词,例如标题或开头摘要中的词,从而使它们相较于正文中的词被赋予更高或更低的重要性。
由于较长的文档更有机会包含查询词,因此把文档大小纳入考量是合理的。例如,一个一百词的文档里某个搜索词出现五次,通常会比一个一千词的文档里同一搜索词也只出现五次更相关。两种排名函数都接受一个整数 normalization 选项,用于指定文档长度是否影响排名,以及具体如何影响。该整数选项控制多种行为,因此它是一个位掩码:你可以使用 | 指定一种或多种行为(例如 2|4)。
0(默认值)忽略文档长度
1 用 1 + 文档长度的对数除排名
2 用文档长度除排名
4 用匹配范围之间的平均调和距离除排名(仅由 ts_rank_cd 实现)
8 用文档中唯一词的数量除排名
16 用 1 + 文档中不同词数量的对数除排名
32 用排名 + 1 除排名
如果指定了多个标志位,这些变换将按上面列出的顺序依次应用。
需要注意的是,排名函数不会使用任何全局信息,因此不可能像有时人们希望的那样,给出一种能够公平归一化到 1% 或 100% 的结果。归一化选项 32(rank/(rank+1))可以把所有排名缩放到 0 到 1 的范围内,但这当然只是表面上的变化,不会影响搜索结果的顺序。
下面是只选择排名最高的十个匹配的示例:
SELECT title, ts_rank_cd(textsearch, query) AS rank
FROM apod, to_tsquery('neutrino|(dark & matter)') query
WHERE query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
title | rank
-----------------------------------------------+----------
Neutrinos in the Sun | 3.1
The Sudbury Neutrino Detector | 2.4
A MACHO View of Galactic Dark Matter | 2.01317
Hot Gas and Dark Matter | 1.91171
The Virgo Cluster: Hot Plasma and Dark Matter | 1.90953
Rafting for Solar Neutrinos | 1.9
NGC 4650A: Strange Galaxy and Dark Matter | 1.85774
Hot Gas and Dark Matter | 1.6123
Ice Fishing for Cosmic Neutrinos | 1.6
Weak Lensing Distorts the Universe | 0.818218
下面是使用归一化排名的同一示例:
SELECT title, ts_rank_cd(textsearch, query, 32 /* rank/(rank+1) */ ) AS rank
FROM apod, to_tsquery('neutrino|(dark & matter)') query
WHERE query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
title | rank
-----------------------------------------------+-------------------
Neutrinos in the Sun | 0.756097569485493
The Sudbury Neutrino Detector | 0.705882361190954
A MACHO View of Galactic Dark Matter | 0.668123210574724
Hot Gas and Dark Matter | 0.65655958650282
The Virgo Cluster: Hot Plasma and Dark Matter | 0.656301290640973
Rafting for Solar Neutrinos | 0.655172410958162
NGC 4650A: Strange Galaxy and Dark Matter | 0.650072921219637
Hot Gas and Dark Matter | 0.617195790024749
Ice Fishing for Cosmic Neutrinos | 0.615384618911517
Weak Lensing Distorts the Universe | 0.450010798361481
排名计算可能非常昂贵,因为它需要访问每个匹配文档的 tsvector,这往往会受 I/O 限制而变慢。不幸的是,这几乎无法避免,因为实际查询常常会产生大量匹配。
在呈现搜索结果时,理想的方式是展示每个文档的一段摘录,并说明它与查询的关系。通常,搜索引擎会在文档片段中标出搜索词。PostgreSQL 提供了 ts_headline 函数来实现这一功能。
ts_headline([configregconfig, ]documenttext,querytsquery[,optionstext]) returnstext
ts_headline 接收文档和查询,并返回文档中一段 高亮查询词的摘录。用于解析文档的配置可通过 config 指定; 若省略 config,则使用 default_text_search_config 配置。
如果指定了options字符串,它必须由一个或多个用逗号分隔的option=value对组成。可用选项有:
StartSel、StopSel:用于界定文档中查询词的字符串,以便与摘录中的其他词区分。如果这些字符串包含空格或逗号,则必须用双引号括起来。
MaxWords、MinWords:这两个数值决定输出摘要的最长和最短长度。
ShortWord:长度不超过该值的词就会从摘要的开头和结尾处被丢弃。默认值 3 会去掉常见的英语冠词。
HighlightAll:布尔标志;如果为 true,则整个文档都会被用作摘要,而忽略前面三个参数。
MaxFragments:要显示的最大文本摘录或片段数。默认值 0 选择一种非面向片段的摘要生成方法。大于 0 的值选择基于片段的摘要生成方法。这种方法会寻找包含尽可能多查询词的文本片段,并把这些片段围绕查询词扩展。这样,查询词就接近每个片段的中间,两侧都有词语。每个片段至多包含 MaxWords 个词,并且长度不超过 ShortWord 的词会在每个片段的开头和结尾处被丢弃。如果并非所有查询词都在文档中找到,则显示由文档前 MinWords 个词组成的单个片段。
FragmentDelimiter:当显示多个片段时,片段之间将以该字符串分隔。
未指定的选项将采用以下默认值:
StartSel=<b>, StopSel=</b>, MaxWords=35, MinWords=15, ShortWord=3, HighlightAll=FALSE, MaxFragments=0, FragmentDelimiter=" ... "
例如:
SELECT ts_headline('english',
'The most common type of search
is to find all documents containing given query terms
and return them in order of their similarity to the
query.',
to_tsquery('query & similarity'));
ts_headline
------------------------------------------------------------
containing given <b>query</b> terms
and return them in order of their <b>similarity</b> to the
<b>query</b>.
SELECT ts_headline('english',
'The most common type of search
is to find all documents containing given query terms
and return them in order of their similarity to the
query.',
to_tsquery('query & similarity'),
'StartSel = <, StopSel = >');
ts_headline
-------------------------------------------------------
containing given <query> terms
and return them in order of their <similarity> to the
<query>.
ts_headline 使用的是原始文档,而不是 tsvector 摘要,因此它可能较慢,使用时应当谨慎。一个典型的错误是,当只需要显示十个文档时,却对每一个匹配文档都调用 ts_headline。SQL 子查询可以提供帮助,下面是一个例子:
SELECT id, ts_headline(body, q), rank
FROM (SELECT id, body, q, ts_rank_cd(ti, q) AS rank
FROM apod, to_tsquery('stars') q
WHERE ti @@ q
ORDER BY rank DESC
LIMIT 10) AS foo;
译文有误、术语不当或页面显示问题,请到译文仓库 pgsty/pgdoc 报告译文问题。 英文原文本身的问题,请在当前版本的对应页面向上游反馈;上游不再修订已结束维护的版本。