选择 打开 改范围 完整检索页

pgsql.cc 提供对 postgresql.org 官网内容的中文翻译,由 Pigsty 团队维护。

受支持版本: 当前版本 (18) / 17 / 16 / 15 / 14
测试与开发版本: 19 / devel
不受支持的版本: 13 / 12 / 11 / 10 / 9.6 / 9.5 / 9.4 / 9.3 / 9.2 / 9.1 / 9.0
历史版本PostgreSQL 9.2 已于 2017 年 11 月结束社区维护,本页译文保留供仍在使用旧版本的读者参考。新系统请看当前版本

12.3. 控制文本搜索 #

要实现全文检索,必须有函数能够从文档创建 tsvector,并从用户查询创建 tsquery。此外,我们还希望结果能按有意义的顺序返回,因此还需要函数根据文档与查询的相关性进行比较。同样重要的,是把结果良好地展示出来。PostgreSQL为这些能力都提供了支持。

12.3.1. 解析文档 #

PostgreSQL 提供了 to_tsvector 函数,用于把文档转换成 tsvector 数据类型。

to_tsvector([ config regconfig, ] document text) returns tsvector

to_tsvector 会把文本文档解析为词元,将词元归约为词位,并返回一个 tsvector,其中列出各词位及其在文档中的位置。文档会按指定的或默认的文本检索配置进行处理。下面是一个简单示例:

SELECT to_tsvector('english', 'a fat  cat sat on a mat - it ate a fat rats');
                  to_tsvector
-----------------------------------------------------
 'ate':9 'cat':3 'fat':2,11 'mat':7 'rat':12 'sat':4

在上面的示例中可以看到,结果 tsvector 不包含 aonit,单词 rats 变成了 rat,标点符号 - 也被忽略了。

to_tsvector 在内部会调用解析器,把文档文本拆分成词元并为每个词元分配类型。对于每个词元,系统都会查询一个词典列表(第 12.6 节),而这个列表会随词元类型而变化。第一个能够识别该词元的词典,会输出一个或多个正规化后的词位来表示它。例如,rats 之所以变成 rat,是因为某个词典识别出 ratsrat 的复数形式。某些词会被识别为停用词第 12.6.1 节),于是被忽略,因为它们出现得过于频繁,对搜索没有帮助。在这个示例中,aonit 就是停用词。如果列表中的词典都无法识别某个词元,它也会被忽略。示例里的标点符号 - 就属于这种情况,因为其词元类型(Space symbols)实际上没有分配任何词典,也就是说,空白类词元永远不会被索引。解析器、词典以及需要索引哪些词元类型,都由所选的文本检索配置(第 12.7 节)决定。一个数据库里可以同时存在多种不同配置,并且系统已经为多种语言提供了预定义配置。在本例中,我们使用的是英语的默认配置 english

setweight 函数可用于给 tsvector 中的项打上指定的权重标签,权重可以是四个字母之一:ABCD。这通常用于标记来自文档不同部分的项,例如标题和正文。稍后,这些信息可以用于搜索结果排名。

由于 to_tsvector(NULL) 会返回 NULL,因此只要字段可能为 NULL,就建议使用 coalesce。下面是从结构化文档创建 tsvector 的推荐方法:

UPDATE tt SET ti =
    setweight(to_tsvector(coalesce(title,'')), 'A')    ||
    setweight(to_tsvector(coalesce(keyword,'')), 'B')  ||
    setweight(to_tsvector(coalesce(abstract,'')), 'C') ||
    setweight(to_tsvector(coalesce(body,'')), 'D');

这里我们使用 setweight 为最终 tsvector 中每个词位标注来源,然后再用 tsvector 连接操作符 || 把这些已标注的 tsvector 值合并起来(关于这些操作的细节,见 第 12.4.1 节)。

12.3.2. 解析查询 #

PostgreSQL 提供了 to_tsqueryplainto_tsquery,用于把查询转换成 tsquery 数据类型。to_tsquery 提供的特性比 plainto_tsquery 更丰富,但对输入也更严格。

to_tsquery([ config regconfig, ] querytext text) returns tsquery

to_tsquery 根据 querytext 创建一个 tsquery 值。输入必须由单个词元组成,这些词元之间使用布尔操作符 &(AND)、|(OR)和 !(NOT)分隔。这些操作符可使用圆括号分组。换句话说,传给 to_tsquery 的输入,必须已经遵循 第 8.11 节 中描述的 tsquery 一般输入规则。不同之处在于,基础 tsquery 输入是按字面接受词元,而 to_tsquery 会使用指定或默认配置,把每个词元正规化为词位,并丢弃那些按该配置被判定为停用词的词元。例如:

SELECT to_tsquery('english', 'The & Fat & Rats');
  to_tsquery
---------------
 'fat' & 'rat'

与基础tsquery输入一样,可以为每个词位附加权重,以限制它只匹配具有这些权重的tsvector词位。例如:

SELECT to_tsquery('english', 'Fat | Rats:AB');
    to_tsquery
------------------
 'fat' | 'rat':AB

此外,还可以在词位后附加*来指定前缀匹配:

SELECT to_tsquery('supern:*A & star:A*B');
        to_tsquery
--------------------------
 'supern':*A & 'star':*AB

这样的词位将匹配tsvector中任何以给定字符串开头的单词。

to_tsquery也可以接受单引号括起来的短语。当配置中包含可能在这类短语上触发的分类词典时,这一点尤其有用。在下面的例子中,一个分类词典包含规则 supernovae stars : sn

SELECT to_tsquery('''supernovae stars'' & !crab');
  to_tsquery
---------------
 'sn' & !'crab'

如果不加引号,对于那些未被 AND 或 OR 操作符分隔的词元,to_tsquery会产生语法错误。

plainto_tsquery([ config regconfig, ] querytext text) returns tsquery

plainto_tsquery把未格式化的文本querytext转换成tsquery。该文本会像to_tsvector那样被解析并正规化,然后在保留下来的词之间插入&(AND)布尔操作符。

示例:

SELECT plainto_tsquery('english', 'The Fat Rats');
 plainto_tsquery
-----------------
 'fat' & 'rat'

注意,plainto_tsquery不能识别其输入中的布尔操作符、权重标签或前缀匹配标签:

SELECT plainto_tsquery('english', 'The Fat & Rats:C');
   plainto_tsquery
---------------------
 'fat' & 'rat' & 'c'

这里,输入中的所有标点符号都被当作空白符丢弃。

12.3.3. 搜索结果排名 #

排名旨在衡量文档与特定查询的相关程度,以便在匹配很多时优先显示最相关的结果。PostgreSQL提供了两种预定义的排名函数,它们会综合考虑词法信息、邻近关系和结构信息;也就是说,会考虑查询词在文档中出现的频率、这些词彼此之间的距离,以及这些词所处文档部分的重要程度。不过,相关性这一概念本身就比较模糊,而且高度依赖具体应用。不同应用可能还需要额外信息参与排名,例如文档修改时间。内置排名函数仅仅是示例。你可以编写自己的排名函数,或者把它们的结果与其他因素结合起来,以满足特定需求。

目前可用的两种排名函数是:

ts_rank([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4

根据向量中匹配词位的频率对向量进行排名。

ts_rank_cd([ weights float4[], ] vector tsvector, query tsquery [, normalization integer ]) returns float4

该函数为给定的文档向量和查询计算覆盖密度排名。该方法见 Clarke、Cormack 和 Tudhope 于 1999 年发表于期刊 "Information Processing and Management" 的文章 "Relevance Ranking for One to Three Term Queries"。

该函数需要输入中包含位置信息。因此,它对被剥离的tsvector值不起作用 — 结果总是为零。

对这两个函数来说,可选的 weights 参数允许根据词实例的标注情况赋予它们不同权重。权重数组按如下顺序指定各类词的权重:

{D-权重, C-权重, B-权重, A-权重}

如果没有提供 weights,则使用如下默认值:

{0.1, 0.2, 0.4, 1.0}

通常,权重用于标记来自文档特定区域的词,例如标题或开头摘要中的词,从而使它们相较于正文中的词被赋予更高或更低的重要性。

由于较长的文档更有机会包含查询词,因此把文档大小纳入考量是合理的。例如,一个一百词的文档里某个搜索词出现五次,通常会比一个一千词的文档里同一搜索词也只出现五次更相关。两种排名函数都接受一个整数 normalization 选项,用于指定文档长度是否影响排名,以及具体如何影响。该整数选项控制多种行为,因此它是一个位掩码:你可以使用 | 指定一种或多种行为(例如 2|4)。

  • 0(默认值)忽略文档长度

  • 1 用 1 + 文档长度的对数除排名

  • 2 用文档长度除排名

  • 4 用匹配范围之间的平均调和距离除排名(仅由 ts_rank_cd 实现)

  • 8 用文档中唯一词的数量除排名

  • 16 用 1 + 文档中不同词数量的对数除排名

  • 32 用排名 + 1 除排名

如果指定了多个标志位,这些变换将按上面列出的顺序依次应用。

需要注意的是,排名函数不会使用任何全局信息,因此不可能像有时人们希望的那样,给出一种能够公平归一化到 1% 或 100% 的结果。归一化选项 32(rank/(rank+1))可以把所有排名缩放到 0 到 1 的范围内,但这当然只是表面上的变化,不会影响搜索结果的顺序。

下面是只选择排名最高的十个匹配的示例:

SELECT title, ts_rank_cd(textsearch, query) AS rank
FROM apod, to_tsquery('neutrino|(dark & matter)') query
WHERE query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
                     title                     |   rank
-----------------------------------------------+----------
 Neutrinos in the Sun                          |      3.1
 The Sudbury Neutrino Detector                 |      2.4
 A MACHO View of Galactic Dark Matter          |  2.01317
 Hot Gas and Dark Matter                       |  1.91171
 The Virgo Cluster: Hot Plasma and Dark Matter |  1.90953
 Rafting for Solar Neutrinos                   |      1.9
 NGC 4650A: Strange Galaxy and Dark Matter     |  1.85774
 Hot Gas and Dark Matter                       |   1.6123
 Ice Fishing for Cosmic Neutrinos              |      1.6
 Weak Lensing Distorts the Universe            | 0.818218

下面是使用归一化排名的同一示例:

SELECT title, ts_rank_cd(textsearch, query, 32 /* rank/(rank+1) */ ) AS rank
FROM apod, to_tsquery('neutrino|(dark & matter)') query
WHERE  query @@ textsearch
ORDER BY rank DESC
LIMIT 10;
                     title                     |        rank
-----------------------------------------------+-------------------
 Neutrinos in the Sun                          | 0.756097569485493
 The Sudbury Neutrino Detector                 | 0.705882361190954
 A MACHO View of Galactic Dark Matter          | 0.668123210574724
 Hot Gas and Dark Matter                       |  0.65655958650282
 The Virgo Cluster: Hot Plasma and Dark Matter | 0.656301290640973
 Rafting for Solar Neutrinos                   | 0.655172410958162
 NGC 4650A: Strange Galaxy and Dark Matter     | 0.650072921219637
 Hot Gas and Dark Matter                       | 0.617195790024749
 Ice Fishing for Cosmic Neutrinos              | 0.615384618911517
 Weak Lensing Distorts the Universe            | 0.450010798361481

排名计算可能非常昂贵,因为它需要访问每个匹配文档的 tsvector,这往往会受 I/O 限制而变慢。不幸的是,这几乎无法避免,因为实际查询常常会产生大量匹配。

12.3.4. 高亮结果 #

在呈现搜索结果时,理想的方式是展示每个文档的一段摘录,并说明它与查询的关系。通常,搜索引擎会在文档片段中标出搜索词。PostgreSQL 提供了 ts_headline 函数来实现这一功能。

ts_headline([ config regconfig, ] document text, query tsquery [, options text ]) returns text

ts_headline 接收文档和查询,并返回文档中一段 高亮查询词的摘录。用于解析文档的配置可通过 config 指定; 若省略 config,则使用 default_text_search_config 配置。

如果指定了options字符串,它必须由一个或多个用逗号分隔的option=value对组成。可用选项有:

  • StartSelStopSel:用于界定文档中查询词的字符串,以便与摘录中的其他词区分。如果这些字符串包含空格或逗号,则必须用双引号括起来。

  • MaxWordsMinWords:这两个数值决定输出摘要的最长和最短长度。

  • ShortWord:长度不超过该值的词就会从摘要的开头和结尾处被丢弃。默认值 3 会去掉常见的英语冠词。

  • HighlightAll:布尔标志;如果为 true,则整个文档都会被用作摘要,而忽略前面三个参数。

  • MaxFragments:要显示的最大文本摘录或片段数。默认值 0 选择一种非面向片段的摘要生成方法。大于 0 的值选择基于片段的摘要生成方法。这种方法会寻找包含尽可能多查询词的文本片段,并把这些片段围绕查询词扩展。这样,查询词就接近每个片段的中间,两侧都有词语。每个片段至多包含 MaxWords 个词,并且长度不超过 ShortWord 的词会在每个片段的开头和结尾处被丢弃。如果并非所有查询词都在文档中找到,则显示由文档前 MinWords 个词组成的单个片段。

  • FragmentDelimiter:当显示多个片段时,片段之间将以该字符串分隔。

未指定的选项将采用以下默认值:

StartSel=<b>, StopSel=</b>,
MaxWords=35, MinWords=15, ShortWord=3, HighlightAll=FALSE,
MaxFragments=0, FragmentDelimiter=" ... "

例如:

SELECT ts_headline('english',
  'The most common type of search
is to find all documents containing given query terms
and return them in order of their similarity to the
query.',
  to_tsquery('query & similarity'));
                        ts_headline
------------------------------------------------------------
 containing given <b>query</b> terms
 and return them in order of their <b>similarity</b> to the
 <b>query</b>.

SELECT ts_headline('english',
  'The most common type of search
is to find all documents containing given query terms
and return them in order of their similarity to the
query.',
  to_tsquery('query & similarity'),
  'StartSel = <, StopSel = >');
                      ts_headline
-------------------------------------------------------
 containing given <query> terms
 and return them in order of their <similarity> to the
 <query>.

ts_headline 使用的是原始文档,而不是 tsvector 摘要,因此它可能较慢,使用时应当谨慎。一个典型的错误是,当只需要显示十个文档时,却对每一个匹配文档都调用 ts_headlineSQL 子查询可以提供帮助,下面是一个例子:

SELECT id, ts_headline(body, q), rank
FROM (SELECT id, body, q, ts_rank_cd(ti, q) AS rank
      FROM apod, to_tsquery('stars') q
      WHERE ti @@ q
      ORDER BY rank DESC
      LIMIT 10) AS foo;

提交更正

译文有误、术语不当或页面显示问题,请到译文仓库 pgsty/pgdoc 报告译文问题。 英文原文本身的问题,请在当前版本的对应页面向上游反馈;上游不再修订已结束维护的版本。