CoreSeek/Sphinx中文手册：详解安装、建索引与搜索功能

PDF文件

4星 · 超过85%的资源 | 下载需积分: 50 | 1.17MB | 更新于2024-07-21 | 57 浏览量 | 举报收藏

立即下载

CoreSeek/Sphinx是一个强大的全文搜索引擎，专为高性能、可扩展性和易用性而设计。本手册详尽介绍了它的功能、安装过程、索引构建、实时索引、搜索操作以及相关的命令行工具和SQL接口。以下是关键知识点： 1. **简介** - CoreSeek/Sphinx是一款开源的全文搜索引擎，它以Apache Lucene为基础，提供了一种高效的方式对网站内容进行搜索，尤其适合于静态或动态网站。 - 特性包括：高速索引处理、实时更新、分布式搜索支持，以及与多种数据库（如MySQL、PostgreSQL）的无缝集成。 2. **安装** - 支持操作系统广泛，包括Linux和BSD，以及Windows平台。 - 安装过程中涉及必要的工具清单和安装步骤，以及常见问题及其解决方案，确保了跨平台的兼容性和部署的可行性。 3. **建立索引** - 提供多种数据源支持，如文本文件、SQL数据库、XML管道，甚至Python脚本生成的数据。 - 搜索引擎允许设置多值属性(MVA)、字符集处理、实时和增量索引更新，以及索引合并，以适应不同应用场景的需求。 4. **RT实时索引** - 实时索引是Sphinx的核心特性，允许即时搜索更新内容，包括二进制日志监控，确保搜索结果始终是最新的。 5. **搜索** - 提供多种匹配模式和查询语法，包括布尔查询、扩展查询，以及详细的权值计算和函数支持。 - 排序、分组、分布式搜索功能强大，同时支持SphinxQL查询语言，增强了与MySQL的交互。 6. **命令行工具** - 包括indexer、searchd、search等实用工具，分别用于创建、运行和执行搜索任务，以及 spelldump 和 indextool 对索引和状态的管理。 7. **SphinxQL指南** - SphinxQL是一种专为Sphinx设计的查询语言，提供了SELECT、SHOWMETA、SHOWWARNINGS和SHOWSTATUS等丰富的SQL语法，便于管理和监控搜索服务。通过阅读这份手册，用户可以全面了解如何在各种场景下配置和优化Sphinx，提升搜索性能，同时掌握其背后的搜索原理和命令行操作。无论是初学者还是高级用户，都能从中找到所需的信息来充分利用这款高效搜索引擎。

<title>another test</title>

<body>

this is another document

</body>

</document>

遗留的 xmlpipe 数据驱动使用内置的解析器来解析 xml 文档，这个解析器的速度非常快，但是并没有提供对 XML 格式完整支

持。这个解析器需要文档中

必须

包括全部的字段，并且

严格

按照例子中给出的格式给出，而且字段的出现顺序需要

严格

按照例

子中给出的顺序。仅有一个字段 timestamp 是可选的，它的缺省值为 1。

3.9. xmlpipe2 数据源

xmlpipe2 使你可以用另一种自定义的 XML 格式向 Sphinx 传输任意文本数据和属性数据。数据模式（即数据字段的集合或者属

性集）可以由 XML 流本身指定，也可以在配置文件中数据源的配置部分中指定。

在对 xmlpipe2 数据源做索引时，索引器运行指定的命令，打开一个连接到前述命令标准输出的管道，并等待接受具有正确格式

的 XML 数据流。以下是一个数据流的样本：

例 3.3. xmlpipe2 文档数据流

<?xml version="1.0" encoding="utf-8"?>

<sphinx:docset>

<sphinx:schema>

<sphinx:field name="subject"/>

<sphinx:field name="content"/>

<sphinx:attr name="published" type="timestamp"/>

<sphinx:attr name="author_id" type="int" bits="16" default="1"/>

</sphinx:schema>

<sphinx:document id="1234">

<content>this is the main content <![CDATA[[and this <cdata> entry

must be handled properly by xml parser lib]]></content>

<subject>note how field/attr tags can be

in <b>randomized</b> order</subject>

<misc>some undeclared element</misc>

</sphinx:document>

<sphinx:document id="1235">

<subject>another subject</subject>

<content>here comes another document, and i am given to understand,

that in-document field order must not matter, sir</content>

</sphinx:document>

<sphinx:killlist>

</sphinx:killlist>

</sphinx:docset>

任意多的数据字段和属性都是允许的。数据字段和属性在同一文档元素中出现的先后顺序没有特别要求。。单一字段数据的最

大长度有限制，超过 2MB 的数据会被截短到 2MB（但这个限制可以在配置文件中数据源部分中修改）。

XML 数据模式（Schema），即数据字段和属性的完整列表，必须在任何文档被分析之前就确定。这既可以在配置文件中用

xmlpipe_field 和 xmlpipe_attr_XXX 选项指定，也可以就在数据流中用<sphinx:schema>元素指定。 <sphinx:schema>元素是可

选的，但如果出现，就必须是<sphinx:docset>元素的第一个子元素。如果没有在数据流中内嵌的数据模式定义，配置文件中的

相关设置就会生效，否则数据流内嵌的设置被优先采用。

未知类型的标签（既不是数据字段，也不是属性的标签）会被忽略，但会给出警告。在上面的例子中，<misc>标签会被忽略。

所有嵌入在其他标签中的标签及其属性都会被无视（例如上述例子中嵌入在<subject>标签中的<b>标签）

支持输入数据流的何种字符编码取决于系统中是否安装了 iconv. xmlpipe2 是用 libexpat 解析器解析的，该解析器内置对

US-ASCII, ISO-8859-1, UTF-8 和一些 UTF-16 变体的支持. CoreSeek/Sphinx 的 configure 脚本也会检查 libiconv 是否存在并

使用它来处理其他的字符编码。 libexpat 也隐含的要求在 CoreSeek/Sphinx 端使用 UTF-8，因为它返回的分析过的数据总是

UTF-8 的。

xmlpipe2 可以识别的 XML 元素（标签）（以及前述元素可用的属性）如下：

sphinx:docset

顶级元素，用于标明并包括 xmlpipe2 文档.

sphinx:schema

可选元素，它要么是 sphinx:docset 的第一个子元素，要么干脆不出现。声明文档的模式。包括数据字段和属性的声明。

若此元素出现，则它会覆盖配置文件中对数据源的设定.

sphinx:field

可选元素，sphinx:schema 的子元素。声明一个全文数据字段. 可用的属性包括:

 “name”, 它指定了字段的名称，后续数据文档中具有此名称的元素的数据都被当作待检索的全文数据对待.

 “attr”, 用于特别指出将该字段作为字符串或者词汇数统计属性. 可以设置的值为 “string” 或 “wordcount”. 版

本 1.10-beta 开始引入.

sphinx:attr

可选元素，sphinx:schema 的子元素。用于声明具体属性。可用的属性包括:

 “name”, 设定该属性名称，后续文档中具有该名称的元素应被当作一个属性对待.

 “type”, 设定该属性的类型。可能的类型包括 “int”, “timestamp”, “str2ordinal”, “bool”, “float” 和

“multi”.

 “bits”, 设定“int”型属性的宽度，有效值为 1 到 32.

 “default”, 设定该属性的默认值，若后续文档中没有指定这个属性，则使用此默认值.

sphinx:document

必须出现的元素，必须是 sphinx:docset 的子元素。包含任意多的其他元素，这些子元素带有待索引的数据字段和属性

值，而这些数据字段或属性值既可以是用 sphinx:field 和 sphinx:attr 元素声明的，也可以在配置文件中声明。唯一

的已知属性是“id”，它必须包含一个唯一的整型的文档 ID.

sphinx:killlist

可选元素，必须是 sphinx:docset 的子元素。它包含一批“id“元素，其内容是文档编号 ID，将被作为当前索引的失

效名单列表。

3.10. Python 数据源

Coreseek 支持使用 Python 编写数据源脚本，从而可以很方便的扩展 CoreSeek/Sphinx 的功能，来轻易的从任何 Python 可以操作

的地方获取需要进行检索的数据。当前，Python 几乎支持所有的 SQL 数据库以及 NoSql 存储系统，可以查看 Python

DatabaseInterfaces 获得详细列表。

python #用于配置 Python 数据源程序的 PYTHONPATH

{

path = /usr/local/coreseek/etc/pysource

path = /usr/local/coreseek/etc/pysource/csft_demo

}

source sourcename

{

type = python #数据类型

name = csft_demo.MainSource #调用的 python 的类名称

}

在以上配置中，对应的 Python 数据源脚本，为/usr/local/coreseek/etc/pysource/csft_demo/__init__.py，执行索引操作时，将从该

脚本获取数据，请查看第 12.3 节 “Python 数据源程序接口”了解细节。

3.11. 实时索引更新

当前主要有两种方法来维护全文索引的内容是最新的。请注意，但是，这两种处理方法的任务是应对

全文数据更新

，而不是属

性更新。从版本 0.9.8 开始支持即时的属性更新。参看 UpdateAttributes()API 调用了解详情。

方法一，使用基于磁盘的索引，手动分区，然后定期重建较小的分区（被称为“增量”）。通过尽可能的减小重建部分的大小，

可以将平均索引滞后时间降低到 30~60 秒。在 0.9.x 版本中，这是唯一可用的方法。在一个巨大的文档集上，这可能是最有效

的一种方法。参看第 3.12 节 “增量索引更新”了解详情。

方法二，版本 1.x（从版本 1.10-beta 开始）增加了实时索引（简写为 Rt 索引）的支持，用于及时更新全文数据。在 RT 索引上

的更新，可以在 1~2 毫秒（0.001-0.002 秒）内出现在搜索结果中。然而，RT 实时索引在处理较大数据量的批量索引上效率并

不高。参看第 4 章 RT 实时索引了解详情。

3.12. 增量索引更新

有这么一种常见的情况：整个数据集非常大，以至于难于经常性的重建索引，但是每次新增的记录却相当地少。一个典型的例

子是：一个论坛有 1000000 个已经归档的帖子，但每天只有 1000 个新帖子。

在这种情况下可以用所谓的“主索引＋增量索引”（main+delta）模式来实现“近实时”的索引更新。

这种方法的基本思路是设置两个数据源和两个索引，对很少更新或根本不更新的数据建立主索引，而对新增文档建立增量索引。

在上述例子中，那 1000000 个已经归档的帖子放在主索引中，而每天新增的 1000 个帖子则放在增量索引中。增量索引更新的

频率可以非常快，而文档可以在出现几分种内就可以被检索到。

确定具体某一文档的分属那个索引的分类工作可以自动完成。一个可选的方案是，建立一个计数表，记录将文档集分成两部分

的那个文档 ID，而每次重新构建主索引时，这个表都会被更新。

例 3.4. 完全自动化的实时索引

# in MySQL

CREATE TABLE sph_counter

(

counter_id INTEGER PRIMARY KEY NOT NULL,

max_doc_id INTEGER NOT NULL

);

# in sphinx.conf

source main

{

# ...

sql_query_pre = SET NAMES utf8

sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM documents

sql_query = SELECT id, title, body FROM documents \

WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

}

source delta : main

{

sql_query_pre = SET NAMES utf8

sql_query = SELECT id, title, body FROM documents \

WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

}

index main

{

source = main

path = /path/to/main

# ... all the other settings

}

# note how all other settings are copied from main,

# but source and path are overridden (they MUST be)

index delta : main

{

source = delta

path = /path/to/delta

}

请注意，上例中我们显示设置了数据源 delta 的 sql_query_pre 选项，覆盖了全局设置。必须显示地覆盖这个选项，否则对 delta

做索引的时候也会运行那条 REPLACE 查询，那样会导致 delta 源中选出的数据为空。可是简单地将 delta 的 sql_query_pre 设置

成空也不行，因为在继承来的数据源上第一次运行这个指令的时候，继承来的

所有

值都会被清空，这样编码设置的部分也会丢

失。因此需要再次显式调用编码设置查询。

3.13. 索引合并

合并两个已有的索引比重新对所有数据做索引更有效率，而且有时候必须这样做（例如在“主索引＋增量索引”分区模式中应合

并主索引和增量索引，而不是简单地重新索引“主索引对应的数据）。因此 indexer 有这个选项。合并索引一般比重新索引快，

但在大型索引上仍然

不是

一蹴而就。基本上，待合并的两个索引都会被读入内存一次，而合并后的内容需要写入磁盘一次。例

如，合并 100GB 和 1GB 的两个索引将导致 202GB 的 IO 操作（但很可能还是比重新索引少）

基本的命令语法如下：

indexer --merge DSTINDEX SRCINDEX [--rotate]

SRCINDEX 的内容被合并到 DSTINDEX 中，因此只有 DSTINDEX 索引会被改变。若 DSTINDEX 已经被 searchd 于提供服务，

则--rotate 参数是必须的。最初设计的使用模式是，将小量的更新从 SRCINDEX 合并到 DSTINDEX 中。因此，当属性被合

并时，一旦出现了重复的文档 ID，SRCINDEX 中的属性值更优先（会覆盖 DSTINDEX 中的值）。不过要注意，“旧的”关键

字在这个过程中并

不

会被自动删除。例如，在 DSTINDEX 中有一个叫做“old”的关键字与文档 123 相关联，而在 SRCINDEX

中则有关键字“new”与同一个文档相关，那么在合并后用这两个关键字

都

能找到文档 123。您可以给出一个显式条件来将文档

从 DSTINDEX 中移除，以便应对这种情况，相关的开关是--merge-dst-range:

indexer --merge main delta --merge-dst-range deleted 0 0

这个开关允许您在合并过程中对目标索引实施过滤。过滤器可以有多个，只有满足全部过滤条件的文档才会在最终合并后的索

引中出现。在上述例子中，过滤器只允许“deleted”为 0 的那些条件通过，而去除所有标记为已删除（“deleted”）的记录（可以

通过调用 UpdateAttributes()设置文档的属性）。

第 4 章 RT 实时索引

4.1. RT 实时索引概览

4.2. RT 实时索引使用注意事项

4.3. RT 实时索引原理

4.4. 二进制日志

实时索引（或者简称为 RT 索引）是一个新的索引后端，你可以实时的插入、更新或者删除文档（行）。RT 索引在版本 1.10-beta

中加入。查询时可以使用 SPhinxAPI、SphinxQL、SphinxSE，不过目前只能使用 SphinxQL 来更新。详细的 SphinxQL 参考请

查看第 7 章 SphinxQL 指南.

4.1. RT 实时索引概览

和其他类型的索引类似，RT 索引在 sphinx.conf 中定义。它与磁盘索引有着明显的差异，a) 数据源设置不需要而且会被忽略，

b) 你应该明确的定义所有的文本字段，而不仅仅是属性。下面是例子

例 4.1. RT 实时索引定义

index rt

{

type = rt

path = /usr/local/sphinx/data/rt

rt_field = title

rt_field = content

rt_attr_uint = gid

}

RT 索引目前还在继续开发完善中（从版本 1.10-beta 开始）。因此，他可能缺乏某些特定的功能：例如，前缀/中缀索引，MVA

属性等目前尚不支持。但是，所有常规索引功能和搜索功能都已经实现，并且经过了内部的测试。我们还有一些实际运营生

产环境（并非最不重要的部分）已经在使用 RT 索引，并且取得了较好的效果。

RT 索引可以使用 MySQL 协议访问，支持 INSERT, REPLACE, DELETE, 以及 SELECT 等 SQL 语句. 以下是一个在演示索引

上的操作会话例子：

$ mysql -h 127.0.0.1 -P 9306

Welcome to the MySQL monitor. Commands end with ; or \g.

Your MySQL connection id is 1

Server version: 1.10-dev (r2153)

Type 'help;' or '\h' for help. Type '\c' to clear the buffer.

mysql> INSERT INTO rt VALUES ( 1, 'first record', 'test one', 123 );

Query OK, 1 row affected (0.05 sec)

mysql> INSERT INTO rt VALUES ( 2, 'second record', 'test two', 234 );

Query OK, 1 row affected (0.00 sec)

mysql> SELECT * FROM rt;

+------+--------+------+

| id | weight | gid |

+------+--------+------+

| 1 | 1 | 123 |

| 2 | 1 | 234 |

+------+--------+------+

2 rows in set (0.02 sec)

mysql> SELECT * FROM rt WHERE MATCH('test');

+------+--------+------+

| id | weight | gid |

+------+--------+------+

| 1 | 1643 | 123 |

| 2 | 1643 | 234 |

+------+--------+------+

2 rows in set (0.01 sec)

mysql> SELECT * FROM rt WHERE MATCH('@title test');

Empty set (0.00 sec)

并行和批量 INSERT 语法都支持，例如：可以先指定一个列的字段，然后同时插入多行。删除可以使用 DELETE 语句，但是

目前唯一支持的语法是 DELETE FROM <index> WHERE id=<id>。REPLACE 也支持，可以用于更新数据。

mysql> INSERT INTO rt ( id, title ) VALUES ( 3, 'third row' ), ( 4, 'fourth entry' );

Query OK, 2 rows affected (0.01 sec)

mysql> SELECT * FROM rt;

+------+--------+------+

| id | weight | gid |

+------+--------+------+

| 1 | 1 | 123 |

| 2 | 1 | 234 |

| 3 | 1 | 0 |

| 4 | 1 | 0 |

+------+--------+------+

4 rows in set (0.00 sec)

mysql> DELETE FROM rt WHERE id=2;

Query OK, 0 rows affected (0.00 sec)

mysql> SELECT * FROM rt WHERE MATCH('test');

+------+--------+------+

| id | weight | gid |

+------+--------+------+

| 1 | 1500 | 123 |

+------+--------+------+

剩余127页未读，继续阅读

鼻涕虫de皮皮

粉丝: 21

CoreSeek/Sphinx中文手册：详解安装、建索引与搜索功能

Coreseek 4.1 参考手册

coreseek(sphinx + 中文分词)

Sphinx-完整中文手册

sphinx/coreseek权威手册中文版

Sphinx 0.9.9/Coreseek 3.2 参考手册

Sphinx/Coreseek 3.2权威中文手册：安装、索引与搜索详解

Coreseek全文检索服务器Sphinx中文手册

Coreseek Sphinx2.0参考手册：MySQL站内全文搜索指南

Coreseek Sphinx2.0中文参考手册：全文检索与索引

Sphinx/Coreseek 4.1中文手册：快速安装、配置与实战指南

最新资源