Manticore Search介绍

https://github.com/manticoresoftware/manticoresearch

Manticore Search 这东西我好像提过,但是现在正式写一篇吧,这个是个全文检索数据库,是根据老版本的Sphinx重写的.你如果去看他的主页,就会看到一堆堆的功能,以及多的爆棚的性能比较.不过这东西确实也很强,也非常好用.

我用这个主要是当时找地名地址库,找的想吐血, Nominatim Pelias photon libpostal 都找过一遍,也尝试过部署,但是发现,要么就是部署困难,要么就是磁盘占用非常大,要么就是数据格式有严格要求,导入外部数据困难,要么不支持模糊查询/查询功能特别弱,要么是中文查询有问题…

后来翻到了这个,非常适合我们的项目,

  1. 原生支持地理位置(地理空间)查询,它是支持球面距离的,只要扔进去经纬度坐标即可
  2. 模糊查询支持非常好,中文支持也很好,甚至直接支持结巴分词
  3. 部署简单,可以直接docker部署
  4. 建表简单,查询简单,而且接口丰富,可以用http或者mysql语法,方便接入
  5. 导入简单,因为建表实际就是类似Mysql的表,数据可以直接插入

大致说一下它的部署和使用吧:

部署

挺简单的,官方维护了Docker镜像,直接从DockerHub上拉取就行

docker pull manticoresearch/manticore:latest
docker run --name manticore --rm -d manticoresearch/manticore && until docker logs manticore 2>&1 | grep -q "accepting connections"; do sleep 1; done && docker exec -it manticore mysql && docker stop manticore

启动后进入docker的命令行里,就跟mysql一样,可以建表了,默认是实时表,这个看你的数据量,我的数据量反正是到不了单表极限的,文档里:单表磁盘体积建议控制在 50GB ~ 100GB 以内,大概是千万级到亿级别的表,普通表是只读表,只能用配置文件建和插入,比较麻烦.不过如果你数据真的是只读的(其实理论上地名地址应该是只读,但是对吧,甲方需求…)普通表压缩率和结构比实时表高效 ,因此可以高半个到一个数量级.正常情况下够用了,实在不行可以上分布式表,那个可以自己去研究文档

CREATE TABLE places (
    id bigint,
    name text,
    address text,
    abbr text,
    lat float,
    lon float
) min_infix_len='2' charset_table='chinese, a..z, A..Z, 0..9' morphology='jieba_chinese';

看起来跟普通的SQL有点不同,主要是表有设置,参考 3️⃣ Creating a table > Creating a local table > Plain and real-time table settings | Manticore Search Manual 文档,我是用于地名地址的,所以搜索把特殊符号和空格忽略,然后默认用结巴分词作为分词器,否则默认是一个字一个字的拆分,也可以用ICU拆.,具体的其他的看文档吧

剩下的你就直接用SQL插入数据就完了,类似如下:

INSERT INTO places (id, name, address, abbr, lat, lon) VALUES
(1, '北京天安门', '北京市东城区东长安街', 'TAM', 39.908722, 116.397499),
(2, '北京故宫博物院', '北京市东城区景山前街4号', 'GG', 39.916345, 116.397155),
(3, '北京南站', '北京市丰台区永外大街车站路12号', 'BJN', 39.865195, 116.378517);

操作

Manticore Search最友好的是有Http接口,级别都是Post操作,可以直接批量增删改查,具体文档参考OpenAPI specification | Manticore Search Manual那一节,或者看看 OpenAPI 规范 | Manticore Search Manual 这个有个机器可读的规范,我建议是直接给AI吧

简单的增删改查:

# 增加数据
curl -X POST "http://127.0.0.1:9308" \
  -H "Content-Type: application/json" \
  -d '{
    "table": "places",
    "id": 1,
    "doc": {
      "name": "北京天安门",
      "address": "北京市东城区东长安街",
      "abbr": "TAM",
      "lat": 39.908722,
      "lon": 116.397499
    }
  }'

# 地理检索
curl -X POST "http://127.0.0.1:9308" \
  -H "Content-Type: application/json" \
  -d '{
    "table": "places",
    "query": {
      "bool": {
        "must": [
          { "match": { "name": "天安门" } },
          {
            "geo_distance": {
              "location_anchor": { "lat": 39.9087, "lon": 116.3975 },
              "location_source": "lat,lon",
              "distance_type": "adaptive",
              "distance": "5km"
            }
          }
        ]
      }
    }
  }'

## 更新
curl -X POST "http://127.0.0.1:9308" \
  -H "Content-Type: application/json" \
  -d '{
    "table": "places",
    "id": 1,
    "doc": {
      "lat": 39.909000,
      "lon": 116.398000
    }
  }'
## 覆盖
curl -X POST "http://127.0.0" \
  -H "Content-Type: application/json" \
  -d '{
    "table": "places",
    "id": 1,
    "doc": {
      "name": "北京天安门广场",
      "address": "北京市东城区东长安街",
      "abbr": "TAM",
      "lat": 39.908722,
      "lon": 116.397499
    }
  }'
# 删除
curl -X POST "http://127.0.0" \
  -H "Content-Type: application/json" \
  -d '{
    "table": "places",
    "id": 1
  }'

这是http接口,也可以直接进入mysql里,直接操作表,那个就是直接进入docker操作了,跟sql语法基本一致.

模糊查询

Manticore 跟Sphinx一样支持全文检索,因此,也扩展了一些语法,具体参考 https://manual.manticoresearch.com/Searching/Spell_correction#SQL, 举一下例子:


-- 自动补全
CALL AUTOCOMPLETE('query_beginning', 'table', [...options]);
# example
mysql> CALL AUTOCOMPLETE('劳动','poi_index');
+--------------+
| query        |
+--------------+
| 劳动         |
| 劳动者       |
| 劳动力       |
| 劳动局       |
| 劳动党       |
| 劳动报       |
| 劳动法       |
| 劳动保护     |
| 劳动就业     |
| 劳动人事     |
+--------------+


-- 拼写矫正,主要是根据键盘配列矫正,所以中文不支持
SELECT
  ...
  MATCH('...')
  ...
  OPTION fuzzy={0|1}
  [, distance=N]
  [, preserve={0|1}]
  [, layouts='{be,bg,br,ch,de,dk,es,fr,uk,gr,it,no,pt,ru,se,ua,us}']
}

排名器

  • ​proximity_bm25,默认的排名模式,同时使用并结合了短语接近度和BM25排名。
  • ​bm25,一种只使用BM25的统计排名模式(类似大多数其他全文引擎)。该模式速度更快,但对于包含多个关键词的查询可能导致质量较差。
  • ​none,无排名模式。该模式显然最快。所有匹配项均赋值权重1。有时称为布尔搜索,只匹配文档但不排序。
  • ​wordcount,按关键词出现次数排名。该排名器计算每个字段的关键词出现次数,再乘以字段权重,最后求和。
  • ​proximity​ 返回原始的短语接近值作为结果。该模式在内部用于模拟 SPH_MATCH_ALL 查询。
  • ​matchany​ 返回在早期 SPH_MATCH_ANY​ 模式中计算的排名值,并在内部用于模拟 SPH_MATCH_ANY 查询。
  • ​fieldmask 返回一个32位掩码,第N位对应第N个全文字段,编号从0开始。只有当相应字段含有满足查询的关键词出现时,该位才会被置位。
  • ​sph04​ 基本上基于默认的 proximity_bm25​ 排名器,但额外提升当匹配发生在文本字段开头或结尾的情况。因此,如果某字段完全等于查询,sph04 应该将其排名高于包含该查询但不完全相等的字段。(例如,当查询为“Hyde Park”时,标题为“Hyde Park”的文档应排名高于标题为“Hyde Park, London”或“The Hyde Park Cafe”的文档。)
  • ​expr​ 允许你在运行时指定排名公式。它暴露了多个内部文本因素,允许你定义如何从这些因素计算最终权重。你可以在下方小节中找到其语法细节和可用因素参考。

排名器名称不区分大小写。示例:

SELECT ... OPTION ranker=sph04;

‍