企业微信检索引擎wwsearch

[shunguai947]

wwsearch是企业微信后台自研的全文检索引擎。它为海量用户下的全文快速检索而设计，底层支持可插拔的lsm tree存储引擎。目前覆盖企业微信所有在线检索场景：企业员工通讯录、审批、日报、周报、汇报、企业素材检索，也包括企业邮箱的全文邮件检索。 最大业务场景有300+亿条记录，索引词项万亿+，存储容量几十TB，支撑实时在线用户检索。

功能介绍：实时数据修改：数据写入即实时可查。对外提供插入、更新、删除、覆盖写等接口，可适应更新频繁场景，也适应于少改或不改场景。支持灵活Query：支持词的等值、前缀、模糊匹配。多个Query通过And 、Or进行组合，满足不同场景的检索需求。Query还可以按指定field进行检索。

后置过滤：支持对检索索引后的结果进行二次过滤，支持等值、数值范围、数组元素查找、字符串模糊等过滤特性。适用于如无法建立高区分度索引的字段过滤、带有业务特定场景的过滤。灵活排序：支持按多个field的属性值组合排序，类似order by语义。检索功能可扩展：场景需要时，可以扩展各类聚合函数（sum/avg…）,也可以支持场景文本打分。

主要涉及6个接口，分别是：AddDocuments：仅当文档id不存在时添加；UpdateDocuments：仅当文档id存在时更新；更新时会保留旧文档存在的未更新field内容；AddOrUpdateDocuments：若文档id不存在则添加，若存在则更新；ReplaceDocuments：仅当文档id存在时替换；DeleteDocuments：仅当文档id存在时删除；AddDocumentsWithoutRead：文档id不存在则添加，存在则覆盖。

项目地址： https://github.com/Tencent/wwsearch