golang-构建搜索引擎微服务riot
需求
内容型网站，比如论坛、知识库或者文档查询等，均需要根据用户输入的内容，搜索匹配的文档。
这时我们可以搭建一些高性能的搜索服务，来给主站提供“搜索”功能支持。
使用golang写的开源搜索引擎 riot （riot是在wukong的基础上开发的，wukong现在更新维护基本是停滞状态）吸引了我们的目光，高性能、可扩展、支持中文搜索。
实现
环境准备
首先需要安装golang，版本是1.8以上（ubuntu现在推荐的是1.6版本，因此需要从golang的官网下载，然后配置环境变量即可）
安装riot的依赖包
- go get “github.com/shirou/gopsutil”
- go get "github.com/go-ego/gpy"
安装riot
- go get -u github.com/go-ego/riot
- go get -u github.com/go-ego/re
roit的工作原理
引擎中处理用户请求、分词、索引和排序分别由不同的协程（goroutines）完成。
1. 主协程，用于收发用户请求 2. 分词器（segmenter）协程，负责分词 3. 索引器（indexer）协程，负责建立和查找索引表 4. 排序器（ranker）协程，负责对文档评分排序
索引流程
当一个将文档（document）加入索引的请求进来以后，主协程会通过一个信道（channel）将要分词的文本发送给某个分词协程，该协程将文本分词后通过另一个信道发送给一个索引器协程。索引器协程建立从搜索键（search keyword）到文档的反向索引（inverted index），反向索引表保存在内存中方便快速调用。
搜索流程
主协程接到用户请求，将请求短语在主协程内分词，然后通过信道发送给索引器，索引器查找每个搜索键对应的文档然后进行逻辑操作（归并求交集）得到一个精简的文档列表，此列表通过信道传递给排序器，排序器对文档进行评分（scoring）、筛选和排序，然后将排好序的文档通过指定的信道发送给主协程，主协程将结果返回给用户。
分词、索引和排序都有多个协程完成，中间结果保存在信道缓冲队列以避免阻塞。为了提高搜索的并发度降低延迟，riot 引擎将文档做了裂分（裂分数目可以由用户指定），索引和排序请求会发送到所有裂分上并行处理，结果在主协程进行二次归并排序。
上面就是riot 引擎的大致原理。任何完整的搜索系统都包括四个部分， 文档抓取 、 索引 、 搜索 和 显示 。
简单使用
package main
import (
"log"
"github.com/go-ego/riot/engine"
"github.com/go-ego/riot/types"
)
var (
// searcher is coroutine safe
searcher = engine.Engine{}
)
func main() {
// Init searcher
searcher.Init(types.EngineInitOptions{
Using: 4,
SegmenterDict: "./dict/dictionary.txt"})
defer searcher.Close()
// Add the document to the index, docId starts at 1
searcher.IndexDocument(1, types.DocIndexData{Content: "Google Is Experimenting With Virtual Reality Advertising"}, false)
searcher.IndexDocument(2, types.DocIndexData{Content: "Google accidentally pushed Bluetooth update for Home speaker early"}, false)
searcher.IndexDocument(3, types.DocIndexData{Content: "Google is testing another Search results layout with rounded cards, new colors, and the 4 mysterious colored dots again"}, false)
// Wait for the index to refresh
searcher.FlushIndex()
// The search output format is found in the types.SearchResponse structure
log.Print(searcher.Search(types.SearchRequest{Text: "google testing"}))
}
//输出结果：
//2017/10/24 15:14:29 载入gse词典 ./dict/dictionary.txt
//2017/10/24 15:14:31 gse词典载入完毕
//2017/10/24 15:14:31 Check virtualMemory...Total: 12539645952, Free:7705378816, UsedPercent:11.799818%
//2017/10/24 15:14:31 {[google testing] [{3 Google is testing another Search results layout with rounded cards, new colors, and the 4 mysterious colored dots again <nil> <nil> [4.7] [] []}] false 1}使用该引擎，需要将数据格式化后存储到riot，然后通过接口查询即可。
性能与扩展
性能数据请参考 https://github.com/go-ego/riot/blob/master/docs/zh/benchmarking.md
riot支持持久化存储，如果需要分布式搜索，需要将索引与数据分块，做二次开发