---
toc: true
title: 一周一个中间件-ES搜索引擎
date: 2019-09-19 18:43:36
tags:
- 中间件
- 搜索引擎
---
## 前言
> 在众多搜索引擎中，solr,es是我所知道其他公司最为广泛使用的中间件。他可以解决你复杂的搜索需求。当你需要在大量数据的情况下搜索一下关键字,使用mysql的like查询是非常缓慢的,而es可以做到近实时的搜索。
## 背景
> 我们公司最近对我们的fungo的游戏,用户,文章提出了更加复杂的搜索要求，要求对指定的关键字进行相似度匹配。
> 例如 搜索 ‘fungo小助手’ 搜索的结果应该含有fungo小助手，还应有只含有fungo关键字的东西,还应有只含有小助手关键字的东西。并且根据所含元素的多少，进行优先排名。
> 面对这些需求,以我对mysql和现在java框架的了解，无法解决这个问题。使用mysql的like功能只能检索到‘fungo小助手’的关键字。所以百度一下主流的解决方案。发现大部分公司都会使用solr和es这些搜索框架，来作为中间件解决复杂搜索功能。
## 知识准备
- node 节点
> 就是一個es实例。
- cluster 集群
- 集群健康
green yellow red
- 主节点
主资格节点的主要职责是和集群操作相关的内容，如创建或删除索引，跟踪哪些节点是群集的一部分，并决定哪些分片分配给相关的节点。稳定的主节点对集群的健康是非常重要的，默认情况下任何一个集群中的节点都有可能被选为主节点，索引数据和搜索查询等操作会占用大量的cpu，内存，io资源，为了确保一个集群的稳定，分离主节点和数据节点是一个比较好的选择。
- 数据节点
数据节点主要是存储索引数据的节点，主要对文档进行增删改查操作，聚合操作等。数据节点对cpu，内存，io要求较高， 在优化的时候需要监控数据节点的状态，当资源不够的时候，需要在集群中添加新的节点。
> 具有相同的cluster.name的node节点集合。
- index 索引
> 一个用来指向一个或者多个分片的逻辑命名空间。
- shard 分片
> 最小级别的工作单元，他只是保存了索引中的所有数据的一部分，最重要的分片就是一个Lucene实例。他本身就是一个完整的搜索引擎。我们的文档存储在分片中，并且在分片中被索引，我们的应用程序不会直接与他通信，而是直接与索引通信。
> 分片是集群中分发数据的关键，文档数据存储在分片中，分片分配到集群中的节点上，当你的集群扩容和缩容时，es会主动在你的节点迁移分片，以使集群保持平衡。
> 分片分为主分片和复制分片。你的索引的文档属于一个单独的主分片，主分片的数量决定你的索引最多存储多少数据。复制分片只是主分片的一个副本。做一个高可用，防止主分片出现故障，造成数据丢失，且对外提供读请求。索引建成后主分片数据就固定了，但是复制分片可以随时调整。
- 倒排索引
> Lucene的倒排索引实现比关系型数据更快的过滤。特别他对多条件的过滤支持非常好。一个字段由一个自己的倒排索引。18，20.这些叫做term,而[1,3]就是posting list.
> Posting list就是一个int的数组。存储所有符合某个term的文档id.
> term dictionary 和 term index
> 假如我们由很多term，就是由很多18.20....。如果我们查询某个term一定很慢。因为term没有排序。需要全部过滤一遍才能查到。这样我们可以使用二分查找方式。这个就是term dictionary.可以用logN次磁盘查到目标。但是磁盘读取仍然是非常昂贵。所以引进term index.他就像一本字典的大的章节表。比如：A开头的term ……… Xxx页；C开头的term ……… Xxx页；E开头的term ………Xxx页。实际上term index是一颗trie树.这个树不会包含所有的term,它包含是term的一些前缀，通过term index可以快速定位到term dictionary的offset,然后从这个位置往后顺序查找。再加上一些压缩技术(Lucene Finite State Transducers).term index 尺寸是term的尺寸的几十分之一，使得内存缓存整个term index变得可能。term index在内存中以FST的形式保存的，特点非常节省内存。term dictionary因为在磁盘上是以分block的方式保存的，一个block内部利用公共前缀压缩，比如都是Ab开头的单词就可以把Ab省去。这样term dictionary可以比b-tree更节约磁盘空间。
> 例子： 查询过滤条件 age=18 的过程就是先从term index找到18在term dictionary的大概位置，然后再从term dictionary里精确地找到18这个term，然后得到一个posting list或者一个指向posting list位置的指针。
>联合索引查询
> skip list数据结构。同时遍历各个属性的posting list.互相skip.使用bitset数据结构。
如图所示
![Image text]()
- es