ES能为你解决什么问题，又会带来什么问题？
作者:数据库 来源:数据库 浏览: 【大中小】 发布时间:2025-11-05 14:01:24 评论数:
本文转载自微信公众号「 写PHP的解决老王」，转载本文请联系 写PHP的什问什问老王公众号。
业务需求痛点
业务增长，题又题查询条件越来越多，解决索引越来越多业务发展初期，什问什问数据量不多。题又题查询，解决写入都很快。什问什问随着业务的题又题发展，数据量增大，解决出现慢查询，什问什问开始往表里不断的题又题加索引，保证数据查询效率。解决但是什问什问当数据量继续增大，业务查询越来越复杂。题又题程序员天天想着这个表怎么加索引。索引的增加，写入数据的时间成本越来越高。
表数据增加，数据拆分越来越复杂数据量增大，开始进行分表处理。慢慢的发现，尼玛，分的表越来越多。再这么下去，源码库这台数据库服务器上都容不下他了，这是要做数据分片的操作啊。分表已经够费劲了，还要分片?
全文检索功能嗨，哥们，给我加个全文搜索的功能。简单的一句话，你心里十万个草泥马。这么多的数据量你让我搞全文搜索。
上面业务通点总结起来就是要查的快，要分布式，要全文搜。
ES 能解决什么问题
S主要运用于全文搜索、数据分析， 底层使用开源库Lucene，拥有丰富的REST API。内部分布式的数据存储、倒排索引等设计，使其可以快速存储、搜索、分析海量数据。典型的使用方和应用场景，如github,StackOverflow，IT技术网elasticsearch+logstash+kibana 一体化的日志分析。
ES 搜索为什么快的原因
对于mysql中如上的数据表，ES会对每个字段的值建立索引，通过索引的值去找数据，而且这些索引都是在内存里面的。
name段索引：
age字段索引
address 字段索引
这样，当我们要找上海市，年龄为21岁的数据就能够通过address,age索引快递定位到数据id=2的是我们需要查找的。
然后在从磁盘中把数据id=2的数据读取出来。
上面的其实就是ES中倒排索引的一个简化版本。
实际上的ES的倒排序使用的是前缀作为索引，同时会使用*FST*对索引数据进行压缩，以保证在内存的数据量不会因为索引多而带来比较大的云南idc服务商内存消耗。
对于上面的数据表，如果采用HashMap的方式对name字段索引的话，索引所占用内存20个字节。
但是如果转换成FST结构的话，可以用四个字节表示name,总共占用内存为4+4*3=16。(假设数据范围只有M,i,e,c) 四个字符。
ES 分布式数据结构设计
数据分片均衡分片是 Elasticsearch 在集群中分发数据的关键。文档存储在分片中，然后分片分配到集群中的节点上。当集群扩容或缩小，Elasticsearch 将会自动在节点间迁移分片，以使集群保持平衡。
数据可靠分片有主分片，复制分片。复制分片只是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者从别的 shard 取回文档。
每个主分片都有一个或多个副本分片，当主分片异常时，副本可以提供数据的查询等操作。主分片和对应的副本分片是不会在同一个节点上的 。
分布式搜索分片本身就是一个完整的搜索引擎，它可以使用单一节点的所有资源。主分片或者复制分片都可以处理读请求——搜索或文档检索，所以数据的冗余越多，能处理的搜索吞吐量就越大
ES 集群中每个节点通过路由都知道集群中的文档的存放位置，所以每个节点都有处理读写请求的能力。
在一个写请求被发送到某个节点后，该节点即为协调节点，协调节点会根据路由公式计算出需要写到哪个分片上，再将请求转发到该分片的主分片节点上。如果是查询操作，则协调节点会将请求分发到其他分片上，其他分片查询结果之后再由协调节点将数据组装返回。
所以，引入ES，能够实现帮你解决数据量多，分布式查询问题。同时ES会自动的替你对所有字段建立索引，以实现高性能的复杂聚合查询，因此只要是存入ES的数据，无论再复杂的聚合查询也可以得到不错的性能，而且你再也不用为如何建立各种复杂索引而头痛了。另外，ES支持多种分词器，对全文搜索支持更加高效。
ES引入会有什么样的问题
字段类型无法修改、写入性能较低和高硬件资源消耗ES需要在创建字段前要预先建立Mapping，Mapping中包含每个字段的类型信息，ES需要根据Mapping为字段建立合适的索引。由于这个Mapping的存在，ES中的字段一但建立就不能再修改类型了。ES在数据结构灵活度上高于MySQL但远不如MongoDB
不支持事务,JOIN 吃硬件ES的排序和聚合(Aggregation)操作会把几乎所有相关不相关的文档都加载到内存中，一个Query就可以很神奇地吃光所有内存，现在新的Lucene版本优化了基于硬盘的排序，但也仅当你使用SSD的情况下，才不会牺牲过多的搜索性能。其他的问题还包括，大量的增量写操作会导致大量的后台Merge，CPU和硬盘读写都会很容易达到瓶颈。ES确实在横向Scale方面做的很出色，但前提是有足够的预算买硬件。
数据实时性每当有新增的数据时，就将其先写入到内存中，在内存和磁盘之间是文件系统缓存，当达到默认的时间(1秒钟)或者内存的数据达到一定量时，会触发一次刷新(Refresh)，将内存中的数据生成到一个新的段上并缓存到文件缓存系统 上，稍后再被刷新到磁盘中并生成提交点。因此，从Index请求到对外可见能够被搜到，最少要1秒钟的数据延时。
不支持数据的权限管理总结
ES香不香看你怎么用。有人用的很爽，有人用的很痛苦。用好了就少加班调索引，调sql。用不好就常加班调ES。
优点：
1.高并发 2.容错能力比mg强。比如1主多从，主片挂了从片会自动顶上 3.满足大数据下实时读写需求，无需分库(不存在库的概念)。 4.易扩展。分片数据自动均衡 5.支持较复杂的条件查询，group by、排序都不是问题缺点：
1.不支持事务 2.读写有一定延时 3.无权限管理 4.吃硬件关于iptables有价值的信息很多，但是大多都描述的很复杂。假如你想做些基本的配置，下面的 How To 很适合你。 # iptables -L 列出您当前iptables中在规则。假如您是刚刚建立您的服务器，那么可能此时还没有任何规则，而且您应该看到如下： Chain INPUT (policy ACCEPT) Chain FORWARD (policy ACCEPT) Chain OUTPUT (policy ACCEPT) ◆ 允许建立会话 我们可以允许建立会话来接受流量： # iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT ◆ 在指定端口上允许入站流量 阻断所有流量您也可以启动系统，但是您可能正在通过SSH工作，所有在您阻断其他流量前有必要允许SSH流量。 为了在22端口号(默认的SSH端口)上的允许流量入站，您可以告诉iptables允许您的网卡接受所有的目的端口为22的TCP流量。 # iptables -A INPUT -p tcp -I eth0 --dport ssh -j ACCEPT 特别的，这将向表中追加(-A)INPUT规则，允许目的端口号为SSH的所有流量进入接口(-i) eth0，以便iptables完成跳转(-j)或动作：ACCEPT 让我们核对下这些规则：(这里仅显示了少数行，您应该看到更多) # iptables -L 现在，让我们允许所有的web流量 # iptables -A INPUT -p tcp -I eth0 --dport 80 -j ACCEPT 检查我们现有的规则 # iptables -L 我们已经指定SSH和web端口为允许通过的TCP流量，但是因为我们还没阻断任何流量，所以到目前为止所有的流量仍然可以进入。 ◆ 阻断流量 一旦一条规则对一个包进行了匹配，其他规则不再对这个包有效。因为我们的规则首先允许SSH和WEB流量，所以只要我们阻断所有流量的规则紧跟其後，我们依然能接受我们感兴趣的流量。大家要做的仅仅是把阻断所有流量的规则放在最後，所以我们需要再次用到它。 # iptables -A INPUT -j DROP 因为我们刚才没有指定一个接口或一个协议，所以除了web和ssh流量外其他任何流量都会被阻断。 ◆ 编辑 iptables 到目前为止我们设置过程中唯一的问题是回环端口(loopbakc)也被阻断了。我们本可以通过指定 -I eth0 来仅仅丢弃eth0上的数据包，但我们也可以为回环端口(loopback)添加一条规则。假如我们追加这条规则，这将太晚了----因为所有的流量已经 被丢弃。我们必须插入这条跪着到第4行。 # iptables -I INPUT 4 -I lo -j ACCEPT 最後2行看起来几乎一样，因此我们可以让iptables列的更详细些。 # iptables -L -v ◆ 日志记录 在上面的例子中，所有的流量都不会被记录。假如您愿意在syslog中记录被丢弃的包, 下面将是最快捷的方式: # iptables -I INPUT 5 -m limit --limit 5/min -j LOG --log-prefix iptables denied: --log-level 7 看 提示 段获得更多关于logging的ideas. ◆ 保存 iptables 假如您现在要重新启动机器的话，您的iptables配置将会消失。为了不用每次重新启动时敲入这些命令，您可以保存你的配置，让它在系统启动时自动启动。你可以通过iptables-save 和iptables-restore命令来保存配置。 保存您的防火墙股则到一个文件 # iptables-save >/etc/iptables.up.rules 接着修改 /etc/network/interfaces 脚本自动应用这些规则(末行是添加的) auto eth0 你也可以准备一组规则冰并自动应用它 auto eth0 ◆ 提示 下面的步骤复习了怎样建立你的防火墙规则，并假定它们相对固定(而且对于大多数人来说它们也应该是)。但是假如你要做许多研究工作，你也许想要你的 iptables在你每次重启时保存一次。你可以在 /etc/network/interfaces 里添加像下面的一行: pre-up iptables-restore < /etc/iptables.up.rules post-down iptables-save >/etc/iptables.up.rules 此行将保存规则用于下次启动时使用。 假如你超出了这个指南来编辑iptables，你可能想利用iptables-save和iptables-restore来编辑和测试你的规则。你可以通过使用你喜爱的文本编辑器(此处为gedit)来打开这些规则文件来完成编辑。 # iptables-save >/etc/iptables.test.rules 你会得到一个如下类似的文件(下面是紧接上的例子文件)： # Generated by iptables-save v1.3.1 on Sun Apr 23 06:19:53 2006 注意到这些都是减去iptables命令的iptables语句。随意编辑这些命令、完成後保存它们。然後简单的测试下： # iptables-restore < /etc/iptables.test.rules 测试完毕後，假如你还没添加iptables-save命令 到 /etc/network/interfaces 里面，记得不要丢失了你的更改： # iptables-save >/etc/iptables.up.rules ◆ 更详细的日志 # Generated by iptables-save v1.3.1 on Sun Apr 23 05:32:09 2006 请注意 一个名为 LOGNDROP的链在文件顶部。而且，INPUT链底部标准的DROP被替换成了LOGNDROP，同时添加了协议描述so it makes sense looking at the log。最後我们在LOGNDROP链尾部丢弃了这些流量。下面的行告诉我们发生了什么： * --limit 设置记录相同规则到syslog中的次数 ◆ 禁用防火墙 假如您要临时禁用防火墙，您可以通过下面的命令清空所偶的规则： # iptables -F ◆ 轻松配置通过 GUI 新手可以利用 Firetarter(一个gui工具)---仓库中的可用软件(新立德或apt-get 获得)来配置她或他的iptables规则，而需要命令行知识。请查看指南，尽管…… 配置很简单，但是对于高级用户来说可能远远不能满足。然而它对于大多数的家庭用户来说是足够的…… 。(我)建议您使用firestarter在策略表中将出站配置为 “限制”，而将您需要的连接类型(如用于http的80、https的443，msn chat的1683等等)加入白名单。您也可以通过它查看进出您计算机的活动连接…… 。防火墙会一直保持下去一旦通过向导配置完毕。拨号用户必须在向导中指定它在拨号时自动启动。 firestarter主页： http://www.fs-security.com/ (再次, 仓库源中可用, 不需要编译) 指南: http://www.fs-security.com/docs/tutorial.php 个人笔记：不幸运的是，它没有阻断(或询问用户)特定应用/程序的选项……。因此，我的理解是一旦启用了80端口(例如，用于访问网页)，那么任何程序都可以通过80端口连接任何服务器、做任何它想做的事……