当前位置:  首页>> 技术小册>> 构建可视化数据分析系统-ELK

单节点的ES需要在处理大量数据的时候需要消耗大量内存和CPU资源,数据量大到一定程度就会产生处理瓶颈,甚至会出现宕机。为了解决单节点ES的处理能力的瓶颈及单节点故障问题,我们考虑使用ES集群。

一、ES集群的优点:

优化数据处理能力:通过多台ES共同处理数据,提升处理能力,节省时间。

容错能力增强:解决了ES单点故障问题,让架构更稳定。

数据安全:分布式数据存储,数据更安全

实验部署准备

两台ES机器:node1、node2

同步时间:chrony

静态IP:192.168.98.201 192.168.98.202

关闭防火墙、selinux

配置ES yum源

  1. 准备工作参考https://www.zutuanxue.com/home/4/52_138
  2. - ELK学习准备

二、集群部署

部署步骤:

  1. node1、node2安装jdk、Elasticsearch软件包
  2. node1、node2设置配置文件配置集群
  3. 启动ES验证集群

2.1、软件包安装

  1. 软件包安装,机器node1 node2
  2. node1为例
  3. jdk安装通过rpm软件包
  4. [root@node1 ~]# rpm -ivh jdk-13.0.2_linux-x64_bin.rpm
  5. Elasticsearch安装通过rpm软件包
  6. [root@node1 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm

2.2、node1、node2设置配置文件配置集群

  1. 配置文件修改
  2. [root@node1 ~]# egrep -v "(^#|^$)" /etc/elasticsearch/elasticsearch.yml
  3. cluster.name: zutuanxue_elk 集群名称,所有节点必须一样
  4. node.name: node1 节点名称
  5. #node.master: true 定义为主
  6. path.data: /var/lib/elasticsearch 数据路径
  7. path.logs: /var/log/elasticsearch 日志路径
  8. network.host: 0.0.0.0 监听地址
  9. http.port: 9200 监听端口
  10. discovery.seed_hosts: ["node1", "node2"] 可扫描监控的主机
  11. cluster.initial_master_nodes: ["node1", "node2"] 开启服务的时候谁可以竞选为主[第一次启动集群]
  12. node2配置文件
  13. [root@node2 elasticsearch]# egrep -v "(^#|^$)" /etc/elasticsearch/elasticsearch.yml
  14. cluster.name: zutuanxue_elk
  15. node.name: node2
  16. path.data: /var/lib/elasticsearch
  17. path.logs: /var/log/elasticsearch
  18. network.host: 192.168.98.202
  19. discovery.seed_hosts: ["node1", "node2"]
  20. cluster.initial_master_nodes: ["node1", "node2"]
  21. 拓展
  22. 当您想要与其他主机上的节点组成群集时,你必须使用 discovery.seed_hosts 来提供群集中可以成为master ,可能存在并且可以连接到的其他节点的列表,使得 discovery process 能够发现节点)。此设置通常应包含群集中所有可以成为master节点的地址。需要注意的是,IPv6主机必须放在括号内。此设置的默认值为127.0.0.1,[::1]。
  23. cluster.initial_master_nodes
  24. 当你第一次启动全新的Elasticsearch集群时,会有一个集群引导(cluster bootstrapping)步骤,这个步骤会确定一个在第一次选举中投票被计数的、并且可以成为master节点的集合。
  25. cluster.initial_master_nodes参数说明:es7 引用了 [Bootstrapping a cluster](https://www.elastic.co/guide/en/elasticsearch/reference/master/modules-discovery-bootstrap-cluster.html) 后,首次启动Elasticsearch集群需要在集群中的一个或多个符合主节点的节点上显式定义初始的符合主节点的节点集。这称为群集自举,这仅在群集首次启动时才需要。

2.3 启动ES验证集群

  1. 启动ES
  2. [root@node1 ~]# systemctl restart elasticsearch
  3. [root@node2 ~]# systemctl restart elasticsearch
  4. 确保服务正常启动:端口正常打开

2.4 集群测试

web站点测试方法:http://192.168.98.201:9200/_cluster/health?pretty

  1. 页面输出介绍
  2. {
  3. "cluster_name" : "zutuanxue_elk", #集群名称
  4. "status" : "green", #集群状态
  5. "timed_out" : false, #超时设置
  6. "number_of_nodes" : 2, #集群节点数量
  7. "number_of_data_nodes" : 2, #集群数据节点数量
  8. "active_primary_shards" : 0,
  9. "active_shards" : 0,
  10. "relocating_shards" : 0,
  11. "initializing_shards" : 0,
  12. "unassigned_shards" : 0,
  13. "delayed_unassigned_shards" : 0,
  14. "number_of_pending_tasks" : 0,
  15. "number_of_in_flight_fetch" : 0,
  16. "task_max_waiting_in_queue_millis" : 0,
  17. "active_shards_percent_as_number" : 100.0
  18. }

该分类下的相关小册推荐: