当前位置:  首页>> 技术小册>> 构建可视化数据分析系统-ELK

一、Elasticsearch简介

Elasticsearch(简称ES)是一个开源的分布式搜索引擎,Elasticsearch还是一个分布式文档数据库。所以它提供了大量数据的存储功能,快速的搜索分析功能。

提到搜索,大家肯定就想到了百度,谷歌,必应等。当然也有如下的搜索场景。

二、Elasticsearch部署方法

  1. JDK安装并设置为默认java环境
  2. Elasticsearch安装
  3. 配置elasticsearch监听ip地址
  4. 测试
  1. 关于软件获得
  2. 1JDK 注意:下载页面,需要接受下载协议才能下载
  3. jdk13 https://download.oracle.com/otn-pub/java/jdk/13.0.2+8/d4173c853231432d94f001e99d882ca7/jdk-13.0.2_linux-x64_bin.rpm
  4. 2Elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-x86_64.rpm
  5. 3logstash https://artifacts.elastic.co/downloads/logstash/logstash-7.6.0.rpm
  6. 4kibana https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-x86_64.rpm
  7. 5filebeat https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.0-x86_64.rpm

2.1、JDK安装

JDK介绍

JDK的全称是Java Development Kit,是Sun公司免费提供的Java语言的软件开发工具包,其中包含Java虚拟机(JVM),java运行环境(JRE)。编写好的Java源程序经过编译可形成Java字节码,只要安装了JDK,就可以利用JVM解释这些字节码文件,从而保证了Java的跨平台性。

JDK安装方法
  1. 软件安装[本次安装jdk13.0.2]
  2. 设置环境变量,默认java环境为新安装环境
  1. #1、软件安装
  2. #默认安装路径/usr/java/jdk-13.0.2
  3. [root@node1 ~]# rpm -ivh jdk-13.0.2_linux-x64_bin.rpm
  4. 警告:jdk-13.0.2_linux-x64_bin.rpm: V3 RSA/SHA256 Signature, 密钥 ID ec551f03: NOKEY
  5. Verifying... ################################# [100%]
  6. 准备中... ################################# [100%]
  7. 正在升级/安装...
  8. 1:jdk-13.0.2-2000:13.0.2-ga ################################ [100%]
  9. or
  10. 如果有依赖,可以通过yum解决依赖
  11. [root@node1 elk_7.6_soft]# yum -y localinstall jdk-13.0.2_linux-x64_bin.rpm
  12. #2、设置环境变量,默认java环境为新安装环境
  13. #注意 java环境给谁用
  14. #/etc/profile
  15. #~/.bash_profile
  16. #在/etc/profile文件中追加以下环境变量,并导出为全局变量
  17. [root@node1 ~]# tail -4 /etc/profile
  18. #JAVA安装路径
  19. JAVA_HOME=/usr/java/jdk-13.0.2/
  20. #JAVA命令输出
  21. PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
  22. #JAVA库文件
  23. CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
  24. #导出全局
  25. export PATH JAVA_HOME CLASSPATH CATALINA_HOME
  26. #重载/etc/profile文件到内存,生效变量
  27. [root@node1 ~]# source /etc/profile
  28. #3、测试java默认环境
  29. [root@node1 ~]# java --version
  30. java 13.0.2 2020-01-14 #看这里,看这里,完美!
  31. Java(TM) SE Runtime Environment (build 13.0.2+8)
  32. Java HotSpot(TM) 64-Bit Server VM (build 13.0.2+8, mixed mode, sharing)

2.2 Elasticsearch安装

Elasticsearch安装方法
  • Elasticsearch RPM安装
  • yum源安装
  • 源码安装

Elasticsearch安装方法对比

Elasticsearch RPM安装:

需要提前下好安装包,如果有依赖需要手动解决依赖,压力山大!

yum源安装

傻瓜式安装,做好yum源即可,网络很重要。

源码安装

源码自定义安装,可以优化软件功能,删减功能,高手的选择。

RPM安装方法

a、下载elasticsearch RPM包

b、安装elasticsearch

  1. a、下载elasticsearch RPM
  2. [root@node1 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-x86_64.rpm
  3. b、安装elasticsearch
  4. [root@node1 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm
  5. 警告:elasticsearch-7.6.0-x86_64.rpm: V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
  6. Verifying... ################################# [100%]
  7. 准备中... ################################# [100%]
  8. Creating elasticsearch group... OK
  9. Creating elasticsearch user... OK
  10. 正在升级/安装...
  11. 1:elasticsearch-0:7.6.0-1 ################################# [100%]
  12. ### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd 安装服务到systemd服务,方便使用systemctl管理服务
  13. sudo systemctl daemon-reload
  14. sudo systemctl enable elasticsearch.service
  15. ### You can start elasticsearch service by executing
  16. sudo systemctl start elasticsearch.service 服务启动方法
  17. Created elasticsearch keystore in /etc/elasticsearch
  18. [/usr/lib/tmpfiles.d/elasticsearch.conf:1] Line references path below legacy directory /var/run/, updating /var/run/elasticsearch /run/elasticsearch; please update the tmpfiles.d/ drop-in file accordingly.
  19. [/usr/lib/tmpfiles.d/libstoragemgmt.conf:1] Line references path below legacy directory /var/run/, updating /var/run/lsm /run/lsm; please update the tmpfiles.d/ drop-in file accordingly.
  20. [/usr/lib/tmpfiles.d/libstoragemgmt.conf:2] Line references path below legacy directory /var/run/, updating /var/run/lsm/ipc /run/lsm/ipc; please update the tmpfiles.d/ drop-in file accordingly.
  21. [/usr/lib/tmpfiles.d/mdadm.conf:1] Line references path below legacy directory /var/run/, updating /var/run/mdadm /run/mdadm; please update the tmpfiles.d/ drop-in file accordingly.
  22. [/usr/lib/tmpfiles.d/radvd.conf:1] Line references path below legacy directory /var/run/, updating /var/run/radvd /run/radvd; please update the tmpfiles.d/ drop-in file accordingly.
  23. [/usr/lib/tmpfiles.d/spice-vdagentd.conf:2] Line references path below legacy directory /var/run/, updating /var/run/spice-vdagentd /run/spice-vdagentd; please update the tmpfiles.d/ drop-in file accordingly.
  24. 安装路径 /usr/share/elasticsearch/

yum源安装

a、安装elasticsearch gpg key

b、设置yum源

c、安装elasticsearch

  1. a、=================安装elasticsearch key=================
  2. [root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  3. b、=================设置yum源=================
  4. [root@node1 ~]# cat >>/etc/yum.repos.d/elk.repo <<EOF
  5. > [elasticsearch-7.x]
  6. > name=Elasticsearch repository for 7.x packages
  7. > baseurl=https://artifacts.elastic.co/packages/7.x/yum
  8. > gpgcheck=1
  9. > gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  10. > enabled=1
  11. > autorefresh=1
  12. > type=rpm-md
  13. > EOF
  14. c、=================安装elasticsearch=================
  15. [root@node1 ~]# yum install elasticsearch

源码安装

a、下载源码包

b、解压安装

c、启动测试

  1. 挑战自我,超越自我,you can you do!
  2. 参考官方手册
  3. https://www.elastic.co/guide/en/elasticsearch/reference/7.6/targz.html

Elasticsearch配置文件目录结构

  1. elasticsearch安装目录:/usr/share/elasticsearch/
  2. elasticsearch配置文件目录:/etc/elasticsearch/
  3. [root@node1 ~]# cd /etc/elasticsearch/
  4. [root@node1 elasticsearch]# tree
  5. .
  6. ├── elasticsearch.keystore #key存储
  7. ├── elasticsearch.yml #主配置文件
  8. ├── jvm.options #JVM虚拟机参数配置文件
  9. ├── log4j2.properties #记录日志
  10. ├── role_mapping.yml #空文件
  11. ├── roles.yml #空文件,定义权限文件
  12. ├── users #空文件,定义用户文件
  13. └── users_roles #空文件
  14. 四个空文件是ES权限控制文件

Elasticsearch设置[拓展]

  1. #堆内存设置
  2. jvm将内存逻辑分区,主要分为堆、栈、方法区
  3. java创建的对象放在堆内存中
  4. java创建的方法是放在栈内存执行,包括局部变量
  5. java源码编译后二进制文件执行要加载到方法区,常量池也存在方法区
  6. #详情可参考天易IT学院java课程
  7. 数据结构
  8. JVM课程
  9. Elasticsearch 默认安装后设置的堆内存是 1 GB。对于任何一个业务部署来说, 这个设置都太小了。如果你正在使用这些默认堆内存配置,您的集群可能会出现问题。
  10. #建议不要超过32G
  11. 官方解释
  12. Java 中,所有的对象都分配在堆上,并通过一个指针进行引用。 普通对象指针(OOP)指向这些对象,通常为 CPU 字长 的大小:32 位或 64 位,取决于你的处理器。指针引用的就是这个 OOP 值的字节位置。
  13. 对于 32 位的系统,意味着堆内存大小最大为 4 GB。对于 64 位的系统, 可以使用更大的内存,但是 64 位的指针意味着更大的浪费,因为你的指针本身大了。更糟糕的是, 更大的指针在主内存和各级缓存(例如 LLCL1 等)之间移动数据的时候,会占用更多的带宽。
  14. Java 使用一个叫作 内存指针压缩(compressed oops)的技术来解决这个问题。 它的指针不再表示对象在内存中的精确位置,而是表示 偏移量 。这意味着 32 位的指针可以引用 40 亿个 对象 而不是 40 亿个字节。最终, 也就是说堆内存增长到 32 GB 的物理内存,也可以用 32 位的指针表示。
  15. 一旦你越过那个神奇的 ~32 GB 的边界,指针就会切回普通对象的指针。 每个对象的指针都变长了,就会使用更多的 CPU 内存带宽,也就是说你实际上失去了更多的内存。事实上,当内存到达 4050 GB 的时候,有效内存才相当于使用内存对象指针压缩技术时候的 32 GB 内存。
  16. 这段描述的意思就是说:即便你有足够的内存,也尽量不要 超过 32 GB。因为它浪费了内存,降低了 CPU 的性能,还要让 GC 应对大内存。
  17. #GC,全称是 Garbage Collection (垃圾收集)或者 Garbage Collector(垃圾收集器)
  18. #参考文档
  19. https://www.elastic.co/guide/cn/elasticsearch/guide/current/heap-sizing.html
  20. #设置方法
  21. [root@node1 ~]#vim /etc/elasticsearch/jvm.options
  22. # Xms represents the initial size of total heap space
  23. # Xmx represents the maximum size of total heap space
  24. -Xms1g
  25. -Xmx1g

Elasticsearch服务管理方法

a、开机启动服务

b、服务启动管理

  1. a、开机启动服务
  2. [root@node1 ~]# systemctl enable elasticsearch.service
  3. Synchronizing state of elasticsearch.service with SysV service script with /usr/lib/systemd/systemd-sysv-install.
  4. Executing: /usr/lib/systemd/systemd-sysv-install enable elasticsearch
  5. Created symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service /usr/lib/systemd/system/elasticsearch.service.
  6. b、服务启动管理
  7. [root@node1 ~]# systemctl start elasticsearch.service
  8. c、启动测试
  9. [root@node1 ~]# netstat -ntpl
  10. .....
  11. tcp6 0 0 127.0.0.1:9200 :::* LISTEN 2698/java
  12. tcp6 0 0 ::1:9200 :::* LISTEN 2698/java
  13. tcp6 0 0 127.0.0.1:9300 :::* LISTEN 2698/java
  14. tcp6 0 0 ::1:9300 :::* LISTEN 2698/java

2.3、配置Elasticsearch监听本地外网地址

绑定ES监听地址为:192.168.98.201

  1. [root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
  2. # ---------------------------------- Network --------------------------
  3. #
  4. # Set the bind address to a specific IP (IPv4 or IPv6):
  5. #
  6. network.host: 192.168.98.201 #删除#号,设置本机某个公网地址或0.0.0.0
  7. #
  8. # Set a custom port for HTTP:
  9. #
  10. #http.port: 9200
  11. #
  12. # For more information, consult the network module documentation.
  13. #
  14. # --------------------------------- Discovery -------------------------
  15. #
  16. # Pass an initial list of hosts to perform discovery when this node is started:
  17. # The default list of hosts is ["127.0.0.1", "[::1]"]
  18. #
  19. #discovery.seed_hosts: ["host1", "host2"]
  20. #
  21. # Bootstrap the cluster using an initial set of master-eligible nodes:
  22. #如果ES设置公网地址,非localhost,那么它就会认为这是一个es集群,必须有一个master
  23. #所有开启下面这行,指定master可以是哪个node。
  24. cluster.initial_master_nodes: ["192.168.98.201"] #删除#号,写上自己本地地址
  25. #
  26. # For more information, consult the discovery and cluster formation module documentation.

重启服务生效

  1. [root@node1 ~]# systemctl restart elasticsearch.service

2.4、测试

验证端口及监听地址

通过浏览器访问ES


该分类下的相关小册推荐: