Copyright © 1998-2023 maxiaoke.com All rights reserved.

当前位置:　 首页>> 技术小册>> 构建可视化数据分析系统-ELK

小册名称：构建可视化数据分析系统-ELK

一、Elasticsearch简介

Elasticsearch(简称ES)是一个开源的分布式搜索引擎,Elasticsearch还是一个分布式文档数据库。所以它提供了大量数据的存储功能,快速的搜索与分析功能。

提到搜索,大家肯定就想到了百度,谷歌,必应等。当然也有如下的搜索场景。

二、Elasticsearch部署方法

  1. JDK安装并设置为默认java环境
  2. Elasticsearch安装
  3. 配置elasticsearch监听ip地址
  4. 测试
  1. 关于软件获得
  2. 1、JDK    注意：下载页面，需要接受下载协议才能下载
  3. jdk13 https://download.oracle.com/otn-pub/java/jdk/13.0.2+8/d4173c853231432d94f001e99d882ca7/jdk-13.0.2_linux-x64_bin.rpm
  5. 2、Elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-x86_64.rpm
  7. 3、logstash https://artifacts.elastic.co/downloads/logstash/logstash-7.6.0.rpm
  9. 4、kibana  https://artifacts.elastic.co/downloads/kibana/kibana-7.6.0-x86_64.rpm
  11. 5、filebeat https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.0-x86_64.rpm

2.1、JDK安装

JDK介绍

JDK的全称是Java Development Kit，是Sun公司免费提供的Java语言的软件开发工具包，其中包含Java虚拟机（JVM），java运行环境(JRE)。编写好的Java源程序经过编译可形成Java字节码，只要安装了JDK，就可以利用JVM解释这些字节码文件，从而保证了Java的跨平台性。

JDK安装方法
  1. 软件安装[本次安装jdk13.0.2]
  2. 设置环境变量，默认java环境为新安装环境
  1. #1、软件安装  
  2. #默认安装路径/usr/java/jdk-13.0.2
  3. [root@node1 ~]# rpm -ivh jdk-13.0.2_linux-x64_bin.rpm 
  4. 警告：jdk-13.0.2_linux-x64_bin.rpm: 头V3 RSA/SHA256 Signature, 密钥 ID ec551f03: NOKEY
  5. Verifying...        ################################# [100%]
  6. 准备中...            ################################# [100%]
  7. 正在升级/安装...
  8.    1:jdk-13.0.2-2000:13.0.2-ga  ################################ [100%]
  10. or
  11. 如果有依赖，可以通过yum解决依赖
  12. [root@node1 elk_7.6_soft]# yum -y localinstall jdk-13.0.2_linux-x64_bin.rpm
  15. #2、设置环境变量，默认java环境为新安装环境  
  16. #注意  java环境给谁用
  17. #/etc/profile
  18. #~/.bash_profile
  19. #在/etc/profile文件中追加以下环境变量，并导出为全局变量
  20. [root@node1 ~]# tail -4 /etc/profile
  21. #JAVA安装路径
  22. JAVA_HOME=/usr/java/jdk-13.0.2/
  23. #JAVA命令输出
  24. PATH=$JAVA_HOME/bin:$PATH:$HOME/bin
  25. #JAVA库文件
  26. CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
  27. #导出全局
  28. export PATH JAVA_HOME CLASSPATH CATALINA_HOME
  30. #重载/etc/profile文件到内存，生效变量
  31. [root@node1 ~]# source /etc/profile
  33. #3、测试java默认环境
  34. [root@node1 ~]# java --version
  35. java 13.0.2 2020-01-14        #看这里，看这里，完美！
  36. Java(TM) SE Runtime Environment (build 13.0.2+8)
  37. Java HotSpot(TM) 64-Bit Server VM (build 13.0.2+8, mixed mode, sharing)

2.2 Elasticsearch安装

Elasticsearch安装方法
  • Elasticsearch RPM安装
  • yum源安装
  • 源码安装

Elasticsearch安装方法对比

Elasticsearch RPM安装：

需要提前下好安装包，如果有依赖需要手动解决依赖，压力山大！

yum源安装

傻瓜式安装，做好yum源即可，网络很重要。

源码安装

源码自定义安装，可以优化软件功能，删减功能，高手的选择。

RPM安装方法

a、下载elasticsearch RPM包

b、安装elasticsearch

  1. a、下载elasticsearch RPM包
  2. [root@node1 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.0-x86_64.rpm
  4. b、安装elasticsearch
  5. [root@node1 ~]# rpm -ivh elasticsearch-7.6.0-x86_64.rpm 
  6. 警告：elasticsearch-7.6.0-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY
  7. Verifying...         ################################# [100%]
  8. 准备中...             ################################# [100%]
  9. Creating elasticsearch group... OK
  10. Creating elasticsearch user... OK
  11. 正在升级/安装...
  12.    1:elasticsearch-0:7.6.0-1   ################################# [100%]
  13. ### NOT starting on installation, please execute the following statements to configure elasticsearch service to start automatically using systemd                安装服务到systemd服务，方便使用systemctl管理服务
  14.  sudo systemctl daemon-reload
  15.  sudo systemctl enable elasticsearch.service
  16. ### You can start elasticsearch service by executing
  17.  sudo systemctl start elasticsearch.service    服务启动方法
  18. Created elasticsearch keystore in /etc/elasticsearch
  19. [/usr/lib/tmpfiles.d/elasticsearch.conf:1] Line references path below legacy directory /var/run/, updating /var/run/elasticsearch → /run/elasticsearch; please update the tmpfiles.d/ drop-in file accordingly.
  20. [/usr/lib/tmpfiles.d/libstoragemgmt.conf:1] Line references path below legacy directory /var/run/, updating /var/run/lsm → /run/lsm; please update the tmpfiles.d/ drop-in file accordingly.
  21. [/usr/lib/tmpfiles.d/libstoragemgmt.conf:2] Line references path below legacy directory /var/run/, updating /var/run/lsm/ipc → /run/lsm/ipc; please update the tmpfiles.d/ drop-in file accordingly.
  22. [/usr/lib/tmpfiles.d/mdadm.conf:1] Line references path below legacy directory /var/run/, updating /var/run/mdadm → /run/mdadm; please update the tmpfiles.d/ drop-in file accordingly.
  23. [/usr/lib/tmpfiles.d/radvd.conf:1] Line references path below legacy directory /var/run/, updating /var/run/radvd → /run/radvd; please update the tmpfiles.d/ drop-in file accordingly.
  24. [/usr/lib/tmpfiles.d/spice-vdagentd.conf:2] Line references path below legacy directory /var/run/, updating /var/run/spice-vdagentd → /run/spice-vdagentd; please update the tmpfiles.d/ drop-in file accordingly.
  27. 安装路径 /usr/share/elasticsearch/

yum源安装

a、安装elasticsearch gpg key

b、设置yum源

c、安装elasticsearch

  1. a、=================安装elasticsearch key=================
  2. [root@node1 ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
  4. b、=================设置yum源=================
  5. [root@node1 ~]# cat >>/etc/yum.repos.d/elk.repo <<EOF
  6. > [elasticsearch-7.x]
  7. > name=Elasticsearch repository for 7.x packages
  8. > baseurl=https://artifacts.elastic.co/packages/7.x/yum
  9. > gpgcheck=1
  10. > gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  11. > enabled=1
  12. > autorefresh=1
  13. > type=rpm-md
  14. > EOF
  16. c、=================安装elasticsearch=================
  17. [root@node1 ~]#  yum install elasticsearch

源码安装

a、下载源码包

b、解压安装

c、启动测试

  1. 挑战自我，超越自我，you can you do!
  3. 参考官方手册
  4. https://www.elastic.co/guide/en/elasticsearch/reference/7.6/targz.html

Elasticsearch配置文件目录结构

  1. elasticsearch安装目录：/usr/share/elasticsearch/
  2. elasticsearch配置文件目录：/etc/elasticsearch/
  3. [root@node1 ~]# cd /etc/elasticsearch/
  5. [root@node1 elasticsearch]# tree
  6. .
  7. ├── elasticsearch.keystore    #key存储
  8. ├── elasticsearch.yml    #主配置文件
  9. ├── jvm.options            #JVM虚拟机参数配置文件
  10. ├── log4j2.properties    #记录日志
  11. ├── role_mapping.yml    #空文件
  12. ├── roles.yml                    #空文件，定义权限文件
  13. ├── users                            #空文件，定义用户文件
  14. └── users_roles                #空文件
  16. 四个空文件是ES权限控制文件

Elasticsearch设置[拓展]

  1. #堆内存设置
  2. jvm将内存逻辑分区，主要分为堆、栈、方法区
  3. java创建的对象放在堆内存中
  4. java创建的方法是放在栈内存执行，包括局部变量
  5. java源码编译后二进制文件执行要加载到方法区，常量池也存在方法区
  7. #详情可参考天易IT学院java课程
  8. 数据结构
  9. JVM课程
  11. Elasticsearch 默认安装后设置的堆内存是 1 GB。对于任何一个业务部署来说， 这个设置都太小了。如果你正在使用这些默认堆内存配置，您的集群可能会出现问题。
  13. #建议不要超过32G
  15. 官方解释
  16. 在 Java 中，所有的对象都分配在堆上，并通过一个指针进行引用。 普通对象指针（OOP）指向这些对象，通常为 CPU 字长 的大小：32 位或 64 位，取决于你的处理器。指针引用的就是这个 OOP 值的字节位置。
  18. 对于 32 位的系统，意味着堆内存大小最大为 4 GB。对于 64 位的系统， 可以使用更大的内存，但是 64 位的指针意味着更大的浪费，因为你的指针本身大了。更糟糕的是， 更大的指针在主内存和各级缓存（例如 LLC，L1 等）之间移动数据的时候，会占用更多的带宽。
  20. Java 使用一个叫作 内存指针压缩（compressed oops）的技术来解决这个问题。 它的指针不再表示对象在内存中的精确位置，而是表示 偏移量 。这意味着 32 位的指针可以引用 40 亿个 对象 ， 而不是 40 亿个字节。最终， 也就是说堆内存增长到 32 GB 的物理内存，也可以用 32 位的指针表示。
  22. 一旦你越过那个神奇的 ~32 GB 的边界，指针就会切回普通对象的指针。 每个对象的指针都变长了，就会使用更多的 CPU 内存带宽，也就是说你实际上失去了更多的内存。事实上，当内存到达 40–50 GB 的时候，有效内存才相当于使用内存对象指针压缩技术时候的 32 GB 内存。
  24. 这段描述的意思就是说：即便你有足够的内存，也尽量不要 超过 32 GB。因为它浪费了内存，降低了 CPU 的性能，还要让 GC 应对大内存。
  26. #GC，全称是 Garbage Collection （垃圾收集）或者 Garbage Collector(垃圾收集器)
  28. #参考文档
  29. https://www.elastic.co/guide/cn/elasticsearch/guide/current/heap-sizing.html
  31. #设置方法
  32. [root@node1 ~]#vim /etc/elasticsearch/jvm.options
  33. # Xms represents the initial size of total heap space
  34. # Xmx represents the maximum size of total heap space
  36. -Xms1g 
  37. -Xmx1g

Elasticsearch服务管理方法

a、开机启动服务

b、服务启动管理

  1. a、开机启动服务
  2. [root@node1 ~]# systemctl enable elasticsearch.service 
  3. Synchronizing state of elasticsearch.service with SysV service script with /usr/lib/systemd/systemd-sysv-install.
  4. Executing: /usr/lib/systemd/systemd-sysv-install enable elasticsearch
  5. Created symlink /etc/systemd/system/multi-user.target.wants/elasticsearch.service → /usr/lib/systemd/system/elasticsearch.service.
  7. b、服务启动管理
  8. [root@node1 ~]# systemctl start elasticsearch.service
  10. c、启动测试
  11. [root@node1 ~]# netstat -ntpl
  12. .....
  13. tcp6       0      0 127.0.0.1:9200   :::*     LISTEN      2698/java           
  14. tcp6       0      0 ::1:9200        :::*      LISTEN      2698/java           
  15. tcp6       0      0 127.0.0.1:9300  :::*      LISTEN      2698/java           
  16. tcp6       0      0 ::1:9300     :::*         LISTEN      2698/java

2.3、配置Elasticsearch监听本地外网地址

绑定ES监听地址为:192.168.98.201

  1. [root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml 
  2. # ---------------------------------- Network --------------------------
  3. #
  4. # Set the bind address to a specific IP (IPv4 or IPv6):
  5. #
  6. network.host: 192.168.98.201    #删除#号，设置本机某个公网地址或0.0.0.0
  7. #
  8. # Set a custom port for HTTP:
  9. #
  10. #http.port: 9200                            
  11. #
  12. # For more information, consult the network module documentation.
  13. #
  14. # --------------------------------- Discovery -------------------------
  15. #
  16. # Pass an initial list of hosts to perform discovery when this node is started:
  17. # The default list of hosts is ["127.0.0.1", "[::1]"]
  18. #
  19. #discovery.seed_hosts: ["host1", "host2"]
  20. #
  21. # Bootstrap the cluster using an initial set of master-eligible nodes:
  22. #如果ES设置公网地址，非localhost，那么它就会认为这是一个es集群，必须有一个master
  23. #所有开启下面这行，指定master可以是哪个node。
  24. cluster.initial_master_nodes: ["192.168.98.201"] #删除#号，写上自己本地地址
  25. #
  26. # For more information, consult the discovery and cluster formation module documentation.

重启服务生效

  1. [root@node1 ~]# systemctl restart elasticsearch.service

2.4、测试

验证端口及监听地址

通过浏览器访问ES

该分类下的相关小册推荐：

云计算那些事儿：从IaaS到PaaS进阶(五)
云计算那些事儿：从IaaS到PaaS进阶(五)
系统性能调优必知必会
系统性能调优必知必会
DevOps开发运维实战
DevOps开发运维实战
Ansible自动化运维平台
Ansible自动化运维平台
人人都会用的宝塔Linux面板
人人都会用的宝塔Linux面板
Linux云计算网站集群架构之存储篇
Linux云计算网站集群架构之存储篇
分布式系统入门到实战
分布式系统入门到实战
架构师成长之路
架构师成长之路
深入浅出分布式技术原理
深入浅出分布式技术原理
部署kubernetes集群实战
部署kubernetes集群实战
Web安全攻防实战(下)
Web安全攻防实战(下)
虚拟化之KVM实战
虚拟化之KVM实战