ELK介绍及安装准备

ELK介绍及安装准备

evobot 1,136 2019-06-12
  1. ELK介绍
  2. ELK安装准备工作

ELK介绍

需求背景

  • 业务发展越来越庞大,服务器越来越多;
  • 各种访问日志、应用日志、错误日志量越来越多;
  • 开发人员排查问题,需要到服务器上查日志,不方便;
  • 运营人员需要一些数据,需要运维到服务器上分析日志。

ELK相关介绍

  • ELK中文官网对ELK相关产品有相应的介绍,ELK在5.0版本前叫ELK Stack,5.0版本之后为Elastic Stack,包含了ELK Stack和Beats两个套件;
  • 关于ELK,可以参考gitbook上的ELKstack中文指南
  • ELK stack套件包含:ElasticSearch、Logstash、Kibana三个软件;
  • 其中ElasticSearch是一个搜索引擎,用来搜索、分析、存储日志,为分布式架构,可以横向扩容,可以自动发现、索引自动分片、功能很强大;相关文档,可以参考Elasticsearch:权威指南
  • Logstash用来采集日志,把日志解析为json格式交给ElasticSearch;
  • Kibana则是一个数据可视化组件,把处理后的结果通过web界面进行展示;
  • Beats则是一个轻量级日志采集器,实际上Beats家族有5个成员;
  • 早期的ELK架构中使用Logstash收集、解析日志,但Logstash对内存、cpu、io等资源消耗较高,相比Logstash,Beats所占系统的CPU和内存几乎可以忽略不计,Logstash可以定义输出日志的格式,例如nginx访问日志的格式可以划分为多个字段,如访问时间、主机名、访问的URL等,但Beats是无法做到该功能的;
  • x-pack对Elastic Stack提供了安全、警报、监控、报表、图表于一身的扩展包,x-pack是收费的;
  • ELK的具体架构图如下:

ELK架构图

ELK安装准备工作

机器划分

  • 首先准备三台机器,IP分别为128、130、131;
  • 三台机器上都需要安装elasticsearch(后续称为es),1台主节点128,2台数据节点129、130;
  • es主128上安装kibana;
  • 1台es数据节点129上安装logstash;
  • 三台机器全部安装jdk8(openjdk即可);

安装准备

  • 在三台机器的hosts文件中定义IP地址对应的hostname:

    192.168.139.128 centos_1
    192.168.139.129 centos_2
    192.168.139.130 centos_3
    
    
  • 然后在三台机器上安装jdk1.8:

    yum install -y java-1.8.0-openjdk
    


# ElasticSearch