ELK集群部署接入教程

引言

一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。

一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。

一个完整的集中式日志系统，需要包含以下几个主要特点：

• 收集－能够采集多种来源的日志数据
• 传输－能够稳定的把日志数据传输到中央系统
• 存储－如何存储日志数据
• 分析－可以支持 UI 分析
• 警告－能够提供错误报告，监控机制

ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。目前主流的一种日志系统。

简述

Elasticsearch: 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。

Logstash: 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。

Kibana: 一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

部署

1. 创建安装目录

/elk_cluster/node/es1/data/
/elk_cluster/node/es2/data/
/elk_cluster/logstash/
/elk_cluster/plugins/

2. 在logstash目录下创建logstash.conf

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://{服务器ip}:9200","http://{服务器ip}:9201" ]

3.在logstash目录下创建logstash-springboot.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => [ "http://{服务器ip}:9200","http://{服务器ip}:9201" ]
    index => "springboot-logstash-%{+YYYY.MM.dd}"
  }
}

4.在es1目录,es2目录下创建elasticsearch.yml

# es1
cluster.name: elasticsearch-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: _eth0_
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
discovery.seed_hosts: ["ES01:9300","ES02:9301"]
cluster.initial_master_nodes: ["es-node1","es-node2"]
discovery.zen.minimum_master_nodes: 1

#es2
cluster.name: elasticsearch-cluster
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: _eth0_
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
discovery.seed_hosts: ["ES01:9300","ES02:9301"]
cluster.initial_master_nodes: ["es-node1","es-node2"]
discovery.zen.minimum_master_nodes: 1

5.配置docker-compose.yml文件

在/elk_cluster/下创建docker-compose.yml文件,内容如下

# 镜像自行调整,此为arm架构服务器使用模板
version: '3.7'
services:
  es1:
    image: elasticsearch:7.17.4
    container_name: ES01
    environment:
      ES_JAVA_OPTS: -Xms512m -Xmx512m
    ports:
      - "9200:9200"
      - "9300:9300"
    volumes:
      - "./node/es1/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml"
      - "./node/es1/data:/usr/share/elasticsearch/data"
    networks:
      - es-net
  es2:
    image: elasticsearch:7.17.4
    container_name: ES02
    environment:
      ES_JAVA_OPTS: -Xms512m -Xmx512m
    ports:
      - "9201:9200"
      - "9301:9300"
    volumes:
      - "./node/es2/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml"
      - "./node/es2/data:/usr/share/elasticsearch/data"
    networks:
      - es-net
  es-head:
    image: aichenk/elasticsearch-head:5-alpine
    ports:
      - "9100:9100"
  kibana:
    image: kibana:7.17.4
    container_name: kibana
    volumes:
      - "./kibana.yml:/opt/kibana/config/kibana.yml" #挂载logstash的配置文件
    environment:
      - SERVER_NAME=kibana
      - XPACK_MONITORING_ENABLED=true
    ports:
      - 5601:5601
    networks:
      - es-net
    depends_on:
      - es1
    external_links:
      - es1

  logstash:
    image: logstash:7.17.4
    container_name: logstash
    restart: always
    volumes:
      - "./logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf" #挂载logstash的配置文件
      - "./logstash/logstash.yml:/usr/share/logstash/config/logstash.yml" #挂载logstash的配置文件
    ports:
      - "4560:4560"
    depends_on:
      - es1
      
networks:
  es-net:
    driver: bridge

6.配置kibana汉化

在docker-compose.yml文件同级目录创建kibana.yml文件

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.publicBaseUrl: "http://{服务器ip}:5601"  # 这里地址改为你访问kibana的地址，不能以 / 结尾
server.name: kibana
server.host: "0.0.0.0"
server.shutdownTimeout: "5s"
elasticsearch.hosts: [ "http://{服务器ip}:9200","http://{服务器ip}:9201" ]
monitoring.ui.container.elasticsearch.enabled: true
# 汉化
i18n.locale: zh-CN

7.启动docker-compose

进入docker-compose.yml同级目录,执行docker-compose up -d,启动服务

Springboot项目集成

1.添加Logstash依赖

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

2.配置logback-spring.xml

<!-- 指定后面用到的APP_NAME取值 --> 
<springProperty name="APP_NAME" scope="context" source="spring.application.name" defaultValue="wechat-person"/> 
<!-- 添加以下内容,将日志输出到Logstash日志收集端口 -->  
    <appender name="STASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>{服务器ip}:4560</destination>
        <!-- 日志输出编码 -->
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                        "app": "${APP_NAME}",
                        "level": "%level",
                        "pid": "${PID:-}",
                        "thread": "%thread",
                        "class": "%logger{40}",
                        "message": "%message",
                        "stack_trace": "%exception{10}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>

3.在kibana中配置索引模式

然后进入Discover,即可看到日志数据