ELK-beats数据采集

一、beats介绍

因为logstash太费内存了,如果在要采集的服务上都安装logstash,你可以想象这样这样资源消耗多高。所以我们要用轻量级的采集工具才更高效,更省资源。

ELKfilebeat架构.png

beats是轻量级的日志收集处理工具，Beats占用资源少

Packetbeat：网络数据（收集网络流量数据）
Metricbeat：指标（收集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）
Filebeat：文件（收集日志文件数据）
Winlogbeat： windows事件日志（收集 Windows 事件日志数据）
Auditbeat：审计数据（收集审计日志）
Heartbeat：运行时间监控（收集系统运行时的数据）

我们这里主要是收集日志信息, 所以只讨论filebeat。

filebeat可以直接将采集的日志数据传输给ES集群（EFK), 也可以给logstash(5044端口接收)。

二、 filebeat

准备工作

机器：node4(192.168.98.204)

部署前准备参考https://www.zutuanxue.com/home/4/52_138

filebeat安装

a、yum安装

b、rpm安装

c、源码安装

a、yum安装

如果你安装ES的时候设置过yum源可以直接使用yum命令:

 # yum -y install filebeat

b、rpm安装

[root@node4 ~]# rpm -i filebeat-7.6.0-x86_64.rpm 
警告：filebeat-7.6.0-x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID d88e42b4: NOKEY

-i install

c、源码安装

参考官方手册

相关文件及目录

安装目录: /usr/share/filebeat

配置文件目录: /etc/filebeat

配置文件:/etc/filebeat/filebeat.yml

服务启动管理

[root@node4 ~]# systemctl enable filebeat
Synchronizing state of filebeat.service with SysV service script with /usr/lib/systemd/systemd-sysv-install.
Executing: /usr/lib/systemd/systemd-sysv-install enable filebeat
Created symlink /etc/systemd/system/multi-user.target.wants/filebeat.service → /usr/lib/systemd/system/filebeat.service.

#没有修改配置文件，起不来
[root@node4 ~]# systemctl start filebeat

三、filebeat配置文件

[root@node4 ~]# cat /etc/filebeat/filebeat.yml |grep -v '#' |grep -v '^$'
filebeat.inputs:
- type: log
  enabled: false            #默认false，修改为true
  paths:
    - /var/log/*.log        #收集日志的路径
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
#定义kibana地址
setup.kibana:
#定义ES地址接收数据
output.elasticsearch:
  hosts: ["192.168.98.201:9200"]        
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

四、收集日志给ES集群

案例：filebeat收集本机messages日志到ES，通过ES-head查看

业务拓扑

注意：每做下一个实验前，建议大家把之前的索引数据清除，通过es-head，这样没有干扰，也好验证效果。否则那么多索引信息，对前期学习的你来说，干扰太多了。

a、设置filebeat配置文件

[root@node4 ~]# cat /etc/filebeat/filebeat.yml |grep -v '#' |grep -v '^$'
filebeat.inputs:
- type: log
  enabled: true            #默认false，修改为true
  paths:
    - /var/log/messages        #收集日志的路径
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
#定义kibana地址
setup.kibana:
#定义ES地址接收数据
output.elasticsearch:
  hosts: ["192.168.98.201:9200"]        
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

b、重启filebeat服务，生效配置

[root@node4 ~]# systemctl restart filebeat

c、通过ES-head验证日志收集

31_es-filebeat验证

拓展：关于filebeat设置数据索引

[root@node4 ~]# cat /etc/filebeat/filebeat.yml |grep -v '#' |grep -v '^$'
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
#在output.*输出全局中插入这行插入，下面三行
#禁用ilm
setup.ilm.enabled: false
#设置索引模板名
setup.template.name: "node4_messages"
#索引前缀
setup.template.pattern: "node4_messages-*"
output.elasticsearch:
  hosts: ["192.168.98.201:9200"]
  #定义索引
  index: "node4_messages-%{+yyyy.MM.dd}"
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

五、收集日志给logstash

案例：收集本机messages日志到logstash，通过ES-head查看,要求索引为zutuanxue_node4_messages

业务拓扑：

elk部署图3933846.png

案例分析：

a、设置filebeat配置文件，将采集的日志发送给logstash

b、logstash收到日志添加索引后给ES

c、ES-head验证

a、设置filebeat配置文件，将采集的日志发送给logstash

[root@node4 ~]# cat /etc/filebeat/filebeat.yml |grep -v '#' |grep -v '^$'
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
#定义输出到logstash
output.logstash:
  hosts: ["192.168.98.203:5044"]
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

b、logstash收到日志添加索引后给ES

[root@node3 conf.d]# cat filebeat_to_logstash_es.conf 
input {
    beats {
        port => 5044
    }
}

output {
    elasticsearch {
        hosts => ["192.168.98.201:9200"]
        index => "zutuanxue_node4-%{+YYYY.MM.dd}"  #定义索引
    }
}

重启filebeat、logstash服务生效配置

[root@node4 ~]# systemctl restart filebeat
[root@node3 ~]# systemctl restart logstash

c、ES-head验证

32_esheadfilebeat_logstat验证.png

完美，实验完成

一、beats介绍

二、 filebeat

三、filebeat配置文件

四、收集日志给ES集群

五、收集日志给logstash

评论 (0)