Logstash安装配置

Logstash是一个流数据处理工具，可以用于从各种不同来源，如日志文件、消息队列、数据库等，收集、处理和转发数据。本文将介绍如何在Linux系统上安装并配置Logstash，以便于开始处理数据。

安装Java

Logstash是一个基于Java的应用程序，因此首先需要在系统上安装Java运行环境。可以使用以下命令在Ubuntu系统上安装OpenJDK：

sudo apt update
sudo apt install -y openjdk-8-jdk

下载并安装Logstash

可以从Logstash官方网站上下载最新版本的Logstash和PGP签名文件：

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
sudo apt-get install apt-transport-https
echo "deb https://artifacts.elastic.co/packages/oss-7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install logstash

以上命令将下载并安装ENA版的Logstash，ENA版是开源的免费版本，支持大多数的插件和过滤器。

配置Logstash

Logstash的配置文件位于/etc/logstash/conf.d目录下，可以使用任何文本编辑器编辑该目录中的*.conf文件来配置Logstash的输入源、过滤器和输出源。

以下是一个简单的Logstash配置文件示例，指定了一个UDP输入、一个grok过滤器和一个elasticsearch输出：

input {
  udp {
    port => 5000
    codec => "json"
  }
}
filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
}
output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "logstash-%{+YYYY.MM.dd}"
  }
}

以上配置中，input指定了UDP端口5000作为输入源，filter使用grok插件来匹配apache日志格式，output将处理后的数据发送到Elasticsearch实例的索引中。

运行Logstash

完成配置后，可以使用以下命令启动Logstash：

sudo systemctl start logstash

此外，还可以使用以下命令停止或重启Logstash：

sudo systemctl stop logstash
sudo systemctl restart logstash

总结

Logstash是一个非常强大的数据处理工具，可以用于从各种不同来源收集、处理和转发数据。在Linux系统上安装和配置Logstash非常简单，只需遵循上述步骤即可开始使用。