nginx日志导入elasticsearch的方法示例

以下是详细的攻略：

1. 确认环境和安装 Elasticsearch 和 Logstash

在开始前，需要确认服务器已经安装好 Elasticsearch 和 Logstash。如果还没有安装，需要先进行安装，可以参考 Elasticsearch 和 Logstash 官方文档进行安装。

2. 配置 Logstash 处理 nginx 日志

2.1 创建 Logstash 配置文件

使用编辑器创建一个名为 nginx_logstash.conf 的文件，放置到 Logstash 的配置文件目录中，一般在 /etc/logstash/conf.d/。

2.2 配置 input

编辑 nginx_logstash.conf，第一行配置 input，指定输入来源，这里我们使用 nginx 的 access.log。配置如下所示：

input {
    file {
        path => "/var/log/nginx/access.log"
        sincedb_path => "/dev/null"
        start_position => "beginning"
        type => "nginx"
    }
}

2.3 配置 filter

filter 负责处理数据的格式，这里使用 grok 转换，将 nginx 的日志格式转化为 Logstash 的格式。配置如下：

filter {
    if [type] == "nginx" {
        grok {
            match => { "message" => "%{COMBINEDAPACHELOG}" }
        }
        date {
            match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
        }
    }
}

2.4 配置 output

output 负责将格式化后的数据输出到 Elasticsearch 中。配置如下所示：

output {
    if [type] == "nginx" {
        elasticsearch {
            hosts => ["localhost:9200"]
            index => "nginx-%{+YYYY.MM.dd}"
        }
    }
}

配置完成后，保存文件并重启 Logstash。

3. 搜索和分析 nginx 日志

完成日志导入之后，就可以使用 Kibana 进行搜索和分析。Kibana 是一个可视化的 Web 界面，用于管理 Elasticsearch 数据。

3.1 进入 Kibana 界面

打开浏览器，进入 Elasticsearch 的默认 Kibana 界面。一般情况下地址为 http://localhost:5601。

3.2 创建索引模式

在左侧导航栏中，点击 Management，进入索引管理界面。

在索引管理界面中，点击 Create index pattern，输入 nginx-*，然后点击 Next。

在下一步中，选择 @timestamp 字段作为时间字段，然后点击 Create index pattern 完成索引模式的创建。

3.3 搜索和分析

创建索引模式之后，就可以开始搜索和分析日志了。在左侧导航栏中，点击 Discover，进入搜索和分析界面。

可以使用搜索框中的查询语句来搜索和过滤日志，也可以在右侧选择时间范围和字段进行分析。此外，还可以使用图表和可视化工具来展示数据，更加直观地分析日志信息。

示例说明：

下面给出两个示例，展示 Logstash 和 Kibana 的使用方法。

示例1：搜索访问次数最多的 url

在搜索框中输入以下查询语句：

type:nginx | top 20 url.keyword

这个语句的作用是搜索所有 type 为 nginx 的日志，并计算出出现次数最多的前 20 个 url。

查询完成后，Kibana 会生成一个表格，显示出出现次数最多的前 20 个 url，以及它们的出现次数。可以点击表格中的某个 url，以获取更加详细的信息。

示例2：监控请求响应时间

在搜索框中输入以下查询语句：

type:nginx | stats avg(request_time) as avg_request_time

这个语句的作用是搜索所有 type 为 nginx 的日志，并计算出平均请求响应时间。

查询完成后，Kibana 会生成一个面板，显示出平均请求响应时间。

这样，就可以轻松地监控网站的请求响应时间，及时发现并处理性能问题。