SpringBoot整合Graylog做日志收集实现过程

Graylog是一款开源的日志收集、管理和分析平台。它能够集中管理来自不同来源的日志，支持灵活的日志搜索和高效的日志分析、可视化等功能。下面是SpringBoot整合Graylog做日志收集的实现过程：

步骤一：在Graylog中创建GELF输入

首先，我们需要在Graylog中创建一个GELF输入，作为SpringBoot应用程序发送日志的目标。GELF（Graylog Extended Log Format）是Graylog自己的日志格式，通过UDP或TCP协议发送数据，它具有更加高效和灵活的性能。在Graylog控制台中，转到System -> Inputs，然后按下Launch new input按钮。选择GELF UDP或GELF TCP作为输入类型，根据你需要使用哪种协议选择即可。在输入详情页中，确保你已经将该输入的端口号记住，我们稍后会在SpringBoot项目中使用。

步骤二：添加依赖和配置

在SpringBoot项目中，我们需要添加graylog2/gelfj库作为依赖，并且在application.properties中配置Graylog客户端相关信息。在pom.xml文件中添加以下依赖：

<dependency>
   <groupId>org.graylog2</groupId>
   <artifactId>gelfj</artifactId>
   <version>1.3.0-RC2</version>
</dependency>

然后在application.properties文件中添加如下配置：

logging.config=classpath:logback-spring.xml

# Graylog
graylog.host=127.0.0.1
graylog.port=12201
graylog.protocol=UDP
graylog.client.enabled=true
graylog.client.batchSize=512
graylog.client.maxRetries=5
graylog.client.sendBufferSize=32768
graylog.client.queueSize=512

这里的logging.config配置是告诉SpringBoot使用一个特定的Logback配置文件来进行日志输出配置。在该配置文件中，我们会指定让Logback使用GELFAppender将日志发送到Graylog中。

步骤三：Logback配置

接下来，我们需要在Logback配置文件中添加GELFAppender。在logback-spring.xml文件中添加以下内容：

<configuration>

   <!-- 同样可添加日志文件输出，详见logback配置 -->
   <!-- 简化起见这里只添加gelf appender -->

   <appender name="graylog" class="org.graylog2.log.GelfJAppender">
      <graylogHost>${graylog.host}</graylogHost>
      <graylogPort>${graylog.port}</graylogPort>
      <protocol>${graylog.protocol}</protocol>
      <originHost>${spring.application.name}</originHost>
      <facility>${spring.application.name}</facility>
      <extractStackTrace>true</extractStackTrace>
      <maximumMessageSize>8192</maximumMessageSize>
      <includeFullMDC>true</includeFullMDC>
      <includeLocation>true</includeLocation>
      <additionalFields>
         <version>${spring-boot.version}</version>
      </additionalFields>
      <encoder class="com.slc.appender.CustomGelfMessageEncoder"/>
   </appender>

   <root level="INFO">
      <appender-ref ref="graylog"/>
   </root>

</configuration>

注意，这里我们指定Graylog服务器的IP地址和端口号、使用的协议、应用程序名称等配置项。CustomGelfMessageEncoder是一个自定义的GELF编码器，用于将Logback的LoggingEvent转换为GELF消息。这里可以根据需要自定义，如果没有特殊需求，也可以使用Logback默认的编码器。

步骤四：验证

现在，我们已经完成了SpringBoot和Graylog之间的集成。当应用程序发送日志时，它们将被Logback捕获并发送到Graylog。

有两种方法来验证日志是否已成功发送到Graylog中：

通过Graylog控制台

转到Graylog控制台中，将GELF输入详情页拉到最新日志记录，并刷新页面。您应该看到您的应用程序的日志记录。

通过SpringBoot应用程序

在SpringBoot应用程序中将以下代码添加到一个控制器中，然后通过HTTP GET请求访问该控制器即可。

@RestController
public class DemoController {

   private static final Logger LOG = LoggerFactory.getLogger(DemoController.class);

   @GetMapping("/log")
   public String log() {
      LOG.debug("This is a debug message");
      LOG.info("This is an info message");
      LOG.warn("This is a warn message");
      LOG.error("This is an error message");
      return "OK";
   }

}

说明：这里我们定义一个名为log的GET请求，访问该请求时，会向日志中添加不同的日志级别信息。我们可以查看日志输出，也可以在Graylog控制台中查看由该请求生成的日志。

示例一

代码示例

<configuration>

   <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
      <encoder>
         <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
      </encoder>
   </appender>

   <appender name="graylog" class="org.graylog2.log.GelfJAppender">
      <graylogHost>${graylog.host}</graylogHost>
      <graylogPort>${graylog.port}</graylogPort>
      <protocol>${graylog.protocol}</protocol>
      <originHost>${spring.application.name}</originHost>
      <facility>${spring.application.name}</facility>
      <extractStackTrace>true</extractStackTrace>
      <maximumMessageSize>8192</maximumMessageSize>
      <includeFullMDC>true</includeFullMDC>
      <includeLocation>true</includeLocation>
      <additionalFields>
         <version>${spring-boot.version}</version>
      </additionalFields>
      <encoder class="com.slc.appender.CustomGelfMessageEncoder"/>
   </appender>

   <root level="INFO">
      <appender-ref ref="graylog"/>
      <appender-ref ref="CONSOLE"/>
   </root>

</configuration>

@RestController
public class LogController {

   private static final Logger LOG = LoggerFactory.getLogger(LogController.class);

   @GetMapping("/log")
   public String log() {
      LOG.debug("This is a debug message");
      LOG.info("This is an info message");
      LOG.warn("This is a warn message");
      LOG.error("This is an error message");
      return "OK";
   }

}

说明

这个示例中，我们定义了两个Logback Appender，一个是输出到控制台的CONSOLE，另一个是输出到Graylog的graylog。在控制器中，我们添加了一个名为log的GET请求，并分别向Logback和Graylog中添加了不同的日志级别日志信息。通过SpringBoot内置的Tomcat容器启动应用程序，访问：http://localhost:8080/log。此时，我们可以在控制台和Graylog中都能看到相应的日志信息。

示例二

代码示例

<configuration>

   <appender name="graylog" class="org.graylog2.log.GelfJAppender">
      <graylogHost>${graylog.host}</graylogHost>
      <graylogPort>${graylog.port}</graylogPort>
      <protocol>${graylog.protocol}</protocol>
      <enabled>#{'${graylog.client.enabled}'.equals('true')}</enabled>
      <originHost>${spring.application.name}</originHost>
      <facility>${spring.application.name}</facility>
      <extractStackTrace>true</extractStackTrace>
      <maximumMessageSize>8192</maximumMessageSize>
      <includeFullMDC>true</includeFullMDC>
      <includeLocation>true</includeLocation>
      <additionalFields>
         <version>${spring-boot.version}</version>
      </additionalFields>
      <encoder class="com.slc.appender.CustomGelfMessageEncoder"/>
   </appender>

   <root level="INFO">
      <appender-ref ref="graylog"/>
   </root>

</configuration>

@RestController
public class LogController {

   private static final Logger LOG = LoggerFactory.getLogger(LogController.class);

   @GetMapping("/log")
   public String log() {
      try {
         int i = 1 / 0; // 故意抛出异常
      } catch (Exception e) {
         LOG.error("Error occurs: ", e);
      }
      return "OK";
   }

}

说明

这个示例使用了Spring AOP框架来在系统发生异常时将异常信息输出到Graylog中。在Logback配置文件中，我们只定义了一个graylog Appender用于在Graylog中输出日志信息。在控制器中，我们故意抛出了一个运行时异常，并且将异常信息通过Logback记录到Graylog中。此时，我们可以在Graylog控制台中看到相应的异常信息。

总结

以上步骤是使用Graylog进行日志收集的完整实现过程，并且提供了两个示例来说明其使用方法。注意，在SpringBoot应用程序和Graylog之间集成时，应该合理使用gzip压缩、批量发送等功能，以提高性能。