Java OpenTelemetry日志体系及缺陷解决方案

什么是OpenTelemetry

OpenTelemetry（简称OTel）是一个开放的，可观测性的框架，用于生成、收集，处理和打包跨系统的有关分布式实例的数据。可以帮助开发人员解决微服务监测以及调试等问题。

OpenTelemetry日志体系

OpenTelemetry通过日志（Log）的方式，允许我们将实时的应用日志数据捕获到监测系统。OpenTelemetry日志体系主要由以下组成部分：

Log Record（日志记录）

是指应用程序中发生的每个事实，例如API调用、函数入口等。日志记录包含属性和日志消息，属性是用于向日志消息添加上下文数据的键值对，日志消息可以包含纯文本或特定格式的数据（例如json）。

Logger（日志器）

通常使用日志记录创建的对象，负责记录日志级别及其它信息。 Logger主要分为四个等级：Debug，Info，Warn和Error。

Log Processor（日志处理器）

通过日志处理器，我们可以将Log记录处理和过滤后发送到后端。在OpenTelemetry中，日志处理器可使用Log Collector（日志收集器）、Log Forwarder（日志转发器）或其他自定义插件来实现。

OpenTelemetry日志的缺陷

在OpenTelemetry的日志体系中，虽然提供了完整的日志记录、日志器和日志处理器，但仅仅专注于日志记录可能会带来以下缺陷：

• 日志大小：完整的日志流可以消耗大量的网络带宽和存储空间。
• 日志等级：日志等级应该在处理器级别进行过滤，而不是在日志记录器级别进行处理。
• 日志兼容性：在OpenTelemetry体系中，很难使其他的日志框架（如logback, log4j, slf4j）与OpenTelemetry协同工作，因为它们的设计不同。

OpenTelemetry日志缺陷的解决方案

将日志分为两个部分：指标化日志和事件（Structured Logging and Events）和传统日志（Legacy Logging）。

指标化日志和事件包含了具有固定结构的日志记录数据，这种结构在OpenTelemetry中由Attributes和Event组成。Event与Log Record类似，但是只包含固定的属性，而不是任意数据。

传统日志则让用户自定义日志文本，并将其转换成指标化日志或事件。在传统日志中，日志级别用于稍后过滤日志，以保留符合条件的记录。

通过这种方法，我们可以解决上述缺陷的问题：

• 日志大小：通过对指标化日志和事件进行瓶颈监测，可以避免日志的不必要增长。
• 日志等级：传统日志仍然保持日志等级过滤功能。
• 日志兼容性：只需要对传统日志进行管理，不同的日志框架可以与OpenTelemetry协同工作。

OpenTelemetry日志缺陷解决方案示例

示例1：使用指标化日志和事件

//记录事件
Span currentSpan = tracer.spanBuilder("Event Name").startSpan();
Event event = currentSpan.addEvent("Custom Event");
event.putAttribute("Attr1", "Val1");
event.putAttribute("Attr2", 2);
event.putAttribute("Attr3", true);

//记录指标化日志
logger.log(Level.INFO, "Event happened!", Attributes.of(key("EventType").value("Custom Event")));

示例2：使用传统日志

Logger logger = LoggerFactory.getLogger(MyClass.class);

logger.info("User {}/{} logged in", userId, userName);

在上面的代码实例中，指标化日志和事件可以用于记录自定义的、结构化的信息，而传统日志仍然保留了日志等级过滤和自定义文本的功能。这种方法可以解决OpenTelemetry日志体系中的缺陷，并提供更好的灵活性和可扩展性。