使用kafka-console-consumer.sh不停报WARN的问题及解决

下面是使用kafka-console-consumer.sh不停报WARN的问题及解决的完整攻略：

问题描述

在使用kafka-console-consumer.sh脚本消费kafka消息时，可能会出现不停报WARN的问题，警告信息如下：

WARN [Consumer clientId=consumer-1, groupId=my-group] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
WARN [Consumer clientId=consumer-1, groupId=my-group] Connection to node -1 could not be established. Broker may not be available.

这些警告信息可能会导致程序不稳定，消费消息出现异常。

问题原因

这个问题通常是由于以下原因造成的：

1. Kafka Broker宕机或网络不通

2. 消费者使用了错误的配置参数

解决方法

下面是两种解决方法，根据不同情况选择适合的方案：

解决方法一：确保Kafka Broker可用

如果出现“Connection to node -1 could not be established.”的警告，通常说明Kafka Broker不可用。这种情况下，我们需要检查Kafka Broker是否正在运行，以及检查Kafka Broker配置文件的配置是否正确。

可以使用以下命令检查Kafka Broker是否正在运行：

ps aux | grep kafka | grep -v grep

如果没有输出结果，则说明Kafka Broker没有运行，需要启动Kafka Broker。

如果Kafka Broker正在运行，可以使用以下命令查看Kafka Broker的状态：

kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-topic

如果输出了该topic相关的信息，则说明Kafka Broker正常工作（因为为了获取topic的partition信息，需要与Kafka Broker建立连接）。

如果Kafka Broker配置文件的配置有误，可以通过以下步骤解决：

1. 通过修改kafka配置文件中listeners设置为PLAINTEXT://localhost:9092实现切换到PLAINTEXT协议

2. 修改broker.id和advertised.listeners设置为本机网络的IP地址

解决方法二：修改配置参数

在kafka-console-consumer.sh脚本中，可以通过设置如下参数来解决此问题：

1. bootstrap.servers参数指定Kafka Broker的地址，确保Kafka Broker配置与此一致

2. group.id参数指定消费者使用的组名，确保组名不存在重复

例如，可以使用以下命令来保证group id唯一：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --group my-group-$(date +%s)

这里使用了当前时间戳作为后缀，确保了每个消费者使用唯一的group id。

示例

下面是两个示例，分别演示了上述两种解决方法：

示例一：检查kafka broker状态

首先，检查Kafka Broker状态是否正常。可以使用以下命令查看Kafka Broker的状态：

kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-topic

如果输出了该topic相关的信息，则说明Kafka Broker正常工作（因为为了获取topic的partition信息，需要与Kafka Broker建立连接）。

如果Kafka Broker不正常，需要启动Kafka Broker。

示例二：修改配置参数

在kafka-console-consumer.sh脚本中，可以使用bootstrap.servers和group.id参数来解决此问题。

例如：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --group my-group

这里设置了bootstrap.servers为localhost:9092，group.id为my-group。

如果还是出现警告信息，则可以通过增加以下配置在kafka-console-consumer.sh脚本中来解决：

--new-consumer --describe-config | grep 'websocket.enabled'

使用上述配置查询websocket.enabled是否为true，如果为false，则设置为true：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --group my-group --new-consumer --property websocket.enabled=true

这样就可以消除警告信息。