填坑!线上Presto查询Hudi表异常排查

填坑!线上Presto查询Hudi表异常排查的完整攻略

Presto是一种分布式SQL查询引擎，可以查询多种数据源，包括Hudi表。但是，在线上查询Hudi表时，可能会遇到各种异常。本文将介绍如何排查在线上Presto查询Hudi表时遇到的异常。

1. 确认Hudi表是否存在

在查询Hudi表之前，需要确认Hudi表是否存在。可以使用Hudi提供的CLI工具来确认Hudi表是否存在。具体步骤如下：

1. 登录到Hudi所在的节点。
2. 进入Hudi表所在的目录。
3. 执行以下命令，确认Hudi表是否存在。

$ java -jar hudi-cli.jar
hudi:> show tables

如果Hudi表不存在，则需要创建Hudi表。

2. 确认Presto是否可以连接到Hudi表

在查询Hudi表之前，需要确认Presto是否可以连接到Hudi表。可以使用Presto提供的CLI工具来确认Presto是否可以连接到Hudi表。具体步骤如下：

1. 登录到Presto所在的节点。
2. 进入Presto的安装目录。
3. 执行以下命令，连接到Presto。

$ ./presto --server <presto-server>:<presto-port> --catalog <hudi-catalog> --schema <hudi-schema>

其中，

是Presto服务器的IP地址或主机名，是Presto服务器的端口号，是Hudi表所在的catalog，是Hudi表所在的schema。

如果连接成功，则可以查询Hudi表。

3. 示例1：查询Hudi表时遇到的异常

假设我们有一个Hudi表，其中包含了一些数据。我们使用Presto查询该表时，遇到了以下异常：

Query 20220101_000000_00000_00000_00000 failed: HIVE_CURSOR_ERROR: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.InvalidTableException: Table not found

这个异常表示Hive表不存在。我们需要确认Hive表是否存在，如果不存在，则需要创建Hive表。

4. 示例2：查询Hudi表时遇到的异常

假设我们有一个Hudi表，其中包含了一些数据。我们使用Presto查询该表时，遇到了以下异常：

Query 20220101_000000_00000_00000_00000 failed: HIVE_CURSOR_ERROR: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: org.apache.hadoop.hive.serde2.SerDeException: org.apache.hadoop.hive.serde2.avro.AvroSerDeException: Malformed data. Length is negative: -1

这个异常表示数据格式不正确。我们需要确认数据格式是否正确，如果不正确，则需要修复数据格式。

5. 总结

在线上Presto查询Hudi表时，可能会遇到各种异常。为了排查这些异常，需要确认Hudi表是否存在，确认Presto是否可以连接到Hudi表，以及确认数据格式是否正确。在实际使用中，可以根据异常信息来确定具体的排查步骤。