Hive函数简介

Hive是一个基于Hadoop的数据仓库软件，它提供了类似于SQL的查询语言，可以用来进行数据分析和处理。Hive还提供了丰富的内置函数，用于数据的处理、转换、聚合等操作。本文将介绍Hive内置函数的使用方法及示例。

内置函数分类

Hive内置函数可以分为以下几类：

• 算术函数：用于进行算术计算，如加减乘除等。
• 字符串函数：用于对字符串数据进行处理，如长度、大小写转换、替换、截取等。
• 聚合函数：用于对数据进行聚合操作，如求和、平均数、最大值、最小值等。
• 数组函数：用于对数组类型的数据进行处理，如获取元素、拼接、切分等。
• 时间函数：用于对时间类型的数据进行处理，如获取时间戳、转换日期格式等。

以下将分别介绍各类内置函数的使用方法及示例。

算术函数

Hive提供了常见的算术函数，如加减乘除、取余等，使用方法如下：

SELECT
  col1 + col2 AS add_result,
  col1 - col2 AS sub_result,
  col1 * col2 AS mul_result,
  col1 / col2 AS div_result,
  col1 % col2 AS mod_result
FROM
  table_name;

示例：

假设有一张学生成绩表，有三个字段：学生姓名、数学成绩、英语成绩。现在要计算每个学生的总成绩和平均成绩，可以使用算术函数：

SELECT
  name,
  math_score + eng_score AS total_score,
  (math_score + eng_score) / 2.0 AS avg_score
FROM
  score_table;

字符串函数

Hive提供了丰富的字符串函数，如字符串长度、大小写转换、截取、替换等，使用方法如下：

SELECT
  length(col) AS len_result,
  upper(col) AS upper_result,
  lower(col) AS lower_result,
  substr(col, start, length) AS substr_result,
  replace(col, old_str, new_str) AS replace_result
FROM
  table_name;

示例：

假设有一个存储电影信息的表，有三个字段：电影名称、导演、演员。现在要将演员字段中的“/”替换为“，”，可以使用字符串函数：

SELECT
  title,
  director,
  replace(actor, '/', ',') AS actor_list
FROM
  movie_table;

聚合函数

Hive提供了常见的聚合函数，如求和、平均数、最大值、最小值等，使用方法如下：

SELECT
  sum(col) AS sum_result,
  avg(col) AS avg_result,
  max(col) AS max_result,
  min(col) AS min_result
FROM
  table_name;

示例：

假设有一张销售订单表，有三个字段：订单日期、销售员、销售金额。现在要计算每个销售员的总销售额和平均销售额，可以使用聚合函数：

SELECT
  sales_person,
  sum(sales_amount) AS total_sales,
  avg(sales_amount) AS avg_sales
FROM
  sales_table
GROUP BY
  sales_person;

数组函数

Hive提供了对数组类型的数据进行处理的函数，包括获取元素、拼接、切分等操作，使用方法如下：

SELECT
  array_contains(arr, val) AS arr_contains,
  array_join(arr, delimiter) AS arr_join,
  explode(arr) AS arr_explode
FROM
  table_name;

示例：

假设有一个记录某个用户购买商品的表，其中一个字段为商品列表，是一个数组类型。现在要查询所有购买过商品A的用户，可以使用数组函数：

SELECT
  user_id
FROM
  purchase_table
WHERE
  array_contains(item_list, 'A');

时间函数

Hive提供了对时间类型的数据进行处理的函数，包括获取时间戳、转换日期格式等操作，使用方法如下：

SELECT
  unix_timestamp() AS unix_ts,
  from_unixtime(unix_ts, 'yyyy-MM-dd HH:mm:ss') AS ts_format,
  year(ts) AS year_result,
  month(ts) AS month_result,
  day(ts) AS day_result
FROM
  table_name;

示例：

假设有一个记录用户登录信息的表，其中一个字段为登录时间，是时间戳类型。现在要查询每个用户最近一次登录时间，可以使用时间函数：

SELECT
  user_id,
  from_unixtime(max(login_ts), 'yyyy-MM-dd HH:mm:ss') AS last_login_time
FROM
  login_table
GROUP BY
  user_id;

总结

本文介绍了Hive内置函数的使用方法及示例，包括算术函数、字符串函数、聚合函数、数组函数、时间函数。掌握这些函数的使用方法，可以让我们在Hive中更加高效地对数据进行处理和分析。