如何在python中写hive脚本

当在 Python 中进行大数据处理时，经常需要和Hive交互，执行查询和操作。以下是在 Python 中写 Hive 脚本的步骤和示例：

1. 安装PyHive库

PyHive是Apache Hive的Python库，提供了Python连接到Hive的驱动, 安装PyHive之前需要先安装好Thrift

运行以下命令在终端中安装PyHive：

pip install pyhive

或

pip3 install pyhive

2. 连接到Hive

在编写 Python Hive 脚本之前，需要先连接到 Hive 服务器。连接代码示例：

from pyhive import hive

# 连接 Hive
conn = hive.Connection(host='localhost', port=10000, database='hive_db', auth='NOSASL')

# 查询数据
cursor = conn.cursor()
cursor.execute('SELECT * FROM table_name LIMIT 10')
result = cursor.fetchall()
print(result)

# 关闭连接
conn.close()

以上代码中，我们使用 PyHive 中的 hive.Connection 类来连接 Hive 服务器，然后创建一个游标 cursor，使用 cursor.execute 执行 SQL 查询语句，并使用 cursor.fetchall() 从游标中获取查询结果。

当连接成功之后，我们可以开始编写 Python 中的 Hive SQL。

3. 编写Hive SQL查询语句

在 Python 中，你可以直接在代码中编写 Hive SQL 语句，示例如下：

from pyhive import hive

# 连接 Hive
conn = hive.Connection(host='localhost', port=10000, database='hive_db', auth='NOSASL')

# 查询数据
cursor = conn.cursor()
query = '''
SELECT column1, column2, column3 
FROM table_name 
WHERE column4 > 10
ORDER BY column3 DESC 
LIMIT 100
'''
cursor.execute(query)
result = cursor.fetchall()
print(result)

# 关闭连接
conn.close()

以上代码中，我们使用了 SELECT 语句查询了 table_name 表中的数据，并使用了 WHERE 和 ORDER BY 子句进行过滤和排序，最后使用 LIMIT 限制了结果集数量。

除了查询数据，你还可以在 Python 中执行其他 Hive 操作，例如创建表和插入数据等。

4. 示例代码

以下是一个使用 Python 和 Hive 完成数据筛选和计算的示例代码：

from pyhive import hive

# 连接 Hive
conn = hive.Connection(host='localhost', port=10000, database='hive_db', auth='NOSASL')

# 筛选数据
cursor = conn.cursor()
query = '''
SELECT * 
FROM user_info 
WHERE gender = 'male' AND age < 30
'''
cursor.execute(query)
result = cursor.fetchall()

# 计算平均值
count = 0
total_score = 0
for row in result:
    count += 1
    total_score += row[2]
avg_score = total_score / count

# 输出结果
print('符合条件的用户数量：', count)
print('平均分数：', avg_score)

# 关闭连接
conn.close()

以上代码中，我们首先连接到了 Hive 服务器，并使用 SELECT 语句筛选了 user_info 表中符合条件的用户数据。然后，我们计算了这些用户的平均分数，并使用 print 函数输出结果。

除了以上示例，你还可以将Python和Hive结合，实现更多数据操作。