python处理数据,存进hive表的方法

Python处理数据并存储到Hive表中的方法主要有以下几个步骤：

连接Hive

Hive是基于Hadoop的一个数据仓库工具，它可以将结构化数据文件映射为一张数据库表，并提供简单的sql查询功能。因此，在进行Python处理数据并存储到Hive表中之前，首先需要连接Hive。

可以使用pyhive库来连接Hive。以下是连接Hive的示例代码：

from pyhive import hive

connection = hive.connect(host='localhost',
                          port=10000,
                          username='root')

创建Hive表

在完成Hive连接之后，需要先创建Hive表。在创建Hive表时，需要在Hive中定义表结构并指定数据类型。

以下是创建Hive表的示例代码：

create_query = '''CREATE TABLE emp(
                 empno int,
                 ename varchar(255),
                 job varchar(255),
                 mgr int,
                 hiredate date,
                 sal float,
                 comm float,
                 deptno int
                 )
                 ROW FORMAT DELIMITED
                 FIELDS TERMINATED BY ','
                 STORED AS TEXTFILE
                 '''
connection.cursor().execute(create_query)

加载数据到Hive表

在Hive中创建了需要的表之后，可以使用Python从文件或其他数据源中提取数据并将其加载到Hive表中。

以下是将数据从CSV文件中加载到Hive表中的示例代码：

load_query = '''LOAD DATA INPATH '/path/to/csv/file'
                INTO TABLE emp;
                '''
connection.cursor().execute(load_query)

数据处理

完成了上述步骤之后，可以使用Python对数据进行处理。相关的数据处理库有pandas、numpy等。

以下是使用pandas对emp表中的数据进行按工作类型分组并计算平均工资的示例代码：

import pandas as pd

# 读取hive表数据到pandas dataframe中
query = '''SELECT * FROM emp'''
df = pd.read_sql(query, connection)
# 按工作类型分组并计算平均工资
result = df.groupby('job')['sal'].mean()
print(result)

将处理后的数据保存到Hive表

最后，可以将处理过的数据保存回Hive表中。以下是将pandas dataframe保存到Hive表中的示例代码：

# 将处理后的pandas dataframe保存到hive表中
result.to_sql(name='emp_sal_avg',
              con=connection,
              index=False,
              if_exists='replace')

综上所述，使用Python处理数据并存储到Hive表中的方法包括连接Hive、创建Hive表、加载数据到Hive表、数据处理和将处理后的数据保存到Hive表。