sqoop 实现将postgresql表导入hive表

1. 导入postgresql表的前置条件

在使用sqoop导入postgresql表到hive表之前，需要确保以下条件已满足：

• postgresql数据表已准备好并在可访问的网络地址上开放了端口。
• hive数据仓库在当地机器上启动，并已准备好接受导入的数据。
• 在服务器上安装了Java运行时环境和Hadoop/Hive。

• 在将postgresql表导入hive表时要使用的Hive表已准备好。 如果hive table尚不存在，还需要创建它。 在执行导入操作之前，还需要确保用户具有授权来执行需要进行的任何操作。

• 导入postgresql表到hive表的步骤

下面是使用Sqoop从postgresql表导入数据到Hive表的步骤：

（1）创建Hive表

使用Hive客户端创建与postgresql表相匹配的Hive表。

create table my_hive_table(id INT, name string, age INT, PRIMARY KEY(id));

（2）检查postgres服务器连接

使用Sqoop的list-tables命令，可以检查postgres服务器是否可以正常连接。

sqoop list-tables --connect jdbc:postgresql://[server_name]:[port_number]/[database_name] --username [user_name] --password [password]

（3）执行导入

使用导入命令将postgresql表中的数据拷贝到Hive表中。Sqoop根据指定的表名和字段列表创建了一些简单的导入参数。

sqoop import --connect jdbc:postgresql://[server_name]:[port_number]/[database_name] --username [user_name] --password [password] --table [table_name] --hive-import --hive-table [hive_table_name]

以上命令将表中的所有列都导入到hive表中。如果想只导入所选列，可以使用-c选项指定列名。

一些示例：

假如postgresql表格名是“employees”，有三列，分别是id,name和age. 首先要在Hive中创建表，命名为“employee_hive”。

# 创建table "employee_hive"
create table employee_hive (id INT,name STRING,age INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

然后使用sqoop命令将postgresql表格导入hive表中：

# 将数据从"employees"表导入到"employee_hive"表中
sqoop import --table employees --hbase-table employee_hive --m 1

另外一个例子，在postgresql库中有一个students表格，要导入值有id、name、status、score四个字平面，首先需要在hive中创建一个table named “students_hive”。

create table students_hive(id INT,name STRING,status STRING,score INT) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

然后使用Sqoop命令导入

sqoop import --connect jdbc:postgresql://localhost/postgres --username postgres --password postgres --table students --hive-import --hive-table students_hive

这个命令将所有数据导入给所有字段，可以在末尾添加-c标识来指定需要提取数据的列。

以上是关于使用Sqoop从postgresql表导入Hive表的完整攻略，希望对你有所帮助。