数据库之Hive概论和架构和基本操作

Hive概述

Hive是基于Hadoop的数据仓库工具，用来做数据查询和计算。它可以将SQL语句转换成MapReduce或Tez任务进行运行，实现批量数据的计算和查询。

Hive支持几乎所有的SQL查询语句（虽然可能与您使用的SQL不尽相同），并支持动态分区，用于同时管理多个数据来源的复杂数据集。

Hive主要由元数据存储和查询处理两个组件构成。

元数据存储：包含表的集合、表的schema定义、表的分区、表的位置等；元数据可以被存储在不同的位置，如内存、RDBMS、ODBC等。

查询处理：Hive支持HQL，HiveQL和SQL，其中HiveQL是类似于标准SQL的语言，大多数SQL查询都可以在HQL中进行。

Hive架构

Hive架构主要包含以下组件：

1. 负责元数据管理的Hive Metastore：存储表的元数据，如表名，列名、类型、位置，分区信息等，在表查询时用于确定数据的位置和访问权限。

2. HiveQL解析器和分析器（Parse and Analyze）：对HiveQL查询进行解析和转化，生成查询计划。

3. 查询计划生成器（Plan Generation）：生成查询计划，并转化为可执行的MapReduce或Tez作业（Job）。

4. 执行引擎（Execution Engine）：执行MapReduce或Tez作业，并将结果返回给用户。

Hive基本操作

1. 创建数据库

Hive使用类似于SQL的语法，可以通过以下命令在Hive上创建数据库：

CREATE DATABASE mydatabase;

2. 创建表

可以使用以下命令在Hive上创建表：

CREATE TABLE mytable (
    id INT,
    name STRING,
    age INT
)

创建完表后，我们需要将数据加载进入表中。可以使用LOAD语句从HDFS加载数据到Hive表中：

LOAD DATA INPATH '/input/data.txt' INTO TABLE mytable;

3. 查询数据

Hive支持标准SQL的语法，可以使用SELECT语句查询数据。例如：

SELECT * FROM mytable WHERE age > 10;

4. 创建分区表

Hive支持动态分区，可以使用以下语句创建分区表：

CREATE TABLE mytable (
    id INT,
    name STRING,
    age INT
)
PARTITIONED BY (country STRING, state STRING, city STRING);

5. 加载数据到分区表

使用以下命令将数据加载到分区表中：

INSERT OVERWRITE TABLE mytable PARTITION (country='china', state='beijing', city='chaoyang')
SELECT id, name, age FROM mytable WHERE country='china' AND state='beijing' AND city='haidian';

以上是Hive的基本操作，通过这些操作可以实现Hive的常规数据操作功能，如表的创建、数据的导入与查询,以及动态分区等的设置。