RDBMS 和 Hadoop的区别

RDBMS和Hadoop是两种不同类型的数据处理技术。RDBMS（关系型数据库管理系统）是基于关系模型的数据存储和处理系统，常见的RDBMS包括MySQL，Oracle，SQL Server等。Hadoop则是用于大规模数据处理的分布式系统，包含HDFS（分布式文件系统）和MapReduce（分布式计算框架）等核心组件。

下面分别对比RDBMS和Hadoop的主要区别：

数据处理方式

• RDBMS使用SQL（结构化查询语言）来处理数据。SQL是一种声明式语言，可以用来查询、修改和管理数据库中的数据。这种方式非常适合处理结构化、相对较小的数据集。

SELECT * FROM Users WHERE Age > 18;

• Hadoop则采用MapReduce的方式来处理数据。MapReduce将任务分为Map和Reduce两个阶段，Map阶段将输入数据分组，Reduce阶段进行汇总和计算。这种方式适合处理海量数据和非结构化数据。

# Map阶段，对输入文件中每一行计算一次单词数量
def map(line):
    for word in line.split(' '):
        yield (word, 1)

# Reduce阶段，对Map的输出进行汇总，并计算单词总数
def reduce(key, values):
    return (key, sum(values))

output = {}
for line in input_files:
    for k, v in map(line):
        output[k] = output.get(k, 0) + v
result = []
for k, v in output.items():
    result.append(reduce(k, v))

数据存储方式

• RDBMS使用表格来组织数据，表格中的行代表记录，列代表字段。这种方式非常适合处理有结构的数据。

+----+--------+--------+
| ID | Name   | Salary |
+----+--------+--------+
| 1  | Alice  | 5000   |
| 2  | Bob    | 6000   |
| 3  | Carol  | 7000   |
+----+--------+--------+

• Hadoop则采用HDFS来存储数据。HDFS将大文件分成多个块存储，每个块被复制到多个节点上以实现数据冗余和高可用。这种方式非常适合存储大规模、非结构化的数据。

-rw-r--r--   2 hdfs supergroup      26547 2019-07-05 03:25 /data/input/file1.txt
-rw-r--r--   3 hdfs supergroup      32995 2019-07-05 03:25 /data/input/file2.txt

扩展性和性能

• RDBMS通常不太适合水平扩展，因为表格之间的关系比较复杂，需要保证数据一致性和完整性。但是，RDBMS在高并发、低延迟和复杂查询等方面表现很好。
• Hadoop则天生就是用于水平扩展的，可以通过添加更多的节点来增加数据处理能力。Hadoop可以处理数千个节点上的数据，并且可以在短时间内处理PB级别的数据。但是，Hadoop的实时性和复杂查询能力不如RDBMS。

综上所述，RDBMS和Hadoop各自有自己的优劣势，应根据实际需求选择适合的技术。