本讲主要剖析Hadoop重要的配置文件。

 

王家林的“云计算分布式大数据Hadoop实战高手之路”之完整发布目录

 

云计算分布式大数据实战技术Hadoop交流群:312494188,每天都会在群中发布云计算实战性资料,欢迎大家加入!

 

在前面我们安装单机版Hadoop以及Hadoop集群的时候,我们使用的只是可以工作的最小化配置项,有很多重要的配置项都还没有提及。

首先看一下我们前面对core-site.xml这个配置文件的配置信息:

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件

“fs:default.name”这个配置项是整个Hadoop文件系统的入口,Hadoop系统所有的节点关于这个文件的配置必须是统一的,在主节点当中namenode必须配置成主机名,不能配置成localhost;

接下来看一下hdfs-site.xml这个配置文件,前面已经对该文件的配置信息是:

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件

其中的

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件

用于保存NameNode的fsimage和editlog文件,我们进入我们我们配置的目录:

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件

其中“image”这个文件用于保存fsimage文件的内容,“current”这个文件用于保存editlog的信息。NameNode的信息是非常重要,要保存在尽量安全的环境中,例如固态硬盘或者存储当中;

配置文件中的:

王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第十讲Hadoop图文训练课程:剖析Hadoop的重要配置文件

配置信息是用于Hadoop文件系统存放数据,我们在Hadoop的文件系统中放入一份数据后,Hadoop需要把数据放置到不同的块中,这个配置信息就是记录这些数据分块放置目录的信息;

 

hdfs-site.xml这个配置文件还有一个非常重要的配置项:fs.checkpoint.dir,这个配置项用于SecondaryNameNode用于存放fsimage和editlog的目录;