为已存在的Hadoop集群配置HDFSFederation

来源：懂视网责编：小采时间：2020-11-09 16:29:45

为已存在的Hadoop集群配置HDFSFederation

为已存在的Hadoop集群配置HDFSFederation:一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101

推荐度：

点击下载本文 文档为doc格式

导读为已存在的Hadoop集群配置HDFSFederation:一、实验目的 1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。 2. 两个NameNode构成HDFS Federation。 3. 不重启现有集群，不影响数据访问。二、实验环境 4台CentOS release 6.4虚拟机，IP地址为 192.168.56.101

一、实验目的
1. 现有Hadoop集群只有一个NameNode，现在要增加一个NameNode。
2. 两个NameNode构成HDFS Federation。
3. 不重启现有集群，不影响数据访问。

二、实验环境
4台CentOS release 6.4虚拟机，IP地址为
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 kettle

其中kettle是新增的一台“干净”的机器，已经配置好免密码ssh，将作为新增的NameNode。

软件版本：
hadoop 2.7.2
hbase 1.1.4
hive 2.0.0
spark 1.5.0
zookeeper 3.4.8
kylin 1.5.1

现有配置：
master作为hadoop的NameNode、SecondaryNameNode、ResourceManager，hbase的HMaster
slave1、slave2作为hadoop的DataNode、NodeManager，hbase的HRegionServer
同时master、slave1、slave2作为三台zookeeper服务器

三、配置步骤
1. 编辑master上的hdfs-site.xml文件，修改后的文件内容如下所示。





	dfs.namenode.name.dir
	file:/home/grid/hadoop-2.7.2/hdfs/name


	dfs.datanode.data.dir
	file:/home/grid/hadoop-2.7.2/hdfs/data


	dfs.replication
	1


	dfs.webhdfs.enabled
	true




 dfs.nameservices
 ns1,ns2


 dfs.namenode.rpc-address.ns1
 master:9000


 dfs.namenode.http-address.ns1
 master:50070


 dfs.namenode.secondary.http-address.ns1
 master:9001


 dfs.namenode.rpc-address.ns2
 kettle:9000


 dfs.namenode.http-address.ns2
 kettle:50070


 dfs.namenode.secondary.http-address.ns2
 kettle:9001

2. 拷贝master上的hdfs-site.xml文件到集群上的其它节点

scp hdfs-site.xml slave1:/home/grid/hadoop-2.7.2/etc/hadoop/
scp hdfs-site.xml slave2:/home/grid/hadoop-2.7.2/etc/hadoop/

3. 将Java目录、Hadoop目录、环境变量文件从master拷贝到kettle

scp -rp /home/grid/hadoop-2.7.2 kettle:/home/grid/
scp -rp /home/grid/jdk1.7.0_75 kettle:/home/grid/
# 用root执行
scp -p /etc/profile.d/* kettle:/etc/profile.d/

4. 启动新的NameNode、SecondaryNameNode

# 在kettle上执行
source /etc/profile
ln -s hadoop-2.7.2 hadoop
$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
$HADOOP_HOME/sbin/hadoop-daemon.sh start secondarynamenode

执行后启动了NameNode、SecondaryNameNode进程，如图1所示。

图1

5. 刷新DataNode收集新添加的NameNode

# 在集群中任意一台机器上执行均可
$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes slave1:50020
$HADOOP_HOME/bin/hdfs dfsadmin -refreshNamenodes slave2:50020

至此，HDFS Federation配置完成，从web查看两个NameNode的状态分别如图2、图3所示。

图2

图3

四、测试

# 向HDFS上传一个文本文件
hadoop dfs -put /home/grid/hadoop/NOTICE.txt /
# 分别在两台NameNode节点上运行Hadoop自带的例子
# 在master上执行
hadoop jar /home/grid/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /NOTICE.txt /output
# 在kettle上执行
hadoop jar /home/grid/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /NOTICE.txt /output1

用下面的命令查看两个输出结果，分别如图4、图5所示。

hadoop dfs -cat /output/part-r-00000
hadoop dfs -cat /output1/part-r-00000

图4

图5

参考：
http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/Federation.html

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

为已存在的Hadoop集群配置HDFSFederation

推荐度：

点击下载本文 文档为doc格式

标签：存在的配置配置

热门焦点

为已存在的Hadoop集群配置HDFSFederation

为已存在的Hadoop集群配置HDFSFederation

为已存在的Hadoop集群配置HDFSFederation

最新推荐

猜你喜欢

热门推荐