.jpg)
在centos系統(tǒng)中實(shí)現(xiàn)hdfs（hadoop分布式文件系統(tǒng)）的高可用性設(shè)置，需保證主NameNode發(fā)生故障時(shí)，備用NameNode能無縫切換。以下是具體操作流程：
1. 前期準(zhǔn)備
- Hadoop安裝完成：確認(rèn)已在CentOS上安裝好Hadoop，并且各節(jié)點(diǎn)已正確配置完畢。
- ssh免密登錄配置：為便于管理，需在所有節(jié)點(diǎn)間配置SSH免密碼登錄功能。
2. core-site.xml 文件調(diào)整
打開$HADOOP_HOME/etc/hadoop/core-site.xml文件，加入如下內(nèi)容：
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>ha.zookeeper.quorum</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> <property> <name>ha.zookeeper.property.dataDir</name> <value>/var/lib/zookeeper</value> </property> </configuration>
3. hdfs-site.xml 文件配置
編輯$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，插入以下參數(shù)：
<configuration> <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>namenode1:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>namenode2:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>namenode1:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>namenode2:50070</value> </property> <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/home/hadoop/.ssh/id_rsa</value> </property> <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/mycluster</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/var/hadoop/hdfs/journal</value> </property> </configuration>
4. yarn-site.xml 文件設(shè)置
修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件，添加以下內(nèi)容：
<configuration> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>yarn-cluster</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>resourcemanager1</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>resourcemanager2</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>zk1:2181,zk2:2181,zk3:2181</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>resourcemanager1:8030</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm1</name> <value>resourcemanager1:8030</value> </property> <property> <name>yarn.resourcemanager.scheduler.address.rm2</name> <value>resourcemanager2:8030</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm1</name> <value>resourcemanager1:8088</value> </property> <property> <name>yarn.resourcemanager.webapp.address.rm2</name> <value>resourcemanager2:8088</value> </property> </configuration>
5. Zookeeper服務(wù)啟動(dòng)
保證Zookeeper集群處于運(yùn)行狀態(tài)。可使用以下命令啟動(dòng)Zookeeper服務(wù)：
$HADOOP_HOME/sbin/start-zookeeper.sh
6. NameNode格式化
在主NameNode節(jié)點(diǎn)上執(zhí)行命令格式化NameNode：
$HADOOP_HOME/bin/hdfs namenode -format
7. JournalNode啟動(dòng)
在所有JournalNode節(jié)點(diǎn)上啟動(dòng)JournalNode服務(wù)：
$HADOOP_HOME/sbin/start-journalnode.sh
8. 元數(shù)據(jù)同步
在主NameNode節(jié)點(diǎn)上執(zhí)行命令同步元數(shù)據(jù)至JournalNode：
$HADOOP_HOME/bin/hdfs namenode -bootstrapStandby
9. NameNode啟動(dòng)
在主NameNode節(jié)點(diǎn)上啟動(dòng)NameNode服務(wù)：
$HADOOP_HOME/sbin/start-dfs.sh
在備用NameNode節(jié)點(diǎn)上初始化共享編輯日志并啟動(dòng)NameNode服務(wù)：
$HADOOP_HOME/sbin/hdfs namenode -initializeSharedEdits $HADOOP_HOME/sbin/start-dfs.sh
10. ResourceManager啟動(dòng)
在ResourceManager節(jié)點(diǎn)上啟動(dòng)ResourceManager服務(wù)：
$HADOOP_HOME/sbin/start-yarn.sh
在備用ResourceManager節(jié)點(diǎn)上啟動(dòng)ResourceManager服務(wù)：
$HADOOP_HOME/sbin/yarn-daemon.sh start resourcemanager
11. 系統(tǒng)驗(yàn)證
通過訪問ResourceManager Web界面（如http://resourcemanager1:8088）和NameNode Web界面（如http://namenode1:50070）檢查配置有效性。
按照上述步驟，您應(yīng)該能夠在CentOS上成功配置HDFS的高可用性。
? 版權(quán)聲明
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載。
THE END
.png)
