HDFS配置在CentOS中如何實現

在centos系統中設置hdfs（hadoop分布式文件系統）通常需要執行以下幾個步驟：

1. 安裝Java：Hadoop依賴于Java環境，因此確保你的centos系統已安裝Java?？梢允褂靡韵旅畎惭bOpenJDK：

    sudo yum install java-1.8.0-openjdk-devel

2. 下載并解壓Hadoop：從apache Hadoop官方網站下載最新的Hadoop版本，并將其解壓到你選擇的目錄中。

    wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz  tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

3. 設置Hadoop環境變量：編輯/etc/profile.d/hadoop.sh文件，添加Hadoop的環境變量。

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk  export HADOOP_HOME=/usr/local/hadoop-3.3.1  export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

   然后使環境變量生效：

    source /etc/profile.d/hadoop.sh

4. 配置Hadoop：編輯Hadoop配置文件，這些文件位于$HADOOP_HOME/etc/hadoop目錄下。

   • core-site.xml：配置Hadoop的核心屬性，例如文件系統的默認名稱。

       <configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property></configuration>

   • hdfs-site.xml：配置HDFS的屬性，例如副本數和數據節點的存儲路徑。

       <configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop-3.3.1/data/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop-3.3.1/data/datanode</value></property></configuration>

   • yarn-site.xml：配置YARN的屬性，例如資源管理器和節點管理器的地址。

       <configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

   • mapred-site.xml：配置MapReduce的屬性。

       <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

5. 格式化HDFS：在首次啟動HDFS之前，需要對NameNode進行格式化。

    hdfs namenode -format

6. 啟動Hadoop集群：啟動HDFS和YARN服務。

    start-dfs.sh  start-yarn.sh

7. 檢查集群狀態：使用以下命令檢查HDFS和YARN的狀態。

    jps

   你應該能看到NameNode、DataNode、SecondaryNameNode、ResourceManager和NodeManager等進程。

8. 訪問Web界面：你可以通過瀏覽器訪問HDFS和YARN的Web界面來監控集群狀態。

   • HDFS Web界面：http://:50070
   • YARN Web界面：http://:8088

通過上述步驟，你可以在CentOS系統中成功設置并啟動HDFS。