HDFS在CentOS上怎么設置

在centos系統上配置hdfs（hadoop分布式文件系統）需要經過一系列步驟，包括安裝必要軟件、設置環境變量、調整hadoop配置文件、格式化namenode以及啟動和驗證hdfs服務。以下是詳細的配置指南：

1. 系統環境準備

• 安裝Java：HDFS依賴于Java環境，確保Java已安裝。可以通過以下命令安裝OpenJDK：

  sudo yum install java-1.8.0-openjdk-devel -y
• 安裝ssh：設置SSH無密碼登錄，方便節點間無需密碼訪問。

  ssh-keygen -t rsa ssh-copy-id localhost

2. 下載并解壓Hadoop

從apache Hadoop官方網站下載適當版本的Hadoop安裝包，如Hadoop 3.3.4。

wget https://archive.apache.org/dist/hadoop/core/hadoop-3.3.4/hadoop-3.3.4.tar.gz tar -xzvf hadoop-3.3.4.tar.gz -C /opt/

3. 配置環境變量

修改 /etc/profile 文件，添加Hadoop的路徑和庫路徑。

echo "export HADOOP_HOME=/opt/hadoop-3.3.4" >> /etc/profile echo "export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin" >> /etc/profile source /etc/profile

4. 配置Hadoop配置文件

• core-site.xml：設置HDFS的默認文件系統和臨時目錄。

  <configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property></configuration>
• hdfs-site.xml：配置HDFS的數據節點目錄、副本數等。

  <configuration><property><name>dfs.namenode.name.dir</name><value>/usr/local/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/hdfs/datanode</value></property><property><name>dfs.replication</name><value>1</value></property></configuration>
• mapred-site.xml：配置mapreduce框架。

  <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>
• yarn-site.xml：配置YARN資源管理器。

  <configuration><property><name>yarn.resourcemanager.hostname</name><value>localhost</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>

5. 格式化NameNode

在NameNode節點上運行以下命令，初始化文件系統。

hdfs namenode -format

6. 啟動HDFS

啟動NameNode和DataNode服務。

/opt/hadoop-3.3.4/sbin/start-dfs.sh

7. 驗證配置

使用以下命令檢查HDFS狀態。

hdfs dfsadmin -report

訪問NameNode的Web界面：https://www.php.cn/link/b9d0cdbab65a298d077a7b9794f97cd5

8. 安全設置（可選）

• 禁用非必要的超級用戶：使用 cat /etc/passwd 命令查看口令文件，確保沒有多個 user_id 為0 的賬戶。
• 加強用戶口令：設置包含大寫字母、小寫字母、數字和特殊字符的復雜口令，長度應超過10位。
• 保護口令文件：使用 chattr +i 命令為 /etc/passwd、/etc/shadow、/etc/group 和 /etc/gshadow 文件設置不可更改屬性。
• HDFS安全模式：在HDFS中，NameNode進入安全模式（SafeMode）以保證數據的一致性和可靠性。