HDFS配置CentOS需要修改哪些文件

在centos上配置hadoop分布式文件系統（hdfs）時，需要修改以下關鍵配置文件：

1. core-site.xml：

   • fs.defaultFS：指定HDFS的默認文件系統地址，例如 hdfs://localhost:9000。
   • hadoop.tmp.dir：指定Hadoop臨時文件的存儲目錄。
   • hadoop.proxyuser.root.hosts 和 hadoop.proxyuser.root.groups：配置root用戶的代理用戶。

2. hdfs-site.xml：

   • dfs.http.address：指定NameNode的HTTP地址。
   • dfs.namenode.secondary.http-address：指定Secondary NameNode的HTTP地址。
   • mapreduce.jobhistory.address 和 mapreduce.jobhistory.webapp.address：指定MapReduce作業歷史的地址和Web界面地址。

3. mapred-site.xml：

   • mapreduce.framework.name：指定MapReduce框架的名稱，通常為 yarn。

4. yarn-site.xml：

   • yarn.Resourcemanager.address：指定ResourceManager的地址。
   • yarn.resourcemanager.scheduler.address：指定ResourceManager的調度器地址。
   • yarn.resourcemanager.resource-tracker.address：指定ResourceManager的資源跟蹤器地址。
   • yarn.nodemanager.aux-services 和 yarn.nodemanager.aux-services.mapreduce_shuffle.class：指定NodeManager的輔助服務。
   • yarn.nodemanager.vmem-check-enabled 和 yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage：配置NodeManager的內存和磁盤檢查。

在修改這些配置文件后，通常需要執行以下步驟：

• 格式化NameNode：hdfs namenode -format
• 啟動HDFS服務：./sbin/start-dfs.sh
• 停止HDFS服務：./sbin/stop-dfs.sh

請注意，具體的配置步驟和文件路徑可能會根據Hadoop版本和具體需求有所不同。建議參考官方文檔或相關教程以確保配置的正確性。