Hadoop在Linux上的分布式計算如何實現

hadoop是一個開源的分布式計算框架，它支持用戶利用簡化的編程模型來存儲和處理分布在計算機集群中的大量數據。Hadoop的關鍵組成部分包括Hadoop分布式文件系統（hdfs）以及mapreduce計算框架。下面是在linux系統中搭建Hadoop分布式計算環境的主要步驟：

1. 準備工作

• 安裝Java環境：Hadoop依賴于Java，所以要保證每個節點都安裝了同一版本的Java。

    sudo apt-get update   sudo apt-get install openjdk-8-jdk

• 設置ssh免密登錄：這有助于簡化集群內的管理工作。

    ssh-keygen -t rsa   ssh-copy-id user@node2   ssh-copy-id user@node3

2. 獲取并解壓Hadoop

• 下載Hadoop：從apache Hadoop官方網站獲取最新版的Hadoop。

    wget https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

• 解壓縮Hadoop：

    tar -xzvf hadoop-3.3.1.tar.gz -C /usr/local/

• 設定環境變量：修改/etc/profile或者~/.bashrc文件，加入Hadoop路徑。

    export HADOOP_HOME=/usr/local/hadoop-3.3.1   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin   source /etc/profile

3. 配置Hadoop集群

• 調整core-site.xml：定義HDFS的URI。

    <configuration><property><name>fs.defaultFS</name><value>hdfs://namenode:9000</value></property></configuration>

• 修改hdfs-site.xml：設置HDFS的副本數量及其他參數。

    <configuration><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>/path/to/namenode/data</value></property><property><name>dfs.datanode.data.dir</name><value>/path/to/datanode/data</value></property></configuration>

• 更新mapred-site.xml：配置MapReduce框架。

    <configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property></configuration>

• 更改yarn-site.xml：配置YARN資源管理器。

    <configuration><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>

4. 初始化HDFS

在NameNode服務器上運行以下命令以初始化HDFS：

hdfs namenode -format

5. 開啟Hadoop集群

• 啟動NameNode和SecondaryNameNode：

    start-dfs.sh

• 激活YARN ResourceManager和NodeManager：

    start-yarn.sh

6. 檢查集群狀況

• 核查HDFS狀態：

    hdfs dfsadmin -report

• 確認YARN狀態：

    yarn node -list

7. 執行MapReduce任務

創建一個基礎的MapReduce應用程序，并將其部署到集群運行。比如，可以使用Hadoop自帶的WordCount實例：

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  public class WordCount {     public static void main(String[] args) throws Exception {         Configuration conf = new Configuration();         Job job = Job.getInstance(conf, "word count");         job.setJarByClass(WordCount.class);         job.setMapperClass(TokenizerMapper.class);         job.setCombinerClass(IntSumReducer.class);         job.setReducerClass(IntSumReducer.class);         job.setOutputKeyClass(Text.class);         job.setOutputValueClass(IntWritable.class);         FileInputFormat.addInputPath(job, new Path(args[0]));         FileOutputFormat.setOutputPath(job, new Path(args[1]));         System.exit(job.waitForCompletion(true) ? 0 : 1);     } }

構建并打包后，使用如下命令提交任務：

hadoop jar WordCount.jar WordCount input output

遵循上述流程，你便能在Linux平臺上建立起一個有效的Hadoop分布式計算集群。