MongoDB+Hadoop運行環境搭建

首先要下載mongo-hadoop adapter git clone https://github.com/mongodb/mongo-hadoop.git git checkout release-1.0 然后進入mongo-hadoop目錄,找到build.sbt將 hadoopRelease in ThisBuild 修改成如下所示: hadoopRelease in ThisBuild := “0.20” 然后運

首先要下載mongo-hadoop adapter

git clone https://github.com/mongodb/mongo-hadoop.git

git checkout release-1.0

然后進入mongo-hadoop目錄,找到build.sbt將 hadoopRelease in ThisBuild 修改成如下所示:

hadoopRelease in ThisBuild := “0.20”

然后運行 ./sbt package(關于sbt https://github.com/harrah/xsbt/wiki)

運行時需要翻墻才行。

運行結束之后會再core/target目錄下生成一個jar文件mongo-hadoop-core_0.20.205.0-1.0.1.jar,香港服務器,然后下載mongodb的驅動包。

wget –no-check-certificate https://github.com/downloads/mongodb/mongo-java-driver/mongo-2.7.3.jar 下載完之后就可以開始開發mongo-hadoop的程序了。?運行自帶示例: 首先將數據導入到mongodb中,美國服務器,命令如下。 ?./sbt load-sample-data?然后再eclipe中新建一個項目,例如treasury,香港服務器,將mongo-hadoop/example/treasury_field中的源文件和資源文件復制到新建的項目下。如圖所示:

MongoDB+Hadoop運行環境搭建

然后修改mongo-treasury_yield.xml文件中mongodb的url和存放Collection

mongo.input.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.in

mongo.output.uri
mongodb://127.0.0.1/mongo_hadoop.yield_historical.out

?

然后修改TreasuryYieldXMLConfig.java如下:

Configuration.addDefaultResource(?“resources/mongo-treasury_yield.xml”);
Configuration.addDefaultResource(?“resources/mongo-defaults.xml”?);

?

后將項目打包成jar文件。

運行 hadoop jar treasury.jar com.mongodb.hadoop.treasury.TreasuryXMLConfig 即可運行hadoop程序。運行結果如下圖:mongodb中的數據。

MongoDB+Hadoop運行環境搭建

? 版權聲明
THE END
喜歡就支持一下吧
點贊10 分享