0 Comments

Hadoop流

发布于:2012-12-04  |   作者:广州网站建设  |   已聚集:人围观

   

       Hadoop流提供了一个API,允许用户使用任何脚本语言写Map函数或Reduce函数。Hadoop流的关键是,它使用UNIX标准流作为程序与Hadoop之间的接口。因此,任何程序只要可以从标准输入流中读取数据并且可以写入数据到标准输出流,那么就可以通过Hadoop流使用其他语言编写MapReduce程序的Map函数或Reduce函数。广州网站建设

        举个最简单的例子(本例的运行环境:Ubuntu,Hadoop-0.20.2):


  1. bin/hadoop jar contrib/streaming/hadoop-0.20.2-streaming.jar -input input -output output -mapper /bin/cat –reducer usr/bin/wc 

 

     从这个例子中可以看到,Hadoop流引入的包是hadoop-0.20.2-streaming.jar,并且具有如下命令:

  1. -input  指明输入文件路径  
  2. -output 指明输出文件路径  
  3. -mapper 指定map函数  
  4. -reducer    指定reduce函数 
飞机