为了满意用R语言处理惩罚pb量级数据的需求,我们需要把它和Hadoop连系起来利用。本文的目标就是叙述实现二者连系功课的差异技能。
要领一:操作Streaming APIsHadoop支持一些 Streaming API来将R语言中的函数传入,并在MapReduce模式下运行这些函数。这些Streaming API可以将任意能在map-reduce模式下会见和操纵尺度I/O接口的R剧本传入Hadoop中。因此,你不需要特别开启一些客户端之类的对象。如下是一个例子:
$ ${HADOOP_HOME}/bin/Hadoop jar${HADOOP_HOME}/contrib/streaming/*.jar \-inputformatorg.apache.hadoop.mapred.TextInputFormat \-input input_data.txt \-output output \-mapper /home/tst/src/map.R \-reducer /home/tst/src/reduce.R \-file /home/tst/src/map.R \-file /home/tst/src/reduce.R要领二:利用Rhipe包Rhipe包答允用户在R中利用MapReduce。在利用这一要领前,要做相应的前期筹备事情。R需要被安装在Hadoop集群中的每一个数据节点上,另外每个节点还要安装Protocol Buffers(更多资料请参考 http://wiki.apache.org/hadoop/ProtocolBuffers),Rhipe也需要在每个节点上都可以被利用。
下面是在R中操作Rhipe应用MapReduce框架的典型:
library(Rhipe)rhinit(TRUE, TRUE);map<-expression ( {lapply (map.values, function(mapper)…)})reduce<-expression(pre = {…},reduce = {…},post = {…},)x <- rhmr(map=map, reduce=reduce, ifolder=inputPath, ofolder=outputPath, inout=c(‘text’, ‘text’), jobname=’test name’))rhex(x)要领三:利用RHadoopRHadoop是Recolution Analytics下的一个开源库,与Rhipe雷同,它的成果也是在MapReduce模式下执行R函数。后续罗列的都是该库中的一些包。plyrmr包可以在Hadoop中对大数据集举办一些常用的数据整理操纵。rmr包提供了一些让R和Hadoop连系功课的函数。rdfs包提供了一些函数来毗连R和漫衍式文件系统(HDFS)。rHBase包中的函数则能毗连R和HBase。
下面这个例子中,我们会演示如何利用rmr包中的一些函数来让R与Hadoop连系功课。
library(rmr)maplogic<-function(k,v) { …}reducelogic<-function(k,vv) { …}mapreduce( input =”data.txt”,output=”output”,textinputformat =rawtextinputformat,map = maplogic,reduce=reducelogic)要领总结总的说来,上述三种要领都能很容易地实现R与Hadoop的连系功课,这样一来R就拥有了在漫衍式文件系统(HDFS)上处理惩罚大数据的本领。但同时,这三种要领也各有利弊。
要害结论:1、利用Streaming APIs更为简朴,它的安装和配置都很利便。Rhipe和RHadoop都需要对R举办一些配置,而且也需要Hadoop集群上一些包的支持。但在执行函数方面,Streaming APIs 需要将函数依次map和reduce,而Rhipe和RHadoop答允开拓者在R函数中界说并挪用MapReduce函数。
2、与Rhipe和RHadoop差异,利用Streamings APIs也不需要客户端。
3、除此之外,我们也可以利用Apache Mahout,Apache Hive,Segue框架与其他来自Revolution Analytics的贸易版R来实现大局限呆板进修。
接待插手本站果真乐趣群贸易智能与数据阐明群乐趣范畴包罗各类让数据发生代价的步伐,实际应用案例分享与接头,阐明东西,ETL东西,数据客栈,数据挖掘东西,报表系统等全方位常识QQ群:81035754
实现R与Hadoop连系功课的三种要领
最后更新 2017-12-04 08:00 星期一 所属:
其他教程 浏览:551
