其他教程

这里有两个数据荟萃在两个差异的文件中，如下所示：     DEPT_ID 键在这两个文件中常见的。 方针是利用 MapReduce 插手来组合这些文件。 输入: 我们的输入数据集是两个txt文件：DeptName.txt 和 DepStrength.txt 下载输入文件 前提条件： 本教程是在 Linux 上开拓 – Ubuntu操纵系统 已经安装的Hadoop(本教程利用2.7.1版本) Java的开拓运行情况已经在系统上安装(本教程利用的版本是：1. … 继续阅读“MapReduce Hadoop措施毗连数据”

Node.js 函数 在JavaScript中，一个函数可以作为另一个函数的参数。我们可以先界说一个函数，然后通报，也可以在通报参数的处所直接界说函数。 Node.js中函数的利用与Javascript雷同，举例来说，你可以这样做： function say(word) { console.log(word); } function execute(someFunction, value) { someFunction(value); } execute(say, “Hello”); 以上代码中 … 继续阅读“Node.js 函数”

在MapReduce的计数器是用于收集关于 MapReduce 事情的统计信息的机制。这个信息在MapReduce的功课处理惩罚的问题的诊断是很有用的。 计数器雷同于将在 map 或 reduce 在代码日志信息中。 凡是环境下，这些计数器在一个措施(map 或 reduce)中界说，当一个特定事件或条件(特定于该计数器)产生执行期间递增。计数器是一个很好的应用来从输入数据集跟踪有效和无效的记录。 有两种范例的计数器： 1. Hadoop 内置计数器: 有一些内置计 … 继续阅读“MapReduce计数器和毗连”

Node.js模块系统 为了让Node.js的文件可以彼此挪用，Node.js提供了一个简朴的模块系统。 模块是Node.js 应用措施的根基构成部门，文件和模块是一一对应的。换言之，一个 Node.js 文件就是一个模块，这个文件大概是JavaScript 代码、JSON 可能编译过的C/C++ 扩展。 建设模块 在 Node.js 中，建设一个模块很是简朴，如下我们建设一个 main.js 文件，代码如下: var hello = require(‘./hello’); hello.worl … 继续阅读“Node.js 模块系统”

本教程中的代码分为 3 个部门： 表明 SalesMapper 类 表明 SalesCountryReducer 类 表明 SalesCountryDriver 类 SalesMapper类的说明 在本节中，我们将相识 SalesMapper 类的实现。 我们首先指定类的包名称。 SalesCountry 就是这个示例中利用的包名。请留意编译的输出，SalesMapper.class 将进入目次并定名这个软件包名称：SalesCountry. 其次，我们导入库软件包 … 继续阅读“领略 MapReducer”

Node.js Stream(流) Stream 是一个抽象接口，Node 中有许多工具实现了这个接口。譬喻，对http 处事器提倡请求的request 工具就是一个 Stream，尚有stdout（尺度输出）。 Node.js，Stream 有四种流范例： Readable – 可读操纵。 Writable – 可写操纵。 Duplex – 可读可写操纵. Transform – 操纵被写入数据，然后读出功效。 所有的 Stream 工具都是 E … 继续阅读“Node.js Stream(流)”

问题告诉： 找出销往各个国度商品数量。 输入: 我们的畋输入数据荟萃是一个 CSV 文件, Sales2014.csv 前提条件： 本教程是在Linux上开拓 – Ubuntu操纵系统 已经安装了Hadoop(本教程利用版本2.7.1) 系统上已安装了Java(本教程利用 JDK1.8.0)。 在实际操纵进程中，利用的用户是'hduser_“(此用户利用 Hadoop)。 yiibai@ubuntu:~$ su hduser_ 步调: 1.建设 … 继续阅读“Hadoop措施入门实践”

Node.js 毗连 MongoDB MongoDB是一种文档导向数据库打点系统，由C++撰写而成。 本章节我们将为各人先容如何利用 Node.js 来毗连 MongoDB，并对数据库举办操纵。 假如你还没有 MongoDB 的根基常识，可以参考我们的教程：MongoDB 教程。 安装驱动 本教程利用了淘宝定制的 cnpm 呼吁举办安装： $ cnpm install mongodb 接下来我们来实现增删改查成果。 数据库操纵( CURD ) 与 MySQL 差异的是 MongoDB 会自动建设 … 继续阅读“Node.js 毗连 MongoDB”

Node.js Buffer(缓冲区) JavaScript 语言自身只有字符串数据范例，没有二进制数据范例。 但在处理惩罚像TCP流或文件流时，必需利用到二进制数据。因此在 Node.js中，界说了一个 Buffer 类，该类用来建设一个专门存放二进制数据的缓存区。 在 Node.js 中，Buffer 类是随 Node 内核一起宣布的焦点库。Buffer 库为 Node.js 带来了一种存储原始数据的要领，可以让 Node.js 处理惩罚二进制数据，每当需要在 Node.js 中处理惩罚I/ … 继续阅读“Node.js Buffer(缓冲区)”

MapReduce 是适合海量数据处理惩罚的编程模子。Hadoop是可以或许运行在利用各类语言编写的MapReduce措施： Java, Ruby, Python, and C++. MapReduce措施是平行性的，因此可利用多台呆板集群执行大局限的数据阐明很是有用的。 MapReduce措施的事情分两个阶段举办： Map阶段 Reduce 阶段 输入到每一个阶段均是键 – 值对。另外，每一个措施员需要指定两个函数：map函数和reduce函数 整个进程要经验三个阶段执行 … 继续阅读“MapReduce简介和入门”