其他教程

Hadoop是利用Java编写，答允漫衍在集群，利用简朴的编程模子的计较机大型数据集处理惩罚的Apache的开源框架。 Hadoop框架应用工程提供跨计较机集群的漫衍式存储和计较的情况。 Hadoop是专为从单一处事器到上千台呆板扩展，每个呆板都可以提供当地计较和存储。 Hadoop的架构 在其焦点，Hadoop主要有两个条理，即： 加工/计较层(MapReduce)，以及 存储层(Hadoop漫衍式文件系统)。 MapReduce MapReduce是一种并行编程模子，用于编写普通硬件的设计， … 继续阅读“Hadoop是什么？”

Node.js 全局工具 JavaScript 中有一个非凡的工具，称为全局工具（Global Object），它及其所有属性都可以在措施的任那里所会见，即全局变量。 在欣赏器 JavaScript 中，凡是 window 是全局工具， 而 Node.js 中的全局工具是 global，所有全局变量（除了 global 自己以外）都是 global 工具的属性。 在 Node.js 我们可以直接会见到 global 的属性，而不需要在应用中包括它。 全局工具与全局变量 global 最基础的浸染 … 继续阅读“Node.js 全局工具”

在我们相识Flume和Sqoop之前，让我们研究数据加载到Hadoop的问题： 利用Hadoop阐明处理惩罚数据，需要装载大量从差异来历的数据到Hadoop集群。 从差异来历大容量的数据加载到Hadoop，然后这个进程处理惩罚它，这具有必然的挑战。 维护和确保数据的一致性，并确保资源的有效操作，选择正确的要领举办数据加载前有一些因素是要思量的。 主要问题： 1. 利用剧本加载数据 传统的利用剧本加载数据的要领，不适合于大容量数据加载到 Hadoop;这种要领效率低且很是耗时。 2. 通过 Map … 继续阅读“Flume和Sqoop”

Hadoop是一个开源框架，它答允在整个集群利用简朴编程模子计较机的漫衍式情况存储并处理惩罚大数据。它的目标是从单一的处事器到上千台呆板的扩展，每一个台机都可以提供当地计较和存储。 “90％的世界数据在已往的几年中发生”。 由于新技能，设备和雷同的社交网站通信装置的呈现，人类发生的数据量每年都在迅速增长。美国从一开始的时候到2003年发生的数据量为5十亿千兆字节。假如以堆放的数据磁盘的形式，它可以填补整个足球场。在2011年建设沟通数据量只需要两天，在2013年该速率仍在 … 继续阅读“Hadoop教程”

Node.js 路由 我们要为路由提供请求的 URL 和其他需要的 GET 及 POST 参数，随后路由需要按照这些数据来执行相应的代码。 因此，我们需要查察 HTTP 请求，从中提取出请求的 URL 以及 GET/POST 参数。这一成果该当属于路由照旧处事器（甚至作为一个模块自身的成果）确实值得探讨，但这里暂定其为我们的HTTP处事器的成果。 我们需要的所有数据城市包括在 request 工具中，该工具作为 onRequest() 回调函数的第一个参数通报。可是为了理会这些数据，我们需要特另 … 继续阅读“Node.js 路由”

这里有两个数据荟萃在两个差异的文件中，如下所示：     DEPT_ID 键在这两个文件中常见的。 方针是利用 MapReduce 插手来组合这些文件。 输入: 我们的输入数据集是两个txt文件：DeptName.txt 和 DepStrength.txt 下载输入文件 前提条件： 本教程是在 Linux 上开拓 – Ubuntu操纵系统 已经安装的Hadoop(本教程利用2.7.1版本) Java的开拓运行情况已经在系统上安装(本教程利用的版本是：1. … 继续阅读“MapReduce Hadoop措施毗连数据”

Node.js 函数 在JavaScript中，一个函数可以作为另一个函数的参数。我们可以先界说一个函数，然后通报，也可以在通报参数的处所直接界说函数。 Node.js中函数的利用与Javascript雷同，举例来说，你可以这样做： function say(word) { console.log(word); } function execute(someFunction, value) { someFunction(value); } execute(say, “Hello”); 以上代码中 … 继续阅读“Node.js 函数”

在MapReduce的计数器是用于收集关于 MapReduce 事情的统计信息的机制。这个信息在MapReduce的功课处理惩罚的问题的诊断是很有用的。 计数器雷同于将在 map 或 reduce 在代码日志信息中。 凡是环境下，这些计数器在一个措施(map 或 reduce)中界说，当一个特定事件或条件(特定于该计数器)产生执行期间递增。计数器是一个很好的应用来从输入数据集跟踪有效和无效的记录。 有两种范例的计数器： 1. Hadoop 内置计数器: 有一些内置计 … 继续阅读“MapReduce计数器和毗连”

Node.js模块系统 为了让Node.js的文件可以彼此挪用，Node.js提供了一个简朴的模块系统。 模块是Node.js 应用措施的根基构成部门，文件和模块是一一对应的。换言之，一个 Node.js 文件就是一个模块，这个文件大概是JavaScript 代码、JSON 可能编译过的C/C++ 扩展。 建设模块 在 Node.js 中，建设一个模块很是简朴，如下我们建设一个 main.js 文件，代码如下: var hello = require(‘./hello’); hello.worl … 继续阅读“Node.js 模块系统”

本教程中的代码分为 3 个部门： 表明 SalesMapper 类 表明 SalesCountryReducer 类 表明 SalesCountryDriver 类 SalesMapper类的说明 在本节中，我们将相识 SalesMapper 类的实现。 我们首先指定类的包名称。 SalesCountry 就是这个示例中利用的包名。请留意编译的输出，SalesMapper.class 将进入目次并定名这个软件包名称：SalesCountry. 其次，我们导入库软件包 … 继续阅读“领略 MapReducer”