Pig Hive先容

在本教程中，我们将接头 Pig & Hive

Pig简介

在Map Reduce框架，需要的措施将其转化为一系列 Map 和 Reduce阶段。 可是，这不是一种编程模子，它被数据阐明所熟悉。因此，为了补充这一差距，一个抽象观念叫 Pig 成立在 Hadoop 之上。

Pig是一种高级编程语言，阐明大数据集很是有用。 Pig 是雅虎尽力开拓的功效

Pig 使人们可以或许更专注于阐明大量数据集和花更少的时间来写map-reduce措施。

雷同猪吃对象，Pig 编程语言的目标是可以在任何范例的数据事情。

Pig 由两部门构成：

1. Pig Latin，这是一种语言

2. 运行情况，用于运行PigLatin措施

Pig Latin 措施由一系列操纵或调动应用到输入数据，以发生输出。这些操纵描写被翻译成可执行到数据流，由 Pig 情况执行。下面，这些转换的功效是一系列的 MapReduce 功课，措施员是不知道的。所以，在某种水平上，Pig 答允措施员存眷数据，而不是执行进程。

Pig Latin 是一种相对硬挺的语言，它回收熟悉的要害字来处理惩罚数据，譬喻，Join, Group 和 Filter。

执行模式：

Pig 有两种执行模式：

1. 本机模式：在此模式下，Pig 运行在单个JVM，并利用当地文件系统。这种模式只适合利用 Pig 小数据荟萃阐明。

2. Map Reduce模式：在此模式下，写在 Pig Latin 的查询被翻译成MapReduce 功课，并 Hadoop 集群上运行(集群大概是伪或完全漫衍式的)。 MapReduce 模式完全漫衍式集群对大型数据集运行 Pig 很有用的。

HIVE 先容

在某种水平上数据集收集的巨细并在行业用于贸易智能阐明正在增长，它使传统的数据客栈办理方案越发昂贵。HADOOP与MapReduce框架，被用于大型数据集阐明的替代办理方案。固然，Hadoop 地复杂的数据集上事情证明长短常有用的，MapReduce框架长短常初级别而且它需要措施员编写自界说措施，这导致难以维护和重用。 Hive 就是为措施员设计的。

Hive 演变为基于Hadoop的Map-Reduce 框架之上的数据客栈办理方案。

Hive 提供了雷同于SQL的声明性语言，叫作：HiveQL, 用于表达的查询。利用 Hive-SQL，用户可以或许很是容易地举办数据阐明。

Hive 引擎编译这些查询到 map-reduce功课中并在 Hadoop 上执行。另外，自界说 map-reduce 剧本，也可以插入查询。Hive运行存储在表中，它由根基数据范例，如数组和映射荟萃的数据范例的数据。

设置单位带有一个呼吁行shell接口，可用于建设表并执行查询。

Hive 查询语言是雷同于SQL，它支持子查询。通过Hive查询语言，可以利用 MapReduce 跨Hive 表毗连。它有雷同函数简朴的SQL支持- CONCAT, SUBSTR, ROUND 等等, 聚合函数 – SUM, COUNT, MAX etc。它还支持GROUP BY和SORT BY子句。 别的，也可以在设置单位查询语言编写用户界说的成果。

MapReduce，Pig 和 Hive 的较量