大数据教程

　　ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一的ETL工具Kettle。这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率。　 … 继续阅读“Kette介绍及简单入门教程”

　　其实，对于庞大的用户群以及海量的用户数据意味着基础设施的构建必须兼顾高效与稳定,更经济,扩展更方便的云服务平台就成为了选择，而且很多情况下，为了避免使用DISTINCT使用DISTINCT是为了保证在结果集中不出现重复值,但是DISTINCI关键子会产生张工作表,并进行排序以删除重复记录,这会大大增加查询时间和1O的次数。 　　因此应尽量免使用DISTINCT例如,不使用DISTINCT关键字,用户也可以通过如下语句从employee表中找出重复的idSELECTIdFROMemployee … 继续阅读“数据的性能优化”