当前位置:天才代写 > tutorial > 其他教程 > R语言预处理惩罚之异常值问题

R语言预处理惩罚之异常值问题

2017-12-04 08:00 星期一 所属: 其他教程 浏览:795

一、问题什么是异常值?如何检测异常值?
二、办理要领
1. 单变量异常值检测
2. 利用局部异常因子举办异常值检测
3. 通过聚类的要领检讨异常值
4. 检讨时间序列数据内里的异常值

三、R代码实现
1、单变量异常值检测这一节主要讲单变量异常值检测,并演示如何将它应用到多元(多个自变量)数据中。利用函数boxplot.stats()实现单变量检测,该函数按照返回的统计数据生成箱线图。在上述函数的返回功效中,有一个参数out,它是由异常值构成的列表。更明晰的说就是内里列出了箱线图中箱须线外面的数据点。个中参数coef可以节制箱须线从箱线盒上延伸出来的长度,关于该函数的更多细节可以通过输入‘?boxplot.ststs’查察。
画箱线图:

R语言预处理惩罚处罚之异常值问题R语言预处理惩罚处罚之异常值问题

在一个应用中,假如有三个可能3个以上自变量,异常值最终的列表应该按照各个单变量异常检测到的异常数据的总体环境而发生。在现实应用中,要将理论和措施运行功效一起思量从而检讨出较量符合的异常值。
2、利用LOF(局部异常因子)检测异常值LOF(局部异常因子)是一种基于密度识别异常值的算法。算法实现是:将一个点的局部密度与漫衍在它周围的点的密度对较量,假如前者明明的比后者小,那么这个点相对付周围的点来说就处于一个相比拟力稀疏的区域,这就表白该点事一个异常值。LOF算法的缺点是它只对数值型数据有效。
利用包‘DMwR’和包‘dprep’中的lofactor()可以计较LOF算法中的局部异常因子。

R语言预处理惩罚处罚之异常值问题

接下来对鸢尾花数据举办主身分阐明,并操作发生的前两个主身分绘制成双标图来显示异常值。

R语言预处理惩罚处罚之异常值问题

上面的代码中,prcomp()实现对数据集iris2的主身分阐明,biplot()取主身分阐明功效的前两列数据也就是前两个主身分绘制双标图。上图中,x轴和y轴别离代表第一、二主身分,箭头指向了原始变量名,个中5个异常值别离用对应的行号标注。
我们也可以通过pairs()函数绘制散点图矩阵来显示异常值,个中异常值用赤色的’+’标注:

R语言预处理惩罚处罚之异常值问题

包Rlof提供函数lof()能并行实现LOF算法。它的用法雷同于lofacotor(),可是lof()能实现两个特另外成果:k可以是一个向量以及选择多个间隔侧度。下面是关于lof()函数实现的例子:

R语言预处理惩罚处罚之异常值问题

3、通过聚类检测异常值检测异常值的别的一种方法就是聚类。先把数据聚成差异的类,选择不属于任何类的数据作为异常值。譬喻,基于密度的聚类DBSCAN算法的实现就是将与数据浓密区域细密相连的数据工具分别为一个类,因此与其他工具疏散的数据就会作为异常值。
也可以利用K均值算法实现异常值的检测。首先通过把数据分别为k组,分别方法是选择间隔各自簇中心最近的点为一组;然后计较每个工具和对应的簇中心的间隔(可能相似度),并挑出拥有较大的间隔的点作为异常值。
利用鸢尾花数据集,团结k均值算法举办异常值检讨的代码如下:

R语言预处理惩罚处罚之异常值问题

4、检测时间序列中的异常值本节先容如何从时间序列数据中检测出异常值。首先利用函数stl()对时间序列数据举办稳健回归要领解析,然后识别出异常值。实现代码如下:

R语言预处理惩罚处罚之异常值问题

5、思测验着思考其他的异常值检讨算法,并查询R中其他的包是否可以很好的检测到异常值。

 

    关键字:

[contact-form-7 id="17097" title="form2"]天才代写-代写联系方式