Python数据分析基础：异常值检测和处理

优缺点：

• (1)基于线性和接近线性复杂度(k均值)的聚类技术来发现离群点可能是高度有效的;
• (2)簇的定义通常是离群点的补，因此可能同时发现簇和离群点;
• (3)产生的离群点集和它们的得分可能非常依赖所用的簇的个数和数据中离群点的存在性;
• (4)聚类算法产生的簇的质量对该算法产生的离群点的质量影响非常大。

其实以上说到聚类方法的本意是是无监督分类，并不是为了寻找离群点的，只是恰好它的功能可以实现离群点的检测，算是一个衍生的功能。

除了以上提及的方法，还有两个专门用于检测异常点的方法比较常用：One Class SVM和Isolation Forest，详细内容不进行深入研究。

检测到了异常值，我们需要对其进行一定的处理。而一般异常值的处理方法可大致分为以下几种：

• 删除含有异常值的记录：直接将含有异常值的记录删除;
• 视为缺失值：将异常值视为缺失值，利用缺失值处理的方法进行处理;
• 平均值修正：可用前后两个观测值的平均值修正该异常值;
• 不处理：直接在具有异常值的数据集上进行数据挖掘;

是否要删除异常值可根据实际情况考虑。因为一些模型对异常值不很敏感，即使有异常值也不影响模型效果，但是一些模型比如逻辑回归LR对异常值很敏感，如果不进行处理，可能会出现过拟合等非常差的效果。

以上是对异常值检测和处理方法的汇总。

通过一些检测方法我们可以找到异常值，但所得结果并不是绝对正确的，具体情况还需自己根据业务的理解加以判断。同样，对于异常值如何处理，是该删除，修正，还是不处理也需结合实际情况考虑，没有固定的。

【编辑推荐】

1. TOP 3大开源Python数据分析工具！
2. 必看的考研数据分析报告！官方发布！
3. 斯坦福开源Weld：高效实现数据分析的端到端优化
4. 从零转行数据分析的亲身经历
5. 转行数据分析的一份学习清单

（编辑：淮安站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!