每个数据科学家都需要的3种简单的异常检测算法( 三 ) 深入了解离群值检测以及如何

Boxplots如何工作本质上，箱形图通过将数据集分为5部分来工作：
文章插图
> Photo from StackOverflow
· 最小值：分布中的最低数据点，不包括任何异常值。
· 最大值：分布中的最高数据点，不包括任何异常值。
· 中位数（Q2 / 50％）：数据集的中间值。
· 第一个四分位数（Q1 / 25个百分点）：是数据集下半部分的中位数。
· 第三四分位数（Q3 /第75个百分位数）：是数据集上半部分的中位数。
四分位间距（IQR）很重要，因为它定义了异常值。本质上，它是以下内容：
IQR = Q3 - Q1
Q3: third quartile
Q1: first quartile
在箱图中，测得的距离为1.5 * IQR ，并包含数据集的较高观测点。类似地，在数据集的较低观察点上测得的距离为1.5 * IQR 。这些距离之外的任何值都是异常值。进一步来说：
· 如果观测点低于（Q1-1.5 * IQR）或箱线图下部晶须，则将其视为异常值。
· 同样，如果观测点高于（Q3 + 1.5 * IQR）或箱线图上晶须，则它们也被视为离群值。
文章插图
> Photo By Wikipedia
箱线图在行动让我们看看如何在Python中使用Boxplots检测离群值！
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np
X = np.array([45,56,78,34,1,2,67,68,87,203,-200,-150])
y = np.array([1,1,0,0,1,0,1,1,0,0,1,1])
让我们绘制数据的箱线图：
sns.boxplot(X)
plt.show()
文章插图
> Photo By Author
因此，根据箱线图，我们看到我们的数据中位数为50和3个离群值。让我们摆脱这些要点：
X = X[(X < 150) & (X > -50)]
sns.boxplot(X)
plt.show()
文章插图
> Photo By Author
在这里，我基本上设置了一个阈值，以便将所有小于-50和大于150的点都排除在外。结果分布均匀！
Tukey方法离群值检测曲棍球方法离群值检测实际上是箱形图的非可视方法；除了没有可视化之外，方法是相同的。
我有时喜欢这种方法而不是箱线图的原因是因为有时看一下可视化并粗略估计应将阈值设置为什么，实际上并没有效果。
相反，我们可以编写一种算法，该算法实际上可以返回它定义为异常值的实例。
该实现的代码如下：
import numpy as np
from collections import Counter
def detect_outliers(df, n, features):
# list to store outlier indices
outlier_indices = []
# iterate over features(columns)
for col in features:
# Get the 1st quartile (25%)
Q1 = np.percentile(df[col], 25)
# Get the 3rd quartile (75%)
Q3 = np.percentile(df[col], 75)
# Get the Interquartile range (IQR)
IQR = Q3 - Q1
# Define our outlier step
outlier_step = 1.5 * IQR
# Determine a list of indices of outliers
outlier_list_col = df[(df[col] < Q1 - outlier_step) | (df[col] > Q3 + outlier_step)].index
# append outlier indices for column to the list of outlier indices
outlier_indices.extend(outlier_list_col)
# select observations containing more than 2 outliers
outlier_indices = Counter(outlier_indices)
multiple_outliers = list(k for k, v in outlier_indices.items() if v > n)
return multiple_outliers
# detect outliers from list of features
list_of_features = ['x1', 'x2']
# params dataset, number of outliers for rejection, list of features
Outliers_to_drop = detect_outliers(dataset, 2, list_of_features)
基本上，此代码执行以下操作：
· 对于每个功能，它都会获得：
· 第一四分位数
· 第三四分位数
· IQR
2.接下来，它定义离群值步骤，就像在箱图中一样，为1.5 * IQR
3.通过以下方式检测异常值：
· 查看观察点是否 · 查看观察点是否为Q3 +离群步
4.然后检查选择的观察值具有k个异常值（在这种情况下， k = 2）
结论总而言之，存在许多离群值检测算法，但是我们经历了3种最常见的算法：DBSCAN ， IsolationForest和Boxplots 。我鼓励您：
· 在"泰坦尼克号"数据集上尝试这些方法。哪一个最能检测到异常值？
· 寻找其他异常检测方法，看看它们的性能比最初尝试得更好还是更差。
我真的很感谢我的追随者，并希望不断写信并给予大家深思熟虑的食物。但是，现在，我必须说再见；}
每个数据科学家都需要的3种简单的异常检测算法文章插图