[湃绅Python]探索性数据分析——用Python表达EDA的一种快速方法( 二 )


文章图片
还可以显示这些变量的密度图并分析其偏斜度:
df1.plot(kind='density',subplots=True,layout=(3,3),sharex=False,figsize=(20,20))
[湃绅Python]探索性数据分析——用Python表达EDA的一种快速方法
文章图片
在这个例子中 , 我故意不处理离群值 , 但是有多种方法可以实现 。
相关性关联变量将为您节省大量的分析时间 , 这是对数据执行任何假设之前的必要步骤 。 相关性只计算数值变量 , 因此了解数据集中的变量类型很重要 。
mask=np.tril(df1.corr())sns.heatmap(df1.corr(),fmt='.1g',annot=True,cmap='cool',mask=mask)
[湃绅Python]探索性数据分析——用Python表达EDA的一种快速方法
文章图片
我屏蔽了左下角的值 , 以避免重复并提供更清晰的视图 。 右侧的值标度还提供了极值的快速参考指南:您可以轻松地发现变量之间的高低相关性 。 (例如“nationalincome(国民收入)”与“purchasingpower(购买力)”具有高度正相关)
结论EDA对于理解任何数据集都是至关重要的 。 但是EDA需要做大量准备工作 , 因为现实世界中的数据很少是干净且同质的 。 人们常说 , 数据科学家宝贵的时间中有80%花费在查找、清理和组织数据上 , 而仅剩下20%的时间用于实际执行分析 。