趣投稿用pandas-profiling做出更好的探索性数据分析（附代码）

本文插图
作者：Thomas Gey
翻译：廖倩颖
校对：和中华
本文约2300字，建议阅读5分钟。
探索性数据分析已失势， pandas-profiling万岁！用更省力的办法完美呈现你的数据。
标签：机器学习 Pandas-profiling
一个充满坏数据的世界
在大部分数据科学领域中，我们获得的数据并不如网上专门为机器学习模型的应用而设计和准备的数据干净和完整。大部分情况下，外部来源的数据不是结构性差就是不完整，这时候就需要你来把这些数据变得更可用！
虽然数据科学家注意到了数据质量的重要性，但这对于商业领导者来说并不是个事。他们更关注如何尽早使用技术来维持竞争优势，而很少理解技术的实际应用。这意味着人们会在“量大出奇迹”的借口下，利用数据集里的一切信息并希望获得最好的结果。
由于思维方式的差异，在建模前一个数据科学家一般花费80%时间准备数据集。

本文插图
为什么是80%时间？因为有缺失值，不平衡的数据，没有任何意义的字段，删除重复数据后的数据，过时数据和其他原因。人们最近才意识到数据的重要性。但是，即使趋势逆转，数据也很难轻易访问和结构良好。
一个坏数据集的后果很简单也很符合逻辑：用这些数据集建立的预测模型将会有低准确率和低效率。用不正确的数据训练模型会产生偏差，你的结果将与现实相去甚远。一个糟糕的模型无法被部署，所以对于公司来说开发这样的模型是净损失。

本文插图
一个用锈铁制造的汽车不能正常驾驶，甚至在最糟糕的情况下，根本不能驾驶…没有人愿意使用或购买一辆生锈的汽车。
所以，数据集对于你的项目至关重要。项目在技术和经济层面上的成功取决于你所选择数据的质量。在机器学习项目中，跳过数据评估步骤可能会浪费大量时间，你将不得不从头开始项目。所以现在看来，数据科学家们花那么多时间调查和准备数据集是合乎逻辑的！
低质量数据只会导致低质量结果
神创造了探索性数据分析
概念性的方法
为了确保我们的数据集是有用的，一个好的实践操作是EDA ，即探索性数据分析。
EDA是一种熟悉数据集的方法。通过这个反思性工作，可以保证处理的是有趣，连贯和干净的数据。这一步是可视化的而且是基于摘要统计和图形表达。
通过EDA ，数据科学家可以发现哪一个特征重要或者特征之间的相关性。此外， EDA可以让你发现错误或者缺失值，检测异常值或者驳回一个假设。特征变量的选择之后会被用于机器学习。
一般来说，在探索性数据分析之后的步骤是特征工程/数据增强，在这一过程中，你需要把原始数据进行处理，赋予他们额外价值。
一个EDA基本例子：
对于这个例子，我使用了一个非常适合EDA的数据集，即FIFA 19完整的球员数据集。它包含多种数据类型，缺失值，并且有许多适用的指标。对这个数据集的几个完整的分析可以在这里找到。我使用JupyterLab作为IDE ，因为它的灵活性和用户友好的界面。
让我们使用pandas库从CSV文件中导入数据:
import pandas as pd%time data = http://news.hoteastday.com/a/pd.read_csv(''fifa.csv'', delimiter=',', index_col=0)

本文插图
加载速度很快。现在介绍一下data.sample(5) ，这是一个随机选择行的方法。如果不知道数据是如何排序的，最好使用.sample()而不是.head() 。