读芯术非常规解释：分类ML模型的十大模型性能指标

全文共3574字，预计学习时长11分钟

本文插图
图源：unsplash本文将带大家了解10个最重要的模型性能指标，这些指标可用于评估分类模型的模型性能。一旦了解了指标的正确用法以及如何根据问题陈述来解释这些指标，衡量分类模型的强度就成为了轻而易举的事。我们将使用一个具有“是”和“否”标签的数据集示例来训练逻辑回归模型。该用例可以是任何分类问题，包括垃圾邮件检测，癌症预测，损耗率预测，活动目标预测等。本文将在需要时引用特殊用例。现在考虑一个简单的逻辑模型，该模型必须预测“是”或“否” 。首先，逻辑模型可以提供两种输出： 1.以类别标签作为输出值（是/否， 1/0 ，恶性/良性，耗损/保留，垃圾邮件/非垃圾邮件等）。2.以0到1之间的概率值作为输出值，用于表示事件对于特定观测的可能性。类标签场合可以进一步划分为平衡或不平衡数据集的情况，这两种情况都不应该也不能基于相似的指标进行判断。某些指标更适用于其一而不适用于另一种情况，反之亦然。同样，概率方案的模型性能指标也不同于类标签方案。下面的流程图既是本文的一个完美总结，也是一个完美序言。

本文插图
1.混淆矩阵

本文插图
不管构建什么样的统计或ML模型，我们都以开发数据集作为开始。将该数据集分为两部分：训练和测试。保留测试数据集，并使用训练数据集训练模型。一旦模型准备好进行预测，就可以尝试对测试数据集进行预测。将结果分为类似上图所示的矩阵，就可以看到模型预测正确或错误的数量。我们使用测试数据集中的数字填充以下4个单元格（假设包含1000个观察值）。

本文插图
· TP（真阳性）：测试数据集中该列的实际标签为“是” ，逻辑回归模型也预测为“是” 。（500个观测值） · TN（真阴性）：测试数据集中该列的实际标签为“否” ，逻辑回归模型也预测为“否” 。（200个观测值） · FP（假阳性）：在测试数据集中该列的实际标签为“否” ，而逻辑回归模型预测为“是” 。（100个观测值） · FN（假阴性）：在测试数据集中该列的实际标签为“是” ，而逻辑回归模型预测为“否” 。（200个观测值）这4个单元格构成了“混淆矩阵” ，就像矩阵一样，它可以通过清晰描绘模型的预测能力来减轻所有关于模型优劣的困惑。混淆矩阵是一个表格，通常用于描述分类模型（或“分类器”）用于一组已知真实值的测试数据上的性能。2.第1类错误

本文插图
第1类错误也称为假阳性（false positive），其发生原因是分类模型错误地将“虚假”的观测预测为“真实” 。例如：假设逻辑回归模型正被应用于垃圾邮件检测用例。如果模型将原本很重要的电子邮件标记为了垃圾邮件，那么这就是该模型第1类错误的示例。在这个特定的问题陈述中，我们应尽量减少第1类错误，因为将重要邮件归为垃圾邮件可能会造成严重后果。3.第2类错误

本文插图
第2类错误也称为假阴性（false negative），其发生原因是分类模型错误地将“真实”的观测预测为“错误” 。假设逻辑回归模型正在处理一个用例，它必须预测一个人是否患有癌症。如果模型将患有癌症的人标记为了健康人，由此导致了分类错误，那么这就是该模型发生第2类错误的例子。在这个特定的问题陈述中，我们应尽可能地减少第2类错误，因为在这种情况下，如果受影响的患者一直没有被正确诊断，假阴性可能导致死亡。4.准确度