混淆矩阵

在机器学习领域和统计分类问题中，混淆矩阵（英语：confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。矩阵的每一列代表一个类的实例预测，而每一行表示一个实际的类的实例。之所以如此命名，是因为通过这个矩阵可以方便地看出机器是否将两个不同的类混淆了（比如说把一个类错当成了另一个）。

混淆矩阵（也称误差矩阵）是一种特殊的, 具有两个维度的（实际和预测）列联表（英语：contingency table），并且两维度中都有着一样的类别的集合。

示例

如果已经训练好了一个系统用来区分猫和狗，那混淆矩阵就可以概括算法的测试结果以便将来的检查。假设一个13个动物的样本，8只猫和5只狗，那混淆矩阵的结果可能如下表所示：

预测的类别 猫 狗 实际的类别 猫 5 3 狗 2 3

在这个混淆矩阵中，系统预测了8只实际的猫，其中系统预测3只是狗，而5只狗中，则预测有2只是猫。 所有正确的预测都位于表格的对角线上（以粗体突出显示），因此很容易从视觉上检查表格中的预测错误，因为它们将由对角线之外的值表示。

混淆表

在预测分析中，混淆表（有时也称为混淆矩阵）是具有两行两列的表，该表报告假阳性，假阴性，真阳性和真阴性的数量。这不仅可以进行正确分类（准确度）的分析，还可以进行更详细的分析。对于分类器的真实性能，准确性不是可靠的指标，因为如果数据集不平衡（即，当不同类别中的观察数发生很大变化时），它将产生误导性结果。例如，如果数据中有95只猫，只有5条狗，则特定的分类器可能会将所有观察结果归为猫。总体准确度为95％，但更详细地，分类器对猫类别的识别率为100％（敏感性），对狗类别的识别率为0％。在这种情况下，F1得分（英语：F1 score）甚至更加不可靠，在这种情况下，F1得分将超过97.4％，而约登指数则消除了这种偏见，并且将0作为乱猜情况下能增加信息量的决定（英语：informed decision）的概率（这里总是猜测猫）。约登指数为0的系统或测试不具有任何作用。

$J={\frac {95}{95+0}}+{\frac {0}{0+5}}-1=0$ （总是猜测猫的约登指数）