准确率

准确率，英文叫做 Accuracy。顾名思义，准确率就是看整体里预测准确的概率是多少。准确率 = 预测正确的样本数量 / 预测总的样本数量。这个公式乍一看很有作用，但是用这样的方式来评估一个算法模型是有问题的。

假设我设计了一个算法来辨别鹿的照片。我准备了 100 张图片，图片里边有 1 张鹿，99 张马。现在，我要让算法来识别这个图片里到底是鹿还是马。假如这个算法模型很准确，把一个鹿识别出来了，然后我们看这个准确率是多少呢，用刚刚的那个公式，你容易得出是 1/100，也就是说只有 1% 的准确率。这个和我们当时预期的明显不对。

精确率

那怎么样更好的去衡量这个算法模型呢？我们就有了一个新的概念，叫做精确率，英文叫做 precision，也叫作查准率。

这个概念稍微复杂了一些。还用刚才预测鹿和马的这个例子，我们先把几种预测结果的情况都列出来，整体上就是 4 种：预测马，它的确是马；本来是鹿，预测成马；本来是马，把它预测成鹿了；本来是鹿，预测对了还是鹿。

官方说法是精确率为预测正确的正例 (TP) 在所有预测为正例的样本中出现的概率，即分类正确的正样本个数占分类器判定为正样本的样本个数的比例。是不是有点绕？你可以把表格和下面这个公式对照起来看，会更容易理解一些。精确率 =TP（指马为马）/(TP（指马为马）+FP（指鹿为马）)，也就是说你预测为对的里面有多少是真的对，这就是查准率。

召回率

召回率用官方的说法是预测正确的正例 (TP) 在实际所有正例样本中出现的概率，即分类正确的正样本个数占真正的正样本个数的比例。用公式来表示就是下面这样。召回率 =TP（指马为马）/(TP（指马为马）+FN（指马为鹿）)那我们怎么能避免这种情况出现呢，我们就会用到另外一个指标——召回率（recall，也叫作查全率）。召回率用官方的说法是预测正确的正例 (TP) 在原始的所有正例样本中出现的概率，即分类正确的正样本个数占真正的正样本个数的比例。用公式来表示就是下面这样。召回率 =TP（指马为马）/(TP（指马为马）+FN（指马为鹿）)，查全率，即真正对的样本有多少被预测出来了。

02 置信度与置信区间

置信度与置信区间。用官方说法来说，置信区间估计是参数估算的一种，它是用一个区间来估计参数值，英文叫做 confidence interval 也就是一定信心下的区间。这个信心我们可以用前面讲到的准确率来去衡量，这个时候准确率有了一个新名字，叫做置信度。刚刚提到的 95%、100% 就是置信度，[0，750]和[600，630]就是置信区间。

一般来讲置信度和置信区间是同向的，啥意思呢？就是置信度和置信区间一般是相同趋势。当置信度很高时，置信区间也会很大；当置信区间很大时，置信度也会很高。不过越高其实这个算法越没有用处。如果一个算命先生告诉你，我有 100% 把握你生命是在 1 岁到 200 岁之间，虽然置信度高，但显然是一句废话。所以置信度和置信区间是一组参数，来告诉你这个算法模型误差有多大。

03 如何选取评价指标？

虽然精确率、召回率和置信区间这几个指标都很重要，但这几个指标却难以同时达到很好的水平，甚至是此消彼长。那在实际的工作中，这几个指标如何取舍呢？

以“自动驾驶识别物体为例，如果你的精准度低了，代表着你遇到不是人的物体时，算法会把它判断成人，然后刹车。这个系数太低，你开车就经常会出现莫名其妙的刹车的情况。

如果我们召回率低了，代表着本来路上有一个人，我没有把人识别出来，直接撞上去了，这个也不行。

置信区间代表着能识别出多少物体。所以如果让你只能选择一个参数作为最关键的核心调优指标，你会选择哪一个参数呢？如果是我，我会优先选择召回率，这样算法如果不好，至多也就会和新手一样，宁可多刹点车也不要撞到人。毕竟对于汽车驾驶来讲，安全最重要。