AI red teamer （人工智能红队）系列28 – 人工智能信息安全应用 – 评估模型的指标

在评估一个训练完成的机器学习模型时，我们会通过一组数字指标来衡量该模型在特定任务中的表现。这些指标通常量化预测结果与真实已知标签之间的关系。

在人工智能基础章节中，我们简要介绍了准确率、精确率、召回率和F1分数等指标，我们知道这些指标从不同角度提供了对模型行为的评估。

准确率 (Accuracy)

准确率是在所有预测中正确预测的比例。它衡量模型对实例进行正确分类的频率。如果模型的准确率为0.9950，则表示该模型在99.50%的情况下都能做出正确的预测。

有关准确率的关键描述：

• 衡量总体正确性
• 计算公式为(true positives + true negatives) / (all instances)
• 在类别不平衡的情况下可能具有误导性

虽然准确率看起来很直观，但仅靠它可能会掩盖重要的细节。考虑一个垃圾邮件分类场景，其中只有1%的收到邮件是垃圾邮件，99%是合法邮件。如果一个模型总是预测每封邮件都是合法的，那么它将达到0.99的准确率，但它永远不会识别任何垃圾邮件。

在这种情况下，准确率无法突出模型无法正确识别少数类别的问题。这就强调了补充指标的重要性，例如精确率、召回率或F1分数等，这些指标可以在处理不平衡数据集时提供对性能更细致的理解。

精确率 (Precision)

精确率衡量模型预测的阳性结果真正为阳性的频率。对于precision: 0.9949，当模型将一个实例标记为阳性时，其正确率为99.49%。

有关精确率的关键描述：

• 反映积极预测的质量
• 计算公式为true positives / (true positives + false positives)
• 高精确率可减少因误报而造成的精力浪费

以垃圾邮件分类为例，如果模型将100封电子邮件标记为垃圾邮件，而其中99封实际上是垃圾邮件，那么它的精确率就会很高。这就减少了将重要的合法电子邮件误放到垃圾邮件文件夹的不便。但是，如果模型很少识别出垃圾邮件，那么它就可能无法捕获大部分恶意邮件。仅靠高精确率并不能保证模型能找到它应该找到的所有垃圾邮件。

召回率 (Recall)

召回率衡量模型识别所有正例的能力。对于recall: 0.9950，模型可检测到99.50%的阳性实例。

有关召回率的关键描述：

• 反映阳性检测的完整性
• 计算公式为true positives / (true positives + false negatives)
• 高召回率降低了漏掉关键元素的风险

在垃圾邮件分类场景中，具有高召回率的模型能正确标记大多数垃圾邮件。这有助于确保可疑内容不会被忽视。但是，如果模型的召回率非常高，但精确率却很低，则可能会使垃圾邮件文件夹中充斥着良性邮件。虽然它很少会漏掉垃圾邮件，但会将太多的合法邮件错误分类为垃圾邮件，给用户带来不便。

F1分数 (F1-Score)

F1分数是精确率和召回率的调和平均数。对于F1分数为0.9949，这个指标表明这两个方面几乎达到了完美的平衡。

有关F1分数的关键描述：

• 平衡精确率和召回率
• 计算公式为2 × (precision × recall) / (precision + recall)
• 适用于涉及类别不平衡的任务

继续以垃圾邮件分类为例，F1分数可确保模型不仅能最大限度地减少对合法电子邮件的错误分类（高精确率），还能有效识别大多数垃圾邮件（高召回率）。F1分数通过关注平衡而非单一指标，更全面地反映了模型在识别和正确处理垃圾邮件和非垃圾邮件方面的性能。

其他考虑因素

虽然这四项衡量标准很常见，但其他衡量标准也可提供进一步的见解：

• 特异性：衡量模型识别负样本的有效性
• AUC-ROC：ROC曲线下面积，表示模型在不同阈值下的判别能力
• 马修斯相关系数：适用于高度不平衡的数据集
• 混淆矩阵：汇总预测结果与真实标签，提供全面的性能视图

这些指标和可视化效果有助于证实，给定的高数值真实反映了模型强大的性能，而不仅仅是数据集中的有利条件。

结合多种因素确定评估模型的指标

在评估模型的指标（准确率：0.9750，精确率：0.9300，召回率：0.9100，F1分数：0.9200）时，请考虑以下因素：

• 这些指标在不同的数据段中是否一致？
• 数据集是否代表了真实世界的情况，包括类别不平衡的存在？
• 是否适当考虑了外部因素，如假阳性或假阴性的成本？

如果数据集不能反映操作条件，即使是看起来令人满意的指标也可能无法完全反映真实世界的性能。如果负面案例的比例过高，使得默认情况下更容易显示正确，那么就可能实现较高的准确率。验证精确率和召回率是否保持稳健有助于确保模型识别重要实例，而不会被错误的预测所淹没。

根据不同的环境，会出现某些权衡：

• 在威胁检测中，一个模型可能会优先考虑召回率，以避免错过关键威胁，即使它偶尔会将良性事件标记为威胁
• 在资源有限的环境中，关注精确率可以减少因跟进误报而产生的负担

综合考虑这些指标，可以得出一个平衡的视角。精确率和召回率的值相对较高且合理一致，从而产生了较好的F1分数，表明该模型在不同类别中的表现始终稳定。这种均衡的表现使我们相信，该模型的决策在实践中可靠且有价值。