如何画roc曲线？为什么使用Roc和Auc评价分类器?
一、roc曲线
1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。
横轴：负正类率(false postive rate fpr)特异度，划分实例中所有负例占所有负例的比例；(1-specificity)
纵轴：真正类率(true postive rate tpr)灵敏度，sensitivity(正类覆盖率)
2、针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.
(1)若一个实例是正类并且被预测为正类，即为真正类(true postive tp)
(2)若一个实例是正类，但是被预测成为负类，即为假负类(false negative fn)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(false postive fp)
(4)若一个实例是负类，但是被预测成为负类，即为真负类(true negative tn)
tp：正确的肯定数目
fn：漏报，没有找到正确匹配的数目
fp：误报，没有的匹配不正确
tn：正确拒绝的非匹配数目
列联表如下，1代表正类，0代表负类：
由上表可得出横，纵轴的计算公式：
(1)真正类率(true postive rate)tpr：tp/(tp+fn)，代表分类器预测的正类中实际正实例占所有正实例的比例。sensitivity
(2)负正类率(false postive rate)fpr：fp/(fp+tn)，代表分类器预测的正类中实际负实例占所有负实例的比例。1-specificity
(3)真负类率(true negative rate)tnr： tn/(fp+tn)，代表分类器预测的负类中实际负实例占所有负实例的比例，tnr=1-fpr。specificity
假设采用逻辑回归分类器，其给出针对每个实例为正类的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正类，小于0.6的为负类。对应的就可以算出一组(fpr,tpr)，在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即tpr和fpr会同时增大。阈值最大时，对应坐标点为(0,0)，阈值最小时，对应坐标点(1,1)。
如下面这幅图，(a)图中实线为roc曲线，线上每个点对应一个阈值。
横轴fpr：1-tnr，1-specificity，fpr越大，预测正类中实际负类越多。
纵轴tpr：sensitivity(正类覆盖率)，tpr越大，预测正类中实际正类越多。
理想目标：tpr=1，fpr=0,即图中(0,1)点，故roc曲线越靠拢(0,1)点，越偏离45度对角线越好，sensitivity、specificity越大效果越好。
二、如何画roc曲线
假设已经得出一系列样本被划分为正类的概率，然后按照大小排序，下图是一个示例，图中共有20个测试样本，“class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“score”表示每个测试样本属于正样本的概率。
接下来，我们从高到低，依次将“score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组fpr和tpr，即roc曲线上的一点。这样一来，我们一共得到了20组fpr和tpr的值，将它们画在roc曲线的结果如下图：
auc(area under curve)：roc曲线下的面积，介于0.1和1之间。auc作为数值可以直观的评价分类器的好坏，值越大越好。
首先auc值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的score值将这个正样本排在负样本前面的概率就是auc值，auc值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。
三、为什么使用roc和auc评价分类器
既然已经这么多标准，为什么还要使用roc和auc呢？因为roc曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，roc曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距较大，而且测试数据中的正负样本也可能随着时间变化。下图是roc曲线和presision-recall曲线的对比：
在上图中，(a)和(c)为roc曲线，(b)和(d)为precision-recall曲线。
(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，roc曲线基本保持原貌，而precision-recall曲线变化较大。
一氧化碳检测仪的特点与安装
远程控制树莓派3b上的pi pico
Alavening无线声控闹钟音箱怎么样 值不值得买
学会这7个步骤，轻松掌握PCB线路板厂丝网印刷工艺流程操作保养！
半导体行业2012年报告：行业保持平缓增长
如何画roc曲线？为什么使用Roc和Auc评价分类器?
解决用电疏漏电力监控系统的设计与应用
意法半导体发布首款经过认证的OpenTV 5中间件驱动程序
苹果计划报废M1版MacBook？
移远通信荣获中国联通最佳5G模组合作伙伴奖
薄膜电阻和厚膜电阻的区别是什么？哪个好？
智能物联网解决方案：蓝牙IOT主控模块打造高效监测和超低功耗
NASA打造能在金星表面执行任务超强无人机
在bash中如何创建函数
NI为美海军提供通信测试设备
中兴通讯发布政企业务“双百千”商业合作计划
基于EAIDK310的视觉导航自动驾驶小车
瑞萨电子和Green Hills软件公司合作开发网联驾驶舱演示车
HMC453ST89功率放大器
RK3588 debian搭建RK3588 Kernel 编译环境
1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。
横轴：负正类率(false postive rate fpr)特异度，划分实例中所有负例占所有负例的比例；(1-specificity)
纵轴：真正类率(true postive rate tpr)灵敏度，sensitivity(正类覆盖率)
2、针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况.
(1)若一个实例是正类并且被预测为正类，即为真正类(true postive tp)
(2)若一个实例是正类，但是被预测成为负类，即为假负类(false negative fn)
(3)若一个实例是负类，但是被预测成为正类，即为假正类(false postive fp)
(4)若一个实例是负类，但是被预测成为负类，即为真负类(true negative tn)
tp：正确的肯定数目
fn：漏报，没有找到正确匹配的数目
fp：误报，没有的匹配不正确
tn：正确拒绝的非匹配数目
列联表如下，1代表正类，0代表负类：
由上表可得出横，纵轴的计算公式：
(1)真正类率(true postive rate)tpr：tp/(tp+fn)，代表分类器预测的正类中实际正实例占所有正实例的比例。sensitivity
(2)负正类率(false postive rate)fpr：fp/(fp+tn)，代表分类器预测的正类中实际负实例占所有负实例的比例。1-specificity
(3)真负类率(true negative rate)tnr： tn/(fp+tn)，代表分类器预测的负类中实际负实例占所有负实例的比例，tnr=1-fpr。specificity
假设采用逻辑回归分类器，其给出针对每个实例为正类的概率，那么通过设定一个阈值如0.6，概率大于等于0.6的为正类，小于0.6的为负类。对应的就可以算出一组(fpr,tpr)，在平面中得到对应坐标点。随着阈值的逐渐减小，越来越多的实例被划分为正类，但是这些正类中同样也掺杂着真正的负实例，即tpr和fpr会同时增大。阈值最大时，对应坐标点为(0,0)，阈值最小时，对应坐标点(1,1)。
如下面这幅图，(a)图中实线为roc曲线，线上每个点对应一个阈值。
横轴fpr：1-tnr，1-specificity，fpr越大，预测正类中实际负类越多。
纵轴tpr：sensitivity(正类覆盖率)，tpr越大，预测正类中实际正类越多。
理想目标：tpr=1，fpr=0,即图中(0,1)点，故roc曲线越靠拢(0,1)点，越偏离45度对角线越好，sensitivity、specificity越大效果越好。
二、如何画roc曲线
假设已经得出一系列样本被划分为正类的概率，然后按照大小排序，下图是一个示例，图中共有20个测试样本，“class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“score”表示每个测试样本属于正样本的概率。
接下来，我们从高到低，依次将“score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组fpr和tpr，即roc曲线上的一点。这样一来，我们一共得到了20组fpr和tpr的值，将它们画在roc曲线的结果如下图：
auc(area under curve)：roc曲线下的面积，介于0.1和1之间。auc作为数值可以直观的评价分类器的好坏，值越大越好。
首先auc值是一个概率值，当你随机挑选一个正样本以及负样本，当前的分类算法根据计算得到的score值将这个正样本排在负样本前面的概率就是auc值，auc值越大，当前分类算法越有可能将正样本排在负样本前面，从而能够更好地分类。
三、为什么使用roc和auc评价分类器
既然已经这么多标准，为什么还要使用roc和auc呢？因为roc曲线有个很好的特性：当测试集中的正负样本的分布变换的时候，roc曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡，即正负样本比例差距较大，而且测试数据中的正负样本也可能随着时间变化。下图是roc曲线和presision-recall曲线的对比：
在上图中，(a)和(c)为roc曲线，(b)和(d)为precision-recall曲线。
(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，roc曲线基本保持原貌，而precision-recall曲线变化较大。
一氧化碳检测仪的特点与安装
远程控制树莓派3b上的pi pico
Alavening无线声控闹钟音箱怎么样 值不值得买
学会这7个步骤，轻松掌握PCB线路板厂丝网印刷工艺流程操作保养！
半导体行业2012年报告：行业保持平缓增长
如何画roc曲线？为什么使用Roc和Auc评价分类器?
解决用电疏漏电力监控系统的设计与应用
意法半导体发布首款经过认证的OpenTV 5中间件驱动程序
苹果计划报废M1版MacBook？
移远通信荣获中国联通最佳5G模组合作伙伴奖
薄膜电阻和厚膜电阻的区别是什么？哪个好？
智能物联网解决方案：蓝牙IOT主控模块打造高效监测和超低功耗
NASA打造能在金星表面执行任务超强无人机
在bash中如何创建函数
NI为美海军提供通信测试设备
中兴通讯发布政企业务“双百千”商业合作计划
基于EAIDK310的视觉导航自动驾驶小车
瑞萨电子和Green Hills软件公司合作开发网联驾驶舱演示车
HMC453ST89功率放大器
RK3588 debian搭建RK3588 Kernel 编译环境