数据分析打卡5

模型建立

所用库:sklearn
处理完前面的数据我们就得到建模数据,下一步是选择合适模型
在进行模型选择之前我们需要先知道数据集最终是进行监督学习还是无监督学习
模型的选择一方面是通过我们的任务来决定的。
除了根据我们任务来选择模型外,还可以根据数据样本量以及特征的稀疏性来决定
刚开始我们总是先尝试使用一个基本的模型来作为其baseline,进而再训练其他模型做对比,最终选择泛化能力或性能比较好的模型
数据分析打卡5

模型评估

交叉验证(cross-validation)是一种评估泛化性能的统计学方法,它比单次划分训练集和测试集的方法更加稳定、全面。
在交叉验证中,数据被多次划分,并且需要训练多个模型。
最常用的交叉验证是 k 折交叉验证(k-fold cross-validation),其中 k 是由用户指定的数字,通常取 5 或 10。

准确率(precision)度量的是被预测为正例的样本中有多少是真正的正例
召回率(recall)度量的是正类样本中有多少被预测为正类
假阳率(False Positive Rate):分类器预测为正例的样本占实际负例样本数量的比例
f-分数是准确率与召回率的调和平均
混淆矩阵则是为了计算准确率和召回率
Roc曲线:反映了真阳性率(召回率)和假阳性率(1-特异度)之间的变化关系。Roc曲线越趋近于左上角,预测结果越准确