Sklearn 模型评估与调优 | 菜鸟教程

机器学习模型的评估与调优是确保模型泛化能力和预测准确度的关键步骤。
通过合适的评估指标和调优方法，可以有效提高模型性能，避免过拟合或欠拟合的风险。
本章节将详细介绍交叉验证、网格搜索、随机搜索、模型评估方法等内容。
交叉验证（Cross-Validation）是一种用于评估模型性能的技术，它通过将数据集分成多个子集（折叠），并多次训练和测试模型来获得更稳定、可靠的评估结果。
交叉验证有助于检测模型是否过拟合，并且能够更准确地评估模型的泛化能力。
scikit-learn 提供了多种交叉验证的方法，如 cross_val_score 和 cross_val_predict 等，可以帮助我们高效地进行交叉验证。
cross_val_score 函数用于执行 K-fold 交叉验证，返回每个折叠的评分结果，帮助我们评估模型的稳定性和性能。
使用 cross_val_score 执行 K-fold 交叉验证:
GridSearchCV 是一种通过穷举搜索所有超参数组合来找到最佳超参数的技术。
GridSearchCV 通过提供一组参数的候选值，计算每一种组合的性能，最终选择最佳的参数组合。
scikit-learn 使用 GridSearchCV 实例：
RandomizedSearchCV 是一种更高效的超参数调优方法，它通过从超参数空间中随机选择一定数量的组合进行评估，从而加速调优过程。
RandomizedSearchCV 适用于超参数空间较大时，可以节省计算时间。
RandomizedSearchCV 的常见参数：
scikit-learn 使用 RandomizedSearchCV 实例：
对于分类模型，我们通常使用精度、召回率、F1 分数等指标来评估模型性能。
scikit-learn 提供了许多评估工具，帮助我们深入了解模型的表现。
classification_report - 提供了精度、召回率、F1 分数和支持度（每个类别的样本数）等信息。
confusion_matrix - 混淆矩阵用于显示分类模型在各个类别上的表现，特别是如何将正类预测为负类，反之亦然。
roc_auc_score - ROC AUC（接收者操作特征曲线下面积）是评估分类模型性能的指标，尤其适用于不平衡数据集。AUC 值越高，模型性能越好。
对于回归问题，常用的评估指标包括 均方误差（MSE） 和 决定系数（R²）。
mean_squared_error - 均方误差是回归模型的常见评估标准，计算预测值与真实值之间的平方误差的均值。
r2_score - 决定系数 R² 用于衡量模型对数据的拟合程度，值越接近 1，表示模型拟合得越好。