Sklearn 机器学习模型 | 菜鸟教程

机器学习模型是实现自动化数据分析、模式识别和预测的核心工具。
根据任务类型的不同，机器学习模型通常可以分为：
本章节将详细介绍这些常见的机器学习模型，并介绍如何评估和优化模型。
分类问题是机器学习中最常见的问题之一，其目的是将输入数据映射到离散的类别标签。
逻辑回归虽然名字中带"回归"，但本质是概率型分类模型，常用于二分类问题。
K-近邻（KNN）是一种基于实例的学习方法，预测时通过计算待预测样本与训练集中所有样本的距离，选取距离最近的 K 个邻居，并根据邻居的标签进行预测。
支持向量机是一种强大的分类模型，尤其适用于高维数据。
SVM 的基本思想是找到一个超平面，使得不同类别的样本点之间的间隔最大化。对于非线性可分的数据，SVM 通过核技巧将数据映射到高维空间，找到一个分隔超平面。
决策树是一种树形结构的分类模型，通过对数据进行分裂，最终将数据划分到不同的类别。随机森林则是通过构建多棵决策树，并通过投票或平均来决定最终的预测结果。
决策树通过选择最优的特征进行数据划分，选择准则通常是 信息增益 或 基尼系数。
随机森林通过多棵决策树的集成来减少过拟合，并提高模型的准确性。它通过引入随机性（如随机选择特征、随机选择数据子集）来增加模型的多样性。
回归问题的目标是预测一个连续的输出变量。常见的回归模型包括线性回归、岭回归和 Lasso 回归。
线性回归通过拟合一条直线来预测目标变量。其核心假设是特征与目标变量之间存在线性关系。
对于一个简单的线性回归问题，模型可以表示为：
岭回归是线性回归的一个变种，使用 L2 正则化 来约束模型的复杂度，避免过拟合。通过惩罚回归系数的大小，岭回归能更好地处理多重共线性问题。
Lasso 回归也是线性回归的一种形式，它使用 L1 正则化 来对回归系数进行惩罚。与岭回归不同，Lasso 会将一些回归系数压缩到零，从而实现特征选择。
聚类是一种无监督学习方法，其目标是将数据集中的对象分为不同的组（或簇），使得同一簇中的对象尽可能相似，而不同簇之间的对象尽可能不同。
K-均值是一种常见的聚类算法，目标是将数据分为 K 个簇，通过最小化每个数据点与其簇中心的距离来优化簇划分。
DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一种基于密度的聚类算法，它通过寻找密度相对较高的区域来进行聚类，不需要事先指定簇的数量。
层次聚类是一种通过递归地合并或分割簇的方式进行聚类的方法。常用的层次聚类方法有 凝聚型聚类（Agglomerative）和 分裂型聚类（Divisive）。
在机器学习中，模型训练完成后，需要通过合理的评估方法来判断模型的泛化能力，并选择性能最优的模型。
准确率（Accuracy） -- 所有样本中预测正确的比例：适合类别分布较均衡的情况
精确率（Precision） -- 预测为正类的样本中，真正为正的比例：关注"预测为正是否靠谱"
召回率（Recall） -- 所有实际为正类的样本中，被模型正确识别出来的比例：关注"正样本是否被漏掉"
Precision 与 Recall 的调和平均值：
最常见、最直观的评估方式是将数据集划分为：
该方法简单高效，适合入门阶段理解模型效果。
交叉验证通过多次划分数据集进行训练与测试，从而获得更加稳定、可靠的模型性能评估结果。
实际项目中通常要么使用留出法，要么使用交叉验证，不需要同时混用。
模型性能往往受到超参数设置影响较大。网格搜索通过遍历参数组合，自动寻找最优配置。