Sklearn 数据预处理 | 菜鸟教程

数据预处理是机器学习项目中的一个关键步骤，它直接影响模型的训练效果和最终性能。
在进行机器学习建模时，数据预处理是至关重要的一步，它帮助我们清洗和转换原始数据，以便为机器学习模型提供最佳的输入。
数据预处理涉及多个步骤，包括处理缺失值、数据转换、标准化、编码等。
合适的预处理不仅能提高模型的准确性，还能帮助模型更好地泛化。
机器学习算法通常无法直接处理缺失值，因此我们需要对缺失值进行处理。
通常可以使用 pandas 来查看数据集中的缺失值：
在 scikit-learn 中，SimpleImputer 可以轻松实现缺失值填充：
如果缺失值的数量较少，并且删除这些数据不会显著影响分析结果，另一种选择是直接删除缺失值。
机器学习算法对数据的尺度敏感，因此需要对数据进行缩放，使得特征具有相同的尺度。
标准化可以通过 StandardScaler 实现，它会将每个特征转换为零均值和单位方差：
归一化将每个特征缩放到一个指定的范围（通常是 [0, 1]）。
MinMaxScaler 用于将数据进行归一化：
标准化：对于距离度量（如 K 最近邻、支持向量机等）非常重要，因为特征的尺度不一致可能导致某些特征对模型的影响过大。标准化能确保每个特征对模型有相同的贡献。
归一化：有些算法（如神经网络、梯度下降优化算法等）对输入数据的范围非常敏感，归一化有助于加速收敛。
机器学习模型通常无法直接处理字符串类型的类别变量，因此需要将类别变量转化为数值型数据。
标签编码将每个类别映射到一个唯一的整数。
适用于类别之间有顺序关系的情况（例如，低、中、高）。
独热编码将每个类别转换为一个二进制的向量，适用于类别之间没有顺序关系的情况（例如，颜色、国家等）。
OneHotEncoder 可以将类别变量转化为独热编码。
在 pandas 中，也可以使用 get_dummies() 函数进行独热编码：
特征选择是通过选择最重要的特征来提高模型的性能，并减少计算成本。
使用一些机器学习模型（如决策树或随机森林）来评估特征的重要性，从而进行特征选择。
RFE 是一种通过递归的方式，逐步删除最不重要的特征，从而选择最优特征的方法。
特征工程是通过对现有特征进行处理、组合或构造新的特征，以提高模型的表现。
特征提取旨在从原始特征中提取出新的、更具表达力的特征。
常见的特征提取方法包括: 主成分分析（PCA） 和 线性判别分析（LDA）。
PCA 是一种常用的降维技术，它通过线性变换将数据从高维空间映射到低维空间，使得新特征（主成分）尽可能保留数据的方差。
PCA 特别适用于特征数量过多的情况，可以有效降低计算复杂度。
LDA 是一种监督学习的降维方法，它旨在找到一个线性组合，使得不同类别之间的距离最大化，类别内的距离最小化。
在分类问题中，如果数据集的各类别样本数量差异较大，可能会导致模型偏向预测多数类，从而影响模型的性能。
通过增加少数类样本的数量，使得数据集更加平衡。
常见的方法是使用 SMOTE（Synthetic Minority Over-sampling Technique） 算法。
通过减少多数类样本的数量，使得数据集更加平衡。