3．3．3 对训练数据和测试数据进行相同的缩放 -Python机器学习基础教程(上)

当前位置:　首页>> 技术小册>> Python机器学习基础教程(上)

3.3.3 对训练数据和测试数据进行相同的缩放

在机器学习项目中，数据预处理是至关重要的一步，它直接关系到模型的性能与泛化能力。其中，特征缩放（Feature Scaling）是数据预处理中的一项关键技术，旨在将不同量级或分布范围的特征转换到同一尺度上，以便算法能够更有效地学习和比较这些特征。对于包含训练集和测试集（或验证集）的数据集来说，确保对这两部分数据应用相同的缩放参数尤为重要，这是因为在现实应用中，模型需要根据未见过的测试数据做出预测，而测试数据在模型训练期间是不可见的。因此，本章节将深入探讨为何需要对训练数据和测试数据进行相同的缩放，以及如何实现这一过程。

3.3.3.1 为何需要相同的缩放

保持数据分布的一致性：训练过程中，模型学习的是训练数据的分布特性。如果测试数据与训练数据在缩放上存在差异，那么模型在测试数据上的表现可能会大打折扣，因为模型“看到”的是“变形”的测试数据。
避免信息泄露：如果在对测试数据进行缩放时使用了测试数据本身的统计信息（如均值、标准差等），这实际上构成了一种信息泄露，因为在实际应用中，测试数据应当是完全未知的。因此，必须使用训练数据的统计信息来缩放测试数据。
提升模型性能：对于很多基于距离的算法（如K近邻、支持向量机）和需要梯度下降的算法（如逻辑回归、神经网络），特征缩放能够显著提高算法的收敛速度和性能。如果训练集和测试集使用不同的缩放参数，这些算法的效果将大打折扣。

3.3.3.2 常见的缩放方法

最小-最大标准化（Min-Max Scaling）：
这种方法将特征缩放到给定的最小值和最大值之间（通常是0和1），计算公式为：
[
X{\text{norm}} = \frac{X - X{\text{min}}}{X{\text{max}} - X{\text{min}}}
]
其中，$X{\text{min}}$ 和 $X{\text{max}}$ 是训练集上该特征的最小值和最大值。测试集也应使用相同的$X{\text{min}}$和$X{\text{max}}$进行缩放。
Z分数标准化（Z-Score Normalization）：
也称为标准差标准化，它将特征转换为均值为0、标准差为1的分布。计算公式为：
[
X_{\text{norm}} = \frac{X - \mu}{\sigma}
]
其中，$\mu$ 和 $\sigma$ 分别是训练集上该特征的均值和标准差。同样，测试集也需要使用训练集的$\mu$和$\sigma$进行缩放。
其他方法：
除了上述两种常用方法外，还有如对数变换、Box-Cox变换等更复杂的缩放方法，这些方法的选择依赖于数据的具体分布特性和模型的需求。

3.3.3.3 实践指南

使用Python和scikit-learn实现

在Python中，scikit-learn库提供了强大的数据预处理功能，包括多种特征缩放方法。以下是一个使用MinMaxScaler和StandardScaler对训练集和测试集进行相同缩放的示例。

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import MinMaxScaler, StandardScaler
import numpy as np
# 假设X是原始数据集，y是目标变量（这里为了示例省略y）
# X = np.array([[...], [...], ...])
# 划分训练集和测试集
X_train, X_test = train_test_split(X, test_size=0.2, random_state=42)
# 初始化缩放器
scaler_min_max = MinMaxScaler()
scaler_standard = StandardScaler()
# 使用训练集数据拟合缩放器
scaler_min_max.fit(X_train)
scaler_standard.fit(X_train)
# 应用缩放器到训练集和测试集
X_train_min_max = scaler_min_max.transform(X_train)
X_test_min_max = scaler_min_max.transform(X_test)  # 注意：这里使用的是训练集拟合的参数
X_train_standard = scaler_standard.transform(X_train)
X_test_standard = scaler_standard.transform(X_test)  # 同样，使用训练集拟合的参数
# 现在X_train_min_max, X_test_min_max, X_train_standard, X_test_standard都已准备好用于后续建模