1．7．2 衡量模型是否成功：训练数据与测试数据 -Python机器学习基础教程(上)

当前位置:　首页>> 技术小册>> Python机器学习基础教程(上)

1.7.2 衡量模型是否成功：训练数据与测试数据

在Python机器学习项目的旅途中，评估模型的性能是至关重要的步骤。这不仅关乎于确认模型是否达到了预期的效果，还涉及到如何进一步优化以提升其泛化能力。本章将深入探讨如何通过合理划分训练数据与测试数据来科学地衡量模型的成功，以及这一过程中需要注意的关键点。

1.7.2.1 引言

机器学习模型的性能评估，核心在于理解模型在未见过的数据上的表现如何，即其泛化能力。为了实现这一目标，我们通常将数据集划分为三个部分：训练集（Training Set）、验证集（Validation Set，有时与测试集合并处理）、和测试集（Test Set）。然而，在许多基础教程或实践中，为了简化流程，常直接划分为训练集和测试集两部分。本章节将重点讲解这一简化模式下的操作与理解。

1.7.2.2 为什么需要划分数据集

1. 避免过拟合：过拟合是机器学习中的一个常见问题，指的是模型在训练数据上表现极佳，但在新数据（测试集）上性能显著下降的现象。通过划分训练集和测试集，我们可以评估模型在未知数据上的表现，从而识别并避免过拟合。

2. 评估模型的真实性能：训练集上的性能只能反映模型对已知数据的拟合程度，而测试集上的性能则更接近模型在真实世界应用中的表现。

3. 指导模型选择与调优：在多个候选模型中选择最佳模型，或对一个模型进行参数调优时，测试集的性能指标是关键的决策依据。

1.7.2.3 数据集划分的原则

1. 随机性：数据集应随机划分为训练集和测试集，以确保两者在数据分布上尽可能接近，减少因数据划分方式导致的偏差。

2. 独立性：测试集应与训练集完全独立，即测试集中的数据在模型训练过程中不应被使用或“看到”。

3. 比例合理：训练集应占据数据集的大部分（如70%-80%），以充分训练模型；测试集则用于评估模型性能，其比例一般不低于20%。比例的具体选择需根据数据量大小和模型复杂度来定。

1.7.2.4 划分数据集的方法

在Python中，有多种方式可以划分数据集，以下是一些常用的方法：

1. 使用scikit-learn的train_test_split函数

scikit-learn是Python中广泛使用的机器学习库，它提供了train_test_split函数来方便地进行数据集划分。

from sklearn.model_selection import train_test_split
# 假设X是特征数据，y是目标变量
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

这里，test_size=0.2表示测试集占总数据的20%，random_state是一个随机种子，用于确保每次划分结果的一致性。

2. 手动划分

对于小数据集或特定需求，有时需要手动划分数据集。这可以通过索引选择、切片操作或逻辑条件筛选等方式实现。

# 假设数据集大小为1000，我们想要前800个样本作为训练集
X_train = X[:800]
y_train = y[:800]
X_test = X[800:]
y_test = y[800:]

但请注意，这种方法缺乏随机性，可能导致数据划分不均。

3. 使用分层抽样

当目标变量（y）在不同类别中的分布不均衡时，应考虑使用分层抽样来确保训练集和测试集中各类别的比例一致。train_test_split函数通过stratify=y参数支持分层抽样。

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42, stratify=y)

1.7.2.5 评估模型性能

一旦数据集被划分为训练集和测试集，就可以使用训练集来训练模型，并使用测试集来评估模型的性能了。评估指标的选择取决于具体的机器学习任务，常见的评估指标包括准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1 Score）等。

from sklearn.metrics import accuracy_score
# 假设model是已经训练好的模型，y_pred是模型对测试集的预测结果
y_pred = model.predict(X_test)
accuracy = accuracy_score(y_test, y_pred)
print(f"Model accuracy: {accuracy:.2f}")