17370845950

过拟合是模型在训练集表现好但测试集效果骤降，因记住噪声而非规律；可通过早停、正则化、简化结构、特征工程、数据增强等提升泛化能力。

过拟合是机器学习中最常见的问题之一：模型在训练集上表现极好，但在测试集或新数据上效果骤降。根本原因在于模型记住了训练数据的噪声和细节，而非学到可泛化的规律。提升泛化能力，关键不是让模型“更聪明”，而是让它“更克制”。

用验证集早停，防止训练过度

训练过程中持续监控验证集误差，当它开始上升而训练误差仍在下降时，说明模型已开始过拟合。此时立即停止训练，能有效保留泛化能力。

• 使用 sklearn.model_selection.train_test_split 划分训练集与验证集（如 8:2）
• Keras 中可用 EarlyStopping(monitor='val_loss', patience=10)
• PyTorch 需手动在每个 epoch 后计算验证损失，并保存最优模型参数

正则化：给模型加点“约束力”

正则化通过在损失函数中加入惩罚项，限制模型复杂度。L1 和 L2 是最常用方式，前者倾向产生稀疏权重（可用于特征选择），后者让权重整体偏小、更平滑。

• 线性模型中直接使用 sklearn.linear_model.Lasso（L1）或 Ridge（L2）
• 神经网络中，在全连接层后添加 torch.nn.Dropout(p=0.3) 或 Keras 的 Dropout(0.3)
• 树模型如随机森林本身具有集成抗过拟合能力；XGBoost 可设 lambda（L2）、alpha（L1）参数

简化模型结构，避免“杀鸡用牛刀”

模型越复杂，越容易拟合噪声。先从简单模型起步，逐步增加容量，只在验证性能确实提升时才升级。

• 决策树控制 max_depth、min_samples_split 等超参数
• 神经网络减少层数、每层神经元数量，或改用更轻量架构（如 MobileNet 替代 ResNet）
• 特征工程比堆模型更重要：删除冗余/高相关特征，做合理缩放，避免原始 ID 类特征直接输入

数据增强与更多真实样本

模型见过的模式越多，越不容易死记硬背。对小数据集，数据增强是低成本提升泛化能力的有效手段。

• 图像任务：随机旋转、翻转、裁剪、色彩抖动（torchvision.transforms 或 ImageDataGenerator）
• 文本任务：同义词替换、随机遮蔽、回译（back-translation）
• 结构化数据：SMOTE 过采样少数类（分类任务）、添加微小高斯噪声（需谨慎，不能破坏业务逻辑）

泛化能力不是靠调参堆出来的，而是靠对数据的理解、对模型边界的尊重，以及持续验证的习惯。不复杂但容易忽略。