17370845950

特征工程是决定模型上限的关键环节，编码、归一化与标准化是硬性要求，直接影响收敛速度、稳定性与泛化能力；类别型特征需选对编码方式，避免模型误读数字顺序。

特征工程是机器学习项目中决定模型上限的关键环节，编码、归一化与标准化不是“可做可不做”的步骤，而是直接影响模型收敛速度、稳定性与泛化能力的硬性要求。尤其在混合数据类型（如类别+数值）、量纲差异大（如年龄 vs 收入 vs 商品ID）或使用距离敏感算法（KNN、SVM、KMeans、神经网络）时，跳过这步往往导致训练失败或结果不可靠。

类别型特征：选对编码方式比强行转数字更重要

类别变量不能直接丢给模型——数字大小本身没有顺序含义，但模型会误读为“1

• 标签编码（LabelEncoder）：仅适用于有序类别（如“低/中/高”、“S/M/L”），或作为树模型（如RandomForest、XGBoost）的输入预处理；对线性模型或距离模型慎用。
• 独热编码（OneHotEncoder）：适用于无序、取值不多的类别（如“省份”共34个，“颜色”共5种）。注意避免“哑变量陷阱”，可设 drop='first' 删除首列。
• 目标编码（TargetEncoder）：适合高基数类别（如用户ID、商品SKU），用目标变量的均值替代原始值，但必须用分组内交叉验证均值防数据泄露，scikit-learn不原生支持，可用 category_encoders 库。

数值型特征：归一化与标准化不是二选一，而是按需切换

两者都缩放数据，但解决的问题不同：

• Min-Max 归一化（MinMaxScaler）：把每列映射到 [0,1] 区间。适合特征分布近似均匀、无显著异常值，且模型明确要求输入在固定范围（如图像像素值、某些神经网络输入层）。
• Z-score 标准化（StandardScaler）：减均值除标准差，使数据均值为0、方差为1。更适合服从近似正态分布的数据，也是大多数线性模型（Logistic回归、SVM）、梯度下降类算法（LinearRegression、MLP）的默认推荐。
• 鲁棒缩放（RobustScaler）：用中位数和四分位距（IQR）缩放，对异常值不敏感。当数据含明显离群点（如收入中混入一个亿元样本）时优先考虑。

实战要点：顺序、拟合与部署一致性

再好的变换方法，用错时机也会引入泄漏或失效：

立即学习“Python免费学习笔记（深入）”；

• 先划分，再拟合：必须在 train/test 划分后，仅用 X_train 调用 .fit()，再用同一对象对 X_train 和 X_test 调用 .transform()。绝不能用全部数据 fit 再切分。
• 管道封装（Pipeline）是刚需：用 sklearn.pipeline.Pipeline 把编码器、缩放器、模型串成一体，既避免手动调用错误，也确保训练与预测流程完全一致。
• 保存 fitted 对象，而非原始数据：上线时需持久化已拟合的 OneHotEncoder、StandardScaler 等对象（用 joblib.dump），新样本进来直接 transform，不可重新 fit。

常见踩坑提醒

这些细节常被忽略，却直接导致线上效果崩坏：

• 对测试集单独做 fit_transform() → 数据泄露，指标虚高；
• 未处理缺失值就送入 OneHotEncoder → 报错或静默丢弃整行；
• 对 ID 类特征（如 user_id）做 one-hot → 维度爆炸，内存溢出；
• 将时间戳直接作为数值输入 → 模型误以为“2025年比2025年大1”，应拆解为年/月/日/星期几/是否节假日等语义特征。