17370845950

应选择生成式摘要任务，使用Hugging Face上预训练的Seq2Seq模型（如bart-base或pegasus-xsum）微调，配合Trainer API、合理数据清洗、关键超参设置及ROUGE与人工评估结合。

用Python训练一个能自动生成文章摘要的模型，核心在于选对任务类型、数据格式、模型结构和评估方式。不是直接“喂文本出摘要”就行，得先明确是抽取式（从原文挑句子）还是生成式（像人一样重写），目前主流效果好、易上手的是生成式，推荐基于Transformer的预训练模型微调。

选模型：优先用Hugging Face上的预训练Seq2Seq模型

别从零搭Transformer，直接用现成的轻量级生成模型，比如facebook/bart-base或google/pegasus-xsum（适合新闻类短摘要）。它们已在大规模语料上预训练过，只需在你的领域数据上做监督微调。Hugging Face的Trainer API能自动处理数据加载、loss计算、梯度更新和checkpoint保存，省去大量底层代码。

• 安装依赖：pip install transformers datasets torch scikit-learn
• 加载模型和分词器时设add_prefix_space=True（尤其用BART时），避免子词切分错误
• 输入长度建议控制在512以内，摘要输出长度限制在64–128 token，防止显存溢出和生成冗余

准备数据：格式统一、清洗到位、划分合理

摘要任务的数据必须是(原文, 摘要)对。常见问题包括：原文含HTML标签、摘要过长或为空、中英文混杂未归一化。用datasets.load_dataset("json", data_files={"train": "train.json"})加载后，加一步清洗函数：

• 用re.sub(r']+>', '', text)清HTML
• 过滤掉摘要长度＜5或＞150字符的样本（太短无信息，太长不像摘要）
• 按8:1:1切分训练/验证/测试集，验证集用于早停和学习率调整，测试集只最后跑一次

训练与调优：关键参数比模型选择更影响效果

微调不是“跑起来就行”，几个参数直接影响收敛速度和摘要质量：

• learning_rate=3e-5（BART/PEGASUS常用），太大易震荡，太小收敛慢
• per_device_train_batch_size=4–8（视GPU显存而定），配合gradient_accumulation_steps=4模拟大batch
• 用Seq2SeqTrainingArguments开启predict_with_generate=True，让验证时直接生成摘要而非算loss
• 早停看eval_rouge2（ROUGE-2分数），连续3轮不升就停，防过拟合

评估与优化：别只盯ROUGE，人工看三篇就知道问题在哪

ROUGE-L高≠摘要好。常出现“抄原文但换词不达意”“漏关键实体”“逻辑断层”。建议：

• 写个简单脚本，抽10条验证集样本，用model.generate()输出，并列显示原文、预测摘要、参考摘要
• 重点检查：是否保留时间/地点/人物等关键要素？是否把“未达成协议”错写成“达成协议”？有没有无意义重复？
• 若事实性差，尝试加入copy mechanism（如用Led模型）或在loss里加label_smoothing=0.1缓解过自信

基本上就这些。不复杂但容易忽略细节——比如没清洗数据导致token异常，或batch size设太大直接OOM。跑通第一版后，再逐步加beam search、prompt微调或领域适配。模型是工具，理解你的文本特征，比追求SOTA更重要。