17370845950

分词需用jieba等专业工具，推荐精确模式；须过滤停用词、统一大小写与全角半角；用正则清理URL、空白、数字等噪声；最后用Counter统计词频并可视化。

分词是文本清洗的第一步

中文没有天然空格分隔，直接按字或空格切分会丢失语义。得用专业分词工具，比如 jieba。它支持精确模式、全模式和搜索引擎模式，日常分析推荐精确模式——兼顾准确性和可读性。

安装很简单：pip install jieba。使用时先导入，再对句子调用 jieba.lcut()，返回的是词列表：

• import jieba
• text = "自然语言处理很有趣"
• words = jieba.lcut(text) # ['自然语言', '处理', '很', '有趣']

注意：默认词典可能不包含领域专有名词（如“BERT模型”“Transformer”），可通过 jieba.add_word("BERT模型") 手动补充，提升分词质量。

停用词过滤让词频更真实

“的”“了”“在”这类高频虚词对分析没帮助，反而干扰结果。清洗时要剔除它们。常用做法是加载停用词表（如哈工大、百度停用词库），或自己维护一个精简列表。

立即学习“Python免费学习笔记（深入）”；

建议流程：

• 准备停用词集合：stopwords = set(["的", "了", "在", "是", "我", "有", "和", "就", "不", "人", "都", "一", "一个"])
• 分词后过滤：clean_words = [w for w in words if w not in stopwords and len(w) > 1]
• 避免大小写/全角半角混杂，统一转小写、去空格：w.strip().lower()

如果处理大量文本，可把停用词逻辑封装成函数，配合 map() 或列表推导式批量执行。

正则表达式清理噪声最灵活

原始文本常含网址、邮箱、日期、多余标点、乱码等。正则（re 模块）是清理主力，比字符串方法更可控。

几个高频场景及写法：

• 删URL：re.sub(r'https?://\S+|www\.\S+', '', text)
• 删连续空白（含换行、制表）：re.sub(r'\s+', ' ', text).strip()
• 删纯数字或带单位的数字（如“123”“￥59.9”）：re.sub(r'[\d.]+[¥元%]?', '', text)
• 保留中文、英文字母、常用符号（如顿号、逗号、句号）：re.sub(r'[^\u4e00-\u9fa5a-zA-Z，。！？；：“”‘’（）《》、\s]', '', text)

注意：正则优先测试再上线，用 re.findall() 先验证匹配效果；复杂规则建议加 re.UNICODE 标志确保中文兼容。

词频统计与简单可视化

清洗+分词+去停用后，就能统计词频了。Python 自带 collections.Counter 最轻量高效：

• from collections import Counter
• word_count = Counter(clean_words)
• top10 = word_count.most_common(10) # 返回前10高频词及次数

想看图？用 matplotlib 或 seaborn 画柱状图即可。注意横轴词太多时，用 plt.yticks(rotation=30) 防重叠；词频差异大可考虑对数坐标。

进阶提示：若需关键词提取（不只是频次），可尝试 TF-IDF（sklearn.feature_extraction.text.TfidfVectorizer）或 TextRank（jieba.analyse）。