中文分词与停用词：让模型先读懂文本边界

上一课我们把中文文本分类项目的数据流讲清楚了。现在进入第一步真正的文本处理：中文分词。

英文句子天然有空格，例如：

machine learning is useful

中文句子没有天然空格：

机器学习很有用

模型不能直接理解“这一整串字”里哪些部分是词。分词的作用就是先把句子切成更有意义的单位。

什么是分词

分词就是把句子切成词。

例如：

我喜欢机器学习

可以切成：

我 / 喜欢 / 机器学习

也可能切成：

我 / 喜欢 / 机器 / 学习

这两个结果都不是完全离谱，但对模型来说含义不一样。如果“机器学习”是一个整体概念，把它切开可能会损失信息。

为什么中文分词难

中文分词难在三个地方。

第一，词边界不明显。中文没有空格，模型不知道哪里该断。

第二，存在歧义。比如：

南京市长江大桥

可以理解成“南京市 / 长江大桥”，也可能被错误切成“南京 / 市长 / 江大桥”。

第三，领域词很多。比如 AI 学习笔记里会有：

随机森林 / 交叉验证 / 梯度下降 / 文本分类

通用分词工具不一定知道这些词应该连在一起。

常用工具：jieba

入门阶段可以先用 jieba。

import jieba

text = "我正在学习中文文本分类"
words = jieba.lcut(text)
print(words)

可能得到：

["我", "正在", "学习", "中文", "文本", "分类"]

jieba.lcut 会直接返回一个列表，后面可以继续做停用词过滤、词频统计、TF-IDF 特征提取。

自定义词典很重要

如果项目里有很多领域词，最好加自定义词。

jieba.add_word("随机森林")
jieba.add_word("交叉验证")
jieba.add_word("文本分类")

这样可以减少被错误切开的情况。

例如：

jieba.lcut("随机森林适合做文本分类吗")

更希望得到：

["随机森林", "适合", "做", "文本分类", "吗"]

而不是把重要概念拆得太碎。

什么是停用词

停用词是指在很多文本里频繁出现，但对分类帮助不大的词。

常见例子：

的、了、是、在、和、也、就、都、吗、吧

如果我们要判断文本主题，这些词往往贡献很小。把它们去掉，可以让特征更集中。

例如：

这个功能真的很好用

分词后：

这个 / 功能 / 真的 / 很 / 好用

去掉停用词后可能变成：

功能 / 好用

模型更容易抓住重点。

停用词不能乱删

停用词不是越多越好。有些词在某些任务里很重要。

比如情感分类中：

不好用

如果把“不”删掉，只剩下“好用”，意思就完全反了。

再比如：

没有收到验证码

“没有”对分类非常关键，不能轻易删除。

所以停用词表要根据任务调整。通用停用词表只能作为起点，不能直接无脑使用。

一个简单的处理函数

可以先写一个简单版本：

import jieba

stopwords = {"的", "了", "是", "在", "和", "也"}

def tokenize(text):
    words = jieba.lcut(text)
    words = [w.strip() for w in words if w.strip()]
    words = [w for w in words if w not in stopwords]
    return words

print(tokenize("这个功能真的很好用"))

这个函数做了三件事：

1. 分词；
2. 去掉空字符串；
3. 去掉停用词。

后面做 TF-IDF 时，就可以把它接入特征提取流程。

分词结果要抽样检查

分词不是写完代码就结束。你需要抽样看结果。

重点检查：

如果分词结果本身很差，后面的模型很难补救。

这一课先记住

中文分词解决的是“词边界”问题，停用词解决的是“无效高频词”问题。

但它们都不是固定答案。真正项目里要看数据、看任务、看错分样本，再决定怎么切、怎么删、怎么保留。

下一课我们把分词后的文本变成数字：TF-IDF。