文本怎样变成编号：语料、Token 和词表
从一句中文出发，理解字符、词与子词的切分，运行 Python 构建词表，再用互动实验观察 Token、编号与未知输入。配套 1080p 中文讲解视频。
分词
和「分词」相关的文章都收在这里，方便沿着同一个主题继续读下去。
标签归档
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
全部文章
和「分词」相关的文章都收在这里，方便沿着同一个主题继续读下去。
同一主题下的内容，会更容易看出思路是怎么慢慢长出来的。
从一句中文出发，理解字符、词与子词的切分，运行 Python 构建词表，再用互动实验观察 Token、编号与未知输入。配套 1080p 中文讲解视频。