课时安排：4课时 

本讲实验工具：Anaconda平台、Jupyter Notebook

核心问题

1. 为什么不同Tokenizer会把同一句话切分成不同形式？

2. 什么样的tokenization算“更好”？

主要内容

• 回顾：Tokenization的基本过程

• Word-level、Character-level与Subword分词思路

• BPE的基本思想及原理演示

• BERT类vsGPT类Tokenizer

• Token、Token ID、Vocabulary与特殊Token

• OOV、序列长度与词表覆盖 

互动演示

• 演示:Tokenization策略与权衡

• BPE算法基本步骤演示

• BPE算法“连连看”小游戏

课堂实验 Lab 1 使用三类工具处理相同文本：

1. 中文传统分词工具（Jieba，HanLP）

2. BERT类Tokenizer

3. GPT类Tokenizer

第1步：测试上周布置准备的文本，类型包括

• 中英混合文本

• 网络新词和专有名词

• 错拼、缩写、网址和表情符号

第2步：实验记录

• Token序列、Token数量、Token ID、特殊Token

• 陌生或异常片段

• 最有解释价值的差异

第3步：实验结果描述和解释

从以下维度比较：

• 边界是否合理，是否过度切碎

• 是否保留专有名词

• 是否出现未知Token 

• 不同语言的Token成本是否不同

课堂讨论 Research Thinking

若某种tokenizer更符合词语直觉，它就一定更适合语言模型吗？