课时安排：2课时

教师示范所用工具：Google Colab

核心问题

1. 机器为什么不能直接处理词义？

2. 怎样将语言转化为可处理的数据？

主要内容

• 课程介绍：内容模块、教学进度、考核方式等

• NLP是什么

• NLP与语言学、计算语言学、人工智能的关系

• NLP的主要难点和挑战

• NLP的典型任务

• 技术发展简史：规则、统计、神经网络、LLM，四个阶段

• Character、Word与Token的区别

• Token、Type与Vocabulary

• Token为什么是模型的计算入口

课堂示范

输入例句，对照人工和几类分词工具的输出：

• 1、人工母语直觉来划分词语

• 2、传统中文分词工具（例如：jiehai、HanLP）

• 3、预训练模型（如：tranformer AutoTokenizer）

教师做示范，学生观察差异，本周暂不要求操作。

课堂讨论

1. token是自然语言中客观存在的单位，还是模型根据任务作出的计算选择？

2. token为什么是模型的计算入口？

3. 模型输出正确，是否意味着模型真正理解了句子？

课后任务

学生准备3—5条可能存在切分争议的文本，以备下周实验Lab1使用，如：

专有名词；中英混合表达；网络新词；表情符号；歧义短语。