职称：教师
大语言模型与经济学研究
湖南大学
主讲教师：肖皓
教师团队：共3位
- 肖柏高
- 孙天宇
- 肖皓
大语言模型课程简介
本课程聚焦于当下人工智能领域的前沿技术 —— 大语言模型，旨在为学员打造从理论基础到实践应用的全方位学习体验，帮助学员深入理解并熟练掌握大语言模型的核心知识与技能。
课程内容丰富且系统，从大语言模型的发展脉络入手，详细剖析其背后的技术原理，涵盖从早期的统计语言模型到如今先进的大语言模型的演进历程，让学员清晰把握技术发展的趋势。深入讲解大语言模型的关键技术，如规模扩展、数据工程、高效预训练等，揭示模型强大能力的实现机制。同时，课程对模型训练的各个环节进行细致拆解，包括数据准备、模型架构设计、预训练任务选择、优化参数设置等，使学员具备独立进行模型训练和优化的能力。在微调与对齐、模型使用、评测与应用等方面，课程也提供了全面且深入的知识讲解和实践指导，让学员能够根据不同的场景需求，灵活运用大语言模型技术解决实际问题。
教学过程中，采用理论讲授、案例分析与实践操作相结合的方式。理论讲解注重深入浅出，将复杂的技术概念和原理以通俗易懂的方式呈现给学员；案例分析环节引入大量实际应用案例，从自然语言处理到信息检索，从医疗到教育等领域，帮助学员更好地理解大语言模型在不同场景下的应用逻辑和价值；实践操作环节安排丰富的实验和项目，让学员在实际操作中巩固所学知识，提升动手能力和解决实际问题的能力。
通过本课程的学习，学员将收获扎实的大语言模型理论知识，掌握模型训练、优化、应用和评估的核心技能，能够在相关领域的研究和开发工作中发挥重要作用。无论是希望深入探索人工智能技术的科研人员，还是渴望将大语言模型应用于实际业务的开发者，都能从本课程中获得宝贵的知识和经验，为在大语言模型领域的职业发展和技术创新奠定坚实的基础。
…
| 学校： | 湖南大学 |
| 开课院系： | 经济与贸易学院 |
| 课程编号： | ET06084 |
| 学分： | 0 |
| 课时： | 0 |
| 第一周：大语言模型基础入门 | 1. 语言模型发展脉络：详细讲解从统计语言模型到神经语言模型，再到预训练语言模型，最终发展为大语言模型的历程，分析各阶段特点、技术突破与局限。 2. 大语言模型关键技术概览：介绍规模扩展、数据工程、高效预训练、能力激发、人类对齐和工具使用等关键技术的核心概念。 3. 模型资源介绍：梳理公开可用的模型检查点、API，常用的预训练和微调数据集，以及主流代码库资源。 | 课堂讲授，结合 PPT 展示各阶段语言模型的原理架构图，对比不同技术特点；列举实际应用案例，如 GPT 系列模型的发展；指导学员访问和查看相关资源。 | 布置课后作业，让学员查阅资料，分析某一开源大语言模型所使用的资源；进行小测验，考查基础概念理解。 |
| 第二周：大语言模型预训练基础 | 1. 数据准备：阐述数据来源，包括通用文本数据和专用文本数据；讲解数据预处理步骤，如质量过滤、敏感内容过滤和数据去重；介绍词元化方法，如 BPE 分词、WordPiece 分词和 Unigram 分词。 2. Transformer 模型架构：深入剖析 Transformer 模型的输入编码、多头自注意力机制、前馈网络层、编码器和解码器的结构与工作原理。 | 课堂讲授，结合数据处理案例讲解数据处理方法；通过动画演示 Transformer 模型各组件工作流程；引入实际代码示例，讲解模型架构在代码中的实现。 | 安排数据处理实践作业，让学员对给定数据集进行预处理和词元化操作；组织小组讨论，探讨 Transformer 模型架构的优势与潜在改进方向。 |
| 第三周：大语言模型预训练进阶与微调基础 | 1. 预训练任务与优化：介绍语言建模、去噪自编码和混合去噪器等预训练任务；讲解优化参数设置，如批次大小、学习率、优化器选择和稳定优化技术。 2. 指令微调基础：讲解指令微调概念，包括指令数据构建方法，如基于 NLP 任务数据集、日常对话数据和合成数据构建；介绍指令微调的训练策略和作用。 | 课堂讲授，结合数学公式和代码示例讲解预训练任务和优化参数；通过实际案例分析指令微调的效果；邀请企业专家分享实际应用中的经验。 | 布置预训练实验作业，让学员使用不同优化参数进行模型预训练并对比结果；要求学员根据给定任务构建指令微调数据集。 |
| 第四周：大语言模型微调与对齐深入及应用初探 | 1. 参数高效微调方法：介绍低秩适配（LoRA）微调方法及其变种，对比其他高效微调方法，如适配器微调、前缀微调、提示微调。 2. 人类对齐技术：讲解人类对齐的背景、标准；介绍基于人类反馈的强化学习（RLHF），包括其整体框架、关键步骤、人类反馈数据收集和奖励模型训练；探讨非强化学习的对齐方法。 3. 大语言模型应用场景介绍：分析大语言模型在研究领域（如自然语言处理、信息检索）和专业领域（如医疗、教育、法律、金融）的应用案例。 | 课堂讲授，通过原理示意图和代码实现讲解微调方法；组织小组讨论人类对齐的伦理和技术问题；邀请不同领域专家分享大语言模型应用案例。 | 安排参数高效微调实践作业，让学员使用 LoRA 方法对模型进行微调并评估效果；要求学员撰写报告，分析某一领域应用大语言模型的可行性和潜在挑战。 |
| 第五周：大语言模型评测、综合实践与前沿探索 | 1. 模型评测：介绍评测指标与方法，包括常见评测指标和评测范式；讲解基础能力评测和高级能力评测的内容；介绍公开综合评测体系。 2. 综合实践与课程总结：进行大语言模型的综合实践项目，如开发一个简单的基于大语言模型的应用；回顾课程重点知识，总结大语言模型技术的挑战与研究趋势。 | 课堂讲授评测知识；指导学员进行综合实践项目；组织课程总结讨论，邀请学员分享学习收获和体会。 | 以小组形式完成综合实践项目并进行展示答辩；布置课程总结报告作业，让学员梳理学习内容、总结收获和提出对未来研究的展望。 |