职称：教师
大数据基础
湖南大学
主讲教师：何柳依、李文
教师团队：共2位
- 李文
- 何柳依
（一）课程中文简介
大数据基础作为大数据领域的入门课程，其核心宗旨在于为学生建立通往大数据知识空间的坚实基础。这门课程不仅仅是对大数据这一前沿领域的初步探索，更是一次深入学习与理解的起点。为了实现这一目标，课程安排遵循了四大核心原则。
首先是构建知识体系，通过系统化的教学内容，帮助学生逐步构建起关于大数据的完整认知框架，使其能够清晰地把握大数据的基本概念、发展历程及未来趋势；第二是阐明大数据基本原理，深入浅出地解析大数据背后的技术原理与核心算法，让学生理解数据如何被收集、存储、处理、分析及应用；第三是引导初级实践，通过实践操作与案例分析，鼓励学生动手尝试，培养解决实际问题的能力；最后是了解相关应用，介绍大数据在各行各业中的广泛应用案例，拓宽学生的视野，激发其创新思维，为未来在大数据领域的深入探索奠定基础。
课程将系统讲授大数据的基本概念、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、分布式并行编程模型MapReduce、数据仓库Hive、基于内存的大数据处理架构Spark、大数据在互联网、生物医学和物流等各个领域的应用。在Hadoop、HDFS、HBase、MapReduce、Spark等重要章节，安排了入门级的实践操作，让学生更好地学习和掌握大数据关键技术。
（二）课程英文简介
As an introductory course in the field of big data, Fundamentals of Big Data Technology aims to build a solid foundational knowledge for students. This course serves not only as an initial exploration of the big data domain but also as a stepping stone for more advanced study. To achieve this, the course design follows four principles.
First, the course design focus on building a knowledge system, guiding students through an overview of big data, including its basic concepts, developmental history, and future trends. Second, the course design includes clarifying the fundamental principles of big data by detailing the underlying technical principles and algorithms, enabling students to understand the processes of data collection, storage, processing, analysis, and application. Third, the course incorporates practical experiments through case studies teaching and hands-on exercises designs. Students are expected to finish practical exercises and develop problem-solving skills. Finally, the course design covers relevant applications by introducing a wide range of real-world big data cases across various industries, which is expected to stimulating students’ innovative thinking, and laying the foundation for future in-depth exploration in the field of big data.
The course covers essential topics in big data, including basic concepts, the Hadoop processing framework, the distributed file system HDFS, the distributed database HBase, NoSQL databases, cloud databases, the distributed parallel programming model MapReduce, Hive, and the in-memory big data processing framework Spark. Additionally, it included the introductions of big data applications in various fields such as the internet, biomedical sciences, and logistics. For key chapters like Hadoop, HDFS, HBase, MapReduce, and Spark, practical experiments are designed to help students effectively learn and master these critical big data technologies.
…
| 学校： | 湖南大学 |
| 开课院系： | 工商管理学院 |
| 课程编号： | BA04056 |
| 学分： | 3 |
| 课时： | 64 |
第一章 大数据概述
教学目的与要求：
本章要求学生了解大数据的基本概念和应用领域，发展历程以及关键技术，了解大数据、云计算和物联网的相互关系。
教学重点：
大数据的概念、关键技术和计算模式。
教学难点：
大数据关键技术与计算模式的理解，大数据与其他技术之间的关系。
教学内容：
1、大数据发展历
2、大数据的概念
3、大数据的影响与应用
4、大数据关键技术
5、大数据计算模式
6、大数据产业
7、大数据与云计算和物联网的关系
教学思政元素：讲述我国的大数据战略内容，体现大数据技术对数字经济发展的重要性。
学时分配：
理论学时：2
支撑毕业要求（选填）：
无
第二章 大数据处理架构Hadoop
教学目的与要求：
本章节要求学生了解Hadoop发展历程、版本演变、生态系统，包括HDFS、HBase、MapReduce、Hive等。了解Hadoop的安装与使用。
教学重点：
Hadoop特性、应用及其生态系统、Hadoop安装使用。
教学难点：
Hadoop生态组成及其安装使用。
教学内容：
1、Hadoop概述，包括其简介、发展、特性、应用现状和版本
2、Hadoop生态
3、Hadoop的安装与使用。
教学思政元素：
结合Hadoop的开源生态，讲解开源社区的贡献者如何精益求精的完善技术，引导学生树立乐于奉献和精益求精的工匠精神。
学时分配：
理论学时：2
实验学时：2（Ubuntu Server安装与linux命令熟悉）+2（hadoop的部署安装）
支撑毕业要求（选填）：
无
第三章 分布式文件系统HDFS
教学目的与要求：
本章节要求学生了解分布式文件系统结构和设计需求；了解HDFS相关概念、体系结构、存储原理、读写过程。
教学重点：
分布式文件系统HDFS的体系结构、存储原理、读写过程。
教学难点：
HDFS结构、存储、读写及其编程操作。
教学内容：
1、分布式文件系统
2、HDFS简介
3、HDFS的相关概念
4、HDFS体系结构
5、HDFS的存储原理
6、HDFS的数据读写过程
7、HDFS的编程实践。
教学思政元素：
讲述因Hadoop配置不当导致使用HDFS的4000余台服务器数据泄露案例，强调数据安全的重要性，强化学生的责任意识。
学时分配：
理论学时：4
实验学时：2（hdfs常用命令练习）
支撑毕业要求（选填）：
无
第四章 分布式数据库HBase
教学目的与要求：
本章节要求学生了解HBase概述、访问接口、数据模型、实现原理、运行机制和编程实践。
教学重点：
分布式数据库HBase的运行机制和实践。
教学难点：
HBase原理、机制与编程实践。
教学内容：
1、HBase概述
2、HBase访问接口
3、HBase数据模型
4、HBase的实现原理
5、HBase运行机制
6、HBase编程实践。
教学思政元素：
讲述数据隐私保护机制时，引入有关数据保护的法律法规（如《个人信息保护法》）。强调遵守这些法律法规的重要性，以及对个人隐私的尊重。
学时分配：
理论学时：4
实验学时：2（hbase安装配置）+2（hbase编程实践）
支撑毕业要求（选填）：
无
第五章 NoSQL数据库
教学目的与要求：
本章节要求学生了解NoSQL数据库的兴起原因、主要特性、四大类型、三大基石、NewSQL数据库。
教学重点：
NoSQL数据库的特性、类别与基石。
教学难点：
NoSQL与关系型数据库的差别。
教学内容：
1、NoSQL简介
2、NoSQL兴起原因
3、NoSQL与关系数据库的比较
4、NoSQL的四大类型
5、NoSQL的三大基石
6、从NoSQL到NewSQL
教学思政元素：
结合NoSQL产生的原因，阐述市场需求如何作为强大驱动力，催生新技术产生；同时，激励学生积极洞察新兴需求，勇于探索未知领域，以此激发创新思维的火花，推动科技社会进步。
学时分配：
理论学时：2
支撑毕业要求（选填）：
无
第六章 云数据库
教学目的与要求：
本章节要求学生了解云数据库概念、兴起基础、特性以及与其他数据库的关系；并了解相关云数据库产品以及云数据库系统架构。
教学重点：
云数据库概念、特性和系统架构。
教学难点：
云数据库架构与应用优势。
教学内容：
1、云数据库概述
2、云数据库产品
3、云数据库系统架构。
教学思政元素：
讨论云数据库的安全措施时，可以引入国家对于数据安全的政策，强化学生的安全意识和责任感。
学时分配：
理论学时：2
支撑毕业要求（选填）：
无
第七章MapReduce
教学目的与要求：
本章节要求学生了解分布式并行编程的概念，了解MapReduce模型，工作流程，具体应用和编程实践。
教学重点：
分布式并行编程概念和MapReduce工作流程。
教学难点：
MapReduce工作原理和编程实践。
教学内容：
1、概述
2、MapReduce的工作流程
3、实例分析
4、MapReduce具体应用
5、MapReduce编程实践
教学思政元素：
结合MapReduce原理，讲述“分而治之，先分后合”的思想，说明在日常工作中进行协调、任务调度的重要性。
学时分配：
理论学时：2
实验学时：2（mapreduce编程）
支撑毕业要求（选填）：
无
第八章 数据仓库Hive
教学目的与要求：
本章节要求学生了解数据仓库Hive系统架构、工作原理以及Hive编程实践。
教学重点：
Hive工作原理、与Hadoop生态中其他组件的关系、与传统数据库的对比分析。
教学难点：
Hive的工作原理和编程实践。
教学内容：
1、概述
2、Hive系统架构
3、Hive工作原理
4、Hive HA基本原理
5、Hive编程实践。
教学思政元素：
讲述Hive技术的创新之处，并进一步引发学生思辨当代青年在科技创新、科技强国中应担当的使命和责任。
学时分配：
理论学时：2
实验学时：2（hive安装配置）+2（hive编程实践）
支撑毕业要求（选填）：
无
第九章 Spark
教学目的与要求：
本章节要求学生了解Spark与Hadoop的对比差别、Spark生态系统、运行架构、部署和应用方式、编程实践。
教学重点：
Spark运行架构和实践。
教学难点：
Spark运行原理、流程、部署和编程实践。
教学内容：
1、概述
2、Spark生态系统
3、Spark运行架构
4、Spark的部署和应用方式
5、Spark编程实践。
教学思政元素：
讲述Spark应用中的创新实例，初步介绍Spark中用于机器（深度）学习库，培养学生的创新思维和自我深度学习的能力。
学时分配：
理论学时：6
实验学时：2（spark安装配置）+2（sparksql语言）+2（spark mllib）
支撑毕业要求（选填）：
无
第十讲 大数据应用
教学目的与要求：
本章节将结合前面十一讲的内容，带领学生了解大数据技术在互联网、生物医学以及其他领域的应用；将主要以互联网领域推荐系统为例进行讲述；学生需组队完成一大数据项目。
教学重点：
大数据技术的实际应用。
教学难点：
将大数据技术用于解决实际问题（大数据项目）
教学内容：
1、大数据在互联网领域的应用（推荐系统）
2、大数据在生物医学领域的应用
3、大数据的其他应用
4、大数据项目实践。
教学思政元素：
通过应用案例的讲授，强调大数据技术如何促进社会进步，改善人民生活质量；引导学生思考大数据技术应用的伦理边界，避免技术滥用带来的负面影响。
学时分配：
理论学时：2
实验学时：10（完成课程实验报告）
支撑毕业要求（选填）：
无
第十一章 流计算
教学目的与要求：
本章节要求学生了解流计算的概念、框架、处理流程、应用；了解流计算框架Storm和Spark Streaming。
教学重点：
流计算概念和处理流程。
教学难点：
流计算原理和框架设计。
教学内容：
1、流计算概述
2、流计算的处理流程
3、流计算的应用
4、开源流计算框架Storm
5、Spark Streaming
教学思政元素：
介绍流计算技术在金融服务、互联网、物联网等领域的重要应用，引导学生认识流计算技术对于服务国家经济发展的意义。
学时分配：
理论学时：2
支撑毕业要求（选填）：
无
第十二讲 Flink
教学目的与要求：
本章节要求学生了解Flink流计算框架、应用场景、技术栈、体系架构、编程模型等。
教学重点：
Flink框架、优势与编程模型。
教学难点：
Flink体系架构和编程实践。
教学内容：
1、Flink简介
2、Flink优势
3、Flink应用场景
4、Flink技术栈
5、Flink体系架构
6、Flink编程模型
7、Flink编程实践。
教学思政元素：
以阿里如何推动Flink开源社区创新为例，讲述我国在大数据领域的优势和创新成果，激发学生的民族自豪感和爱国情怀。
学时分配：
理论学时：2
支撑毕业要求（选填）：
无
