视频第1次课-大数据概述
◆
◆
个人介绍
主讲教师：贾伟峰
| 课时： | 0 |
课程介绍
本课程是数据科学与大数据技术专业的专业核心课程，是研究大数据采集及预处理技术的必修课程。通过本课程的学习，可以了解和掌握大数据采集架构和常用工具，包括系统日志采集、互联网数据采集的主流工具及应用思路；重点关注基于Flume、Kafka和Logstash的系统日志采集以及基于网络爬虫的互联网数据采集。同时，掌握常用的数据预处理方法，对采集的大规模海量数据能进行及时的数据预处理，包括数据清洗，数据集成，数据归约等。
本课程是在《大数据技术及应用》、《数据库系统与数据仓库》的基本理论学习之后开设，为后继课程《非关系数据库》、《大数据分析与挖掘》、《数据可视化》和《大数据平台编程实践》等课程奠定理论和实践的基础。课程评价
教学资源
| 课程章节 | | 文件类型 | | 修改时间 | | 大小 | | 备注 | |
| 1.1 1 课程概述 |
视频
.mp4
|
2023-09-14 | 7.71MB | ||
| 1.2 2 大数据处理流程 |
视频
.mp4
|
2023-09-14 | 15.49MB | ||
| 1.3 3 大数据采集技术概论 |
视频
.mp4
|
2023-09-14 | 17.36MB | ||
| 1.4 4 数据预处理技术概论 |
视频
.mp4
|
2023-09-14 | 39.55MB | ||
| 2.1 1 传统数据采集技术概述 |
视频
.mp4
|
2023-09-14 | 11.62MB | ||
| 2.2 2 数据采集系统架构 |
视频
.mp4
|
2023-09-14 | 10.74MB | ||
| 2.3 3 数据采集系统软件 |
视频
.mp4
|
2023-09-14 | 16.58MB | ||
| 2.4 4 数据采集关键技术 |
视频
.mp4
|
2023-09-14 | 19.75MB | ||
| 2.5 5 教材与课件 |
文档
.pdf
|
2023-09-14 | 2.04MB | ||
|
文档
.pdf
|
2023-09-14 | 1.00MB | |||
| 3.1 1 数据的发展 |
视频
.mp4
|
2023-09-14 | 29.10MB | ||
| 3.2 2 大数据来源 |
视频
.mp4
|
2023-09-14 | 16.93MB | ||
| 3.3 3 大数据采集的挑战和困难 |
视频
.mp4
|
2023-09-14 | 4.45MB | ||
| 3.4 4 系统日志文件采集 |
视频
.mp4
|
2023-09-14 | 5.02MB | ||
| 3.5 5 ETL工具采集 |
视频
.mp4
|
2023-09-14 | 13.56MB | ||
| 3.6 6 互联网数据采集 |
视频
.mp4
|
2023-09-14 | 15.09MB | ||
| 4.1 1 概述 |
视频
.mp4
|
2023-09-14 | 14.86MB | ||
| 4.2 2 Flume数据采集架构 |
视频
.mp4
|
2023-09-14 | 21.63MB | ||
| 4.3 3 Flume Source简介 |
视频
.mp4
|
2023-09-14 | 11.29MB | ||
| 4.4 4 Flume Channel简介 |
视频
.mp4
|
2023-09-14 | 8.87MB | ||
| 4.5 5 Flume Sink简介 |
视频
.mp4
|
2023-09-14 | 11.18MB | ||
| 5.1 Scribe架构 |
视频
.mp4
|
2023-09-14 | 20.37MB | ||
| 5.2 Kafka架构 |
视频
.mp4
|
2023-09-14 | 19.52MB | ||
| 5.3 Kafka中的生产者和主题 |
视频
.mp4
|
2023-09-14 | 16.64MB | ||
| 5.4 Kafka中的消费者 |
视频
.mp4
|
2023-09-14 | 4.08MB | ||
| 5.5 push and pull机制 |
视频
.mp4
|
2023-09-14 | 9.16MB | ||
| 5.6 Zookeeper简介 |
视频
.mp4
|
2023-09-14 | 4.79MB | ||
| 5.7 一些示例 |
视频
.mp4
|
2023-09-14 | 14.62MB | ||
| 6.1 1 ELK概述 |
视频
.mp4
|
2023-09-14 | 10.22MB | ||
| 6.2 2 Logstash的input |
视频
.mp4
|
2023-09-14 | 17.59MB | ||
| 6.3 3 Logstash的filter |
视频
.mp4
|
2023-09-14 | 10.53MB | ||
| 6.4 4 Logstash的output |
视频
.mp4
|
2023-09-14 | 8.81MB | ||
| 6.5 5 ElasticSearch、Kibana及ELK应用 |
视频
.mp4
|
2023-09-14 | 14.99MB | ||
| 7.1 1 大数据迁移技术概述 |
视频
.mp4
|
2023-09-14 | 21.90MB | ||
| 7.2 2 基于主机的迁移方式 |
视频
.mp4
|
2023-09-14 | 16.63MB | ||
| 7.3 3 基于存储的迁移方式 |
视频
.mp4
|
2023-09-14 | 23.37MB | ||
| 7.4 4 基于数据库的迁移 |
视频
.mp4
|
2023-09-14 | 6.12MB | ||
| 7.5 5 服务器虚拟化迁移 |
视频
.mp4
|
2023-09-14 | 14.41MB | ||
| 7.6 6 迁移工具Apache Sqoop介绍 |
视频
.mp4
|
2023-09-14 | 11.79MB | ||
| 7.7 7 迁移工具Kettle介绍 |
视频
.mp4
|
2023-09-14 | 8.24MB | ||
| 11.1 1 数据对象及描述概述 |
视频
.mp4
|
2023-09-14 | 7.48MB | ||
| 11.2 2 数据对象的属性类型 |
视频
.mp4
|
2023-09-14 | 11.00MB | ||
| 11.3 3 数据中心趋势度量 |
视频
.mp4
|
2023-09-14 | 9.76MB | ||
| 11.4 4 数据分散程度度量 |
视频
.mp4
|
2023-09-14 | 13.56MB | ||
| 11.5 5 示例-中心度量和分散度量办法的应用 |
视频
.mp4
|
2023-09-14 | 16.79MB | ||
| 11.6 6 数据邻近性的度量 |
视频
.mp4
|
2023-09-14 | 34.28MB | ||
| 12.1 1 数据预处理概述 |
视频
.mp4
|
2023-09-14 | 6.36MB | ||
| 12.2 2 卡方检验 |
视频
.mp4
|
2023-09-14 | 29.07MB | ||
| 12.3 3 协方差与皮尔逊相关系数 |
视频
.mp4
|
2023-09-14 | 14.64MB | ||
|
附件
.${file.extension}
|
2023-09-14 | -- | |||
| 12.4 4 小波变换简介 |
视频
.mp4
|
2023-09-14 | 15.67MB | ||
| 12.5 5 PCA方法简介 |
视频
.mp4
|
2023-09-14 | 16.41MB | ||
| 12.6 6 其他数据归约办法介绍 |
视频
.mp4
|
2023-09-14 | 11.48MB | ||
| 12.7 7 数据规范化 |
视频
.mp4
|
2023-09-14 | 19.08MB |
课程章节
1
4
5
6
7
11
