附件职称：教授
单位：湖北警官学院
部门：信息技术系
职位：计算机科学与技术教研室主任
数据采集与网络爬虫（专业基础）
湖北警官学院
主讲教师：王宁
教师团队：共1位
- 王宁
在数字化时代背景下，数据不仅是企业决策和市场趋势分析的基石，更是推动科技创新和业务发展的核心动力。《数据采集与网络爬虫》课程专注于培养学生掌握从互联网中提取有价值信息的技能，为数据分析、机器学习、大数据应用等热门领域奠定坚实基础。
本课程将深入讲解数据采集的基本概念、原理和方法，以及网络爬虫的设计和实现技术。学生将学习如何构建高效的网络爬虫，以自动化的方式从网页中抓取数据，并了解如何处理和存储这些数据以供进一步分析。课程内容覆盖了从Python程序设计基础、基础的HTTP协议、网页结构解析，到高级的爬虫框架应用、反爬虫策略应对，以及数据清洗和格式化等实用技能。
随着互联网行业的迅猛发展，数据采集技术在分布式系统中扮演着越来越重要的角色，它不仅是大数据分析的前提条件，也是整个数据处理流程中的关键一环。通过本课程的学习，学生将能够在海量网络数据中精准捕捉所需信息，为未来的职业生涯和学术研究提供强大的技术支持和竞争优势。
…
| 学校： | 湖北警官学院 |
| 开课院系： | 0303 |
| 课程编号： | 20240409048 |
| 学分： | 2 |
| 课时： | 32 |
| 课程章节 | | 文件类型 | | 修改时间 | | 大小 | | 备注 | |
| 1.1 本章导读 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
作业
.work
|
2025-02-15 | -- | |||
| 1.2 Python开发环境配置 |
附件
.exe
|
2025-02-15 | 614.26MB | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 1.3 运算符、表达式与内置对象 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
作业
.work
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
作业
.work
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
作业
.work
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
作业
.work
|
2025-02-15 | -- | |||
|
文档
.pptx
|
2025-03-16 | 6.17MB | |||
| 1.4 print()函数的三种输出方式 |
文档
.pdf
|
2025-02-15 | 130.43KB | ||
|
附件
.ipynb
|
2025-02-15 | 7.17KB | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 1.5 条件语句与循环语句 |
附件
.${file.extension}
|
2025-03-16 | -- | ||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
| 1.7 函数 |
附件
.${file.extension}
|
2025-03-16 | -- | ||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
|
附件
.${file.extension}
|
2025-03-16 | -- | |||
| 1.9 探讨人工智能领域最新发展及其标志性成就 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
| 2.1.1 【你知道什么是大数据吗？】 |
视频
.mp4
|
2025-02-15 | 44.97MB | ||
| 2.1.3 【学习内容】任务一：认识爬虫与robots协议 |
附件
.${file.extension}
|
2025-03-17 | -- | ||
|
附件
.${file.extension}
|
2025-03-17 | -- | |||
|
附件
.${file.extension}
|
2025-03-17 | -- | |||
|
附件
.${file.extension}
|
2025-03-17 | -- | |||
|
附件
.${file.extension}
|
2025-03-17 | -- | |||
| 2.1.4 【学习内容】http以及https协议 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.1.7 【单元过关】 |
作业
.work
|
2025-02-15 | -- | ||
| 2.1.8 【答疑讨论】 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.2.1 【大数据时代性，个人隐私如何保护？】 |
视频
.mp4
|
2025-02-15 | 93.22MB | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.2.3 【学习内容】任务二：requests库获取静态网页数据 |
附件
.${file.extension}
|
2025-03-24 | -- | ||
|
附件
.${file.extension}
|
2025-03-24 | -- | |||
|
附件
.${file.extension}
|
2025-03-24 | -- | |||
| 2.2.4 iter_content方法 |
视频
.mp4
|
2025-02-15 | 16.17MB | ||
|
视频
.mp4
|
2025-02-15 | 3.54MB | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.2.6 代码练习：百度翻译 |
附件
.ipynb
|
2025-02-15 | 2.06MB | ||
| 2.3.1 【数据爬取的合理边界在哪里？】 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.3.2 爬取结构化的json数据 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
| 2.3.3 非结构化数据提取--Xpath |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-04-27 | -- | |||
| 2.3.4 jsonpath模块 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
| 2.3.5 非结构化数据提取-bs4 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.3.6 正则表达式 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
| 2.3.8 【学习内容】任务一：正则表达式解析 |
视频
.mp4
|
2025-02-15 | 136.01MB | ||
|
视频
.mp4
|
2025-02-15 | 224.64MB | |||
|
视频
.mp4
|
2025-02-15 | 74.12MB | |||
|
视频
.mp4
|
2025-02-15 | 132.16MB | |||
|
视频
.mp4
|
2025-02-15 | 156.22MB | |||
|
文档
.pdf
|
2025-02-15 | 1.52MB | |||
|
文档
.pdf
|
2025-02-15 | 1.40MB | |||
|
文档
.pdf
|
2025-02-15 | 1.28MB | |||
|
文档
.pdf
|
2025-02-15 | 1.32MB | |||
|
文档
.pdf
|
2025-02-15 | 1.51MB | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.3.9 【学习内容】任务三：Beautitul Soup解析 |
视频
.mp4
|
2025-02-15 | 113.65MB | ||
|
视频
.mp4
|
2025-02-15 | 128.01MB | |||
|
视频
.mp4
|
2025-02-15 | 221.00MB | |||
|
视频
.mp4
|
2025-02-15 | 251.66MB | |||
|
视频
.mp4
|
2025-02-15 | 109.76MB | |||
|
视频
.mp4
|
2025-02-15 | 189.21MB | |||
|
文档
.pdf
|
2025-02-15 | 1.52MB | |||
|
文档
.pdf
|
2025-02-15 | 1.43MB | |||
|
文档
.pdf
|
2025-02-15 | 1.71MB | |||
|
文档
.pdf
|
2025-02-15 | 1.74MB | |||
|
文档
.pdf
|
2025-02-15 | 1.32MB | |||
|
文档
.pdf
|
2025-02-15 | 1.86MB | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
视频
.mp4
|
2025-02-15 | 50.07MB | |||
|
视频
.mp4
|
2025-02-15 | 56.80MB | |||
|
视频
.mp4
|
2025-02-15 | 91.57MB | |||
|
视频
.mp4
|
2025-02-15 | 96.95MB | |||
|
视频
.mp4
|
2025-02-15 | 44.23MB | |||
|
视频
.mp4
|
2025-02-15 | 73.96MB | |||
| 2.3.10 【知识拓展】“美食杰”网站数据解析 |
文档
.pdf
|
2025-02-15 | 544.05KB | ||
| 2.3.11 【单元过关】 |
作业
.work
|
2025-02-15 | -- | ||
| 2.4.2 【目标树立】 |
文档
.docx
|
2025-02-15 | 87.77KB | ||
| 2.4.3 【学习内容】任务一：数据存储到文本文件中 |
视频
.mp4
|
2025-02-15 | 79.47MB | ||
|
视频
.mp4
|
2025-02-15 | 62.34MB | |||
|
文档
.pdf
|
2025-02-15 | 1.30MB | |||
|
文档
.pdf
|
2025-02-15 | 1.38MB | |||
|
文档
.pdf
|
2025-02-15 | 1.34MB | |||
|
文档
.docx
|
2025-02-15 | 86.86KB | |||
| 2.4.4 【学习内容】任务二：数据存储到MySQL数据库中 |
视频
.mp4
|
2025-02-15 | 71.35MB | ||
|
视频
.mp4
|
2025-02-15 | 153.10MB | |||
|
视频
.mp4
|
2025-02-15 | 134.57MB | |||
|
文档
.pdf
|
2025-02-15 | 1.66MB | |||
|
文档
.pdf
|
2025-02-15 | 1.76MB | |||
|
文档
.pdf
|
2025-02-15 | 1.60MB | |||
|
视频
.mp4
|
2025-02-15 | 74.52MB | |||
|
视频
.mp4
|
2025-02-15 | 551.50MB | |||
|
视频
.mp4
|
2025-02-15 | 149.57MB | |||
| 2.4.5 【学习内容】任务三：数据存储到Mongo数据库中 |
视频
.mp4
|
2025-02-15 | 84.71MB | ||
|
视频
.mp4
|
2025-02-15 | 159.76MB | |||
|
文档
.pdf
|
2025-02-15 | 1.62MB | |||
|
文档
.pdf
|
2025-02-15 | 1.56MB | |||
|
视频
.mp4
|
2025-02-15 | 414.00MB | |||
|
视频
.mp4
|
2025-02-15 | 650.02MB | |||
| 2.4.6 【知识拓展】“豆瓣”电影数据获取与存储 |
文档
.pdf
|
2025-02-15 | 483.56KB | ||
|
文档
.pdf
|
2025-02-15 | 317.62KB | |||
| 2.4.7 【单元过关】 |
作业
.work
|
2025-02-15 | -- | ||
| 2.5.1 【目标树立】 |
文档
.pdf
|
2025-02-15 | 96.38KB | ||
| 2.5.2 【学习内容】任务一：Selenium库安装及浏览器补丁下载 |
视频
.mp4
|
2025-02-15 | 130.04MB | ||
|
文档
.pdf
|
2025-02-15 | 1.72MB | |||
| 2.5.3 【学习内容】任务二：Selenium快速入门 |
视频
.mp4
|
2025-02-15 | 122.36MB | ||
|
文档
.pdf
|
2025-02-15 | 1.43MB | |||
| 2.5.4 【学习内容】任务三：元素选取 |
视频
.mp4
|
2025-02-15 | 163.15MB | ||
|
文档
.pdf
|
2025-02-15 | 1.69MB | |||
| 2.5.5 【知识拓展】“斗鱼”网站数据获取 |
文档
.pdf
|
2025-02-15 | 327.85KB | ||
| 2.5.6 【单元过关】 |
作业
.work
|
2025-02-15 | -- | ||
| 2.6.1 项目需求：世界大学城空间留言板数据爬取 |
文档
.docx
|
2025-02-15 | 87.42KB | ||
| 2.6.2 项目需求：链家长沙楼盘信息爬取 |
文档
.docx
|
2025-02-15 | 87.57KB | ||
| 2.6.3 项目需求：猫眼电影网站电影信息爬取 |
文档
.pdf
|
2025-02-15 | 89.43KB | ||
| 2.6.4 项目需求：斗鱼网站信息爬取 |
文档
.pdf
|
2025-02-15 | 98.38KB | ||
| 2.6.5 项目展示与代码示例 |
视频
.mp4
|
2025-02-15 | 365.46MB | ||
|
视频
.mp4
|
2025-02-15 | 429.65MB | |||
|
视频
.mp4
|
2025-02-15 | 517.18MB | |||
|
视频
.mp4
|
2025-02-15 | 205.39MB | |||
|
视频
.mp4
|
2025-02-15 | 451.54MB | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.6.5.1.1 1.课程介绍 |
文档
.pdf
|
2025-02-15 | 3.77MB | ||
|
视频
.mp4
|
2025-02-15 | 5.64MB | |||
| 2.6.5.1.2 2.教学文件 |
文档
.pdf
|
2025-02-15 | 173.79KB | ||
|
文档
.pdf
|
2025-02-15 | 65.35KB | |||
|
文档
.pdf
|
2025-02-15 | 106.99KB | |||
|
文档
.pdf
|
2025-02-15 | 277.18KB | |||
| 2.6.5.1.3 3.考核方案 |
文档
.pdf
|
2025-02-15 | 426.38KB | ||
| 2.6.5.1.4 4.课程设计 |
文档
.pdf
|
2025-02-15 | 3.65MB | ||
| 2.6.5.1.5 5.教学团队 |
文档
.pdf
|
2025-02-15 | 439.03KB | ||
| 2.6.5.1.6 6.课堂实录 |
视频
.mp4
|
2025-02-15 | 341.03MB | ||
| 2.6.5.1.7 7.课程获奖 |
附件
.${file.extension}
|
2025-02-15 | -- | ||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
|
附件
.${file.extension}
|
2025-02-15 | -- | |||
| 2.6.5.1.8 【学习内容】任务二：认识反爬虫 |
文档
.pdf
|
2025-02-15 | 1.60MB |
