Python网络爬虫技术（2020年秋季学期）

◆ ◆

个人介绍

主讲教师：江学为

教师团队：共5位

曹清清
蒋慧平
曹守富
周虹
马萌

学校：	湖南网络工程职业学院
开课院系：	信息学院
专业大类：	计算机
开课专业：	大数据技术与应用
学分：	2
课时：	40

XY课程介绍

   《网络爬虫技术》包含的主要内容为：初识爬虫、爬虫的实现原理和技术、网页请求原理、网页内容抓取、数据解析、抓取动态内容、存储爬虫数据、初识爬虫框架Scrapy、Scrapy终端与和核心组件。结合网络爬虫的基本流程，对教材进行了二次开发，主要知识点为60个左右。

XY教师团队

曹清清

职称：工程师

单位：湖南网络工程职业学院

蒋慧平

职称：副教授

单位：湖南网络工程职业学院

部门：网络技术学院

职位：系书记

曹守富

职称：讲师

单位：湖南网络工程职业学院

部门：教育技术信息中心

周虹

职称：副教授

单位：湖南网络工程职业学院

部门：网络技术系

马萌

职称：讲师

单位：湖南网络工程职业学院

部门：信息学院

XY课程简介

《网络爬虫技术》课程旨在通过学习和实践培养学生的爬虫程序开发能力。本课程的前端课程为《Python程序设计基础》、《数据库应用技术》，后续课程为《数据分析技术》、《数据可视化技术》。

XY课程收获

1、你可以对网络爬虫以及相关技术有基本的了解，可以掌握爬虫的基本流程；

2、你可以了解常用的反爬机制，以及数据爬取的边界；

3、你可以掌握发送HTTP请求的方法，并进行实际的操作；

4、你可以掌握解析网页数据的方法，包括正则解析法、xpath方法，beautiful soup方法、lxml方法。

5、你可以掌握保存数据的形式,包括：保存到数据库、保存为csv格式的文件

XY学习人群

对python基础知识有一定了解的学生或者社会学习者;

对网络爬虫感兴趣并想自学的学生或者社会学习者；

大数据爱好者；

有志从事网络爬虫开发及数据采集程序开发的人群

课程评价

教学资源

课程章节资源

课程章节	\| 文件类型		\| 修改时间	\| 大小	\| 备注
1.1 1.课程介绍		文档 .pdf	2022-09-22	3.77MB
		视频 .mp4	2022-09-22	5.64MB
1.2 2.教学文件		文档 .pdf	2022-09-22	173.79KB
		文档 .pdf	2022-09-22	65.35KB
		文档 .pdf	2022-09-22	106.99KB
		文档 .pdf	2022-09-22	277.18KB
1.3 3.考核方案		文档 .pdf	2022-09-22	426.38KB
1.4 4.课程设计		文档 .pdf	2022-09-22	3.65MB
1.5 5.教学团队		文档 .pdf	2022-09-22	439.03KB
1.6 6.课堂实录		视频 .mp4	2022-09-22	341.03MB
1.7 7.课程获奖		附件 .${file.extension}	2022-09-22	--
		附件 .${file.extension}	2022-09-22	--
		附件 .${file.extension}	2022-09-22	--
2.1 【你知道什么是大数据吗？】		视频 .mp4	2022-09-22	44.97MB
2.2 【目标树立】		文档 .pdf	2022-09-22	289.52KB
2.3 【学习内容】任务一：认识爬虫与robots协议		视频 .mp4	2022-09-22	5.64MB
		视频 .mp4	2022-09-22	28.10MB
		文档 .pptx	2022-09-22	1.60MB
		文档 .pptx	2022-09-22	911.49KB
		文档 .docx	2022-09-22	86.31KB
		视频 .mp4	2022-09-22	52.97MB
		视频 .mp4	2022-09-22	60.93MB
		视频 .mp4	2022-09-22	17.94MB
2.4 【学习内容】任务二：认识反爬虫		文档 .pdf	2022-09-22	1.60MB
2.5 【学习内容】任务三：开发环境准备		视频 .mp4	2022-09-22	60.50MB
		文档 .pdf	2022-09-22	1.23MB
		文档 .pdf	2022-09-22	242.28KB
		文档 .pdf	2022-09-22	107.89KB
2.6 【知识拓展】网站robots协议含义解析		视频 .mp4	2022-09-22	4.14MB
		文档 .pdf	2022-09-22	347.42KB
2.7 【单元过关】		作业 .work	2022-09-22	--
3.1 【大数据时代性，个人隐私如何保护？】		视频 .mp4	2022-09-22	93.22MB
3.2 【目标树立】		文档 .pdf	2022-09-22	288.92KB
3.3 【学习内容】任务一：谷歌浏览器开发者模式介绍		视频 .mp4	2022-09-22	101.77MB
		文档 .pdf	2022-09-22	1.36MB
		视频 .mp4	2022-09-22	54.71MB
3.4 【学习内容】任务二：requests库获取静态网页数据		视频 .mp4	2022-09-22	67.77MB
		视频 .mp4	2022-09-22	77.65MB
		文档 .pdf	2022-09-22	1.07MB
		文档 .pdf	2022-09-22	1.48MB
		文档 .pdf	2022-09-22	1.52MB
		附件 .${file.extension}	2022-09-22	--
3.5 【学习内容】任务三：requests库获取动态网页数据		视频 .mp4	2022-09-22	48.29MB
		文档 .pdf	2022-09-22	2.50MB
		附件 .${file.extension}	2022-09-22	--
3.6 【学习内容】任务四：urlLib获取网页数据		视频 .mp4	2022-09-22	55.01MB
		视频 .mp4	2022-09-22	76.39MB
		文档 .pptx	2022-09-22	908.60KB
		文档 .pptx	2022-09-22	3.91MB
		文档 .pdf	2022-09-22	1.43MB
		文档 .docx	2022-09-22	86.60KB
3.7 【知识拓展】“京东”“亚马逊”网站数据抓取		文档 .docx	2022-09-22	87.29KB
3.8 【单元过关】		作业 .work	2022-09-22	--
4.1 【数据爬取的合理边界在哪里？】		附件 .${file.extension}	2022-09-22	--
4.2 【目标树立】		文档 .docx	2022-09-22	87.11KB
4.3 【学习内容】任务一：正则表达式解析		视频 .mp4	2022-09-22	136.01MB
		视频 .mp4	2022-09-22	224.64MB
		视频 .mp4	2022-09-22	74.12MB
		视频 .mp4	2022-09-22	132.16MB
		视频 .mp4	2022-09-22	156.22MB
		文档 .pdf	2022-09-22	1.52MB
		文档 .pdf	2022-09-22	1.40MB
		文档 .pdf	2022-09-22	1.28MB
		文档 .pdf	2022-09-22	1.32MB
		文档 .pdf	2022-09-22	1.51MB
		附件 .${file.extension}	2022-09-22	--
4.4 【学习内容】任务二：XPath与lxml解析		视频 .mp4	2022-09-22	112.51MB
		视频 .mp4	2022-09-22	147.70MB
		视频 .mp4	2022-09-22	158.06MB
		视频 .mp4	2022-09-22	250.22MB
		文档 .pdf	2022-09-22	1.67MB
		文档 .pdf	2022-09-22	1.59MB
		文档 .pdf	2022-09-22	1.59MB
		文档 .pdf	2022-09-22	1.36MB
		附件 .${file.extension}	2022-09-22	--
		视频 .mp4	2022-09-22	52.82MB
		视频 .mp4	2022-09-22	60.33MB
		视频 .mp4	2022-09-22	52.19MB
		视频 .mp4	2022-09-22	100.03MB
4.5 【学习内容】任务三：Beautitul Soup解析		视频 .mp4	2022-09-22	113.65MB
		视频 .mp4	2022-09-22	128.01MB
		视频 .mp4	2022-09-22	221.00MB
		视频 .mp4	2022-09-22	251.66MB
		视频 .mp4	2022-09-22	109.76MB
		视频 .mp4	2022-09-22	189.21MB
		文档 .pdf	2022-09-22	1.52MB
		文档 .pdf	2022-09-22	1.43MB
		文档 .pdf	2022-09-22	1.71MB
		文档 .pdf	2022-09-22	1.74MB
		文档 .pdf	2022-09-22	1.32MB
		文档 .pdf	2022-09-22	1.86MB
		附件 .${file.extension}	2022-09-22	--
		视频 .mp4	2022-09-22	50.07MB
		视频 .mp4	2022-09-22	56.80MB
		视频 .mp4	2022-09-22	91.57MB
		视频 .mp4	2022-09-22	96.95MB
		视频 .mp4	2022-09-22	44.23MB
		视频 .mp4	2022-09-22	73.96MB
4.6 【知识拓展】“美食杰”网站数据解析		文档 .pdf	2022-09-22	544.05KB
4.7 【单元过关】		作业 .work	2022-09-22	--
5.2 【目标树立】		文档 .docx	2022-09-22	87.77KB
5.3 【学习内容】任务一：数据存储到文本文件中		视频 .mp4	2022-09-22	79.47MB
		视频 .mp4	2022-09-22	62.34MB
		文档 .pdf	2022-09-22	1.30MB
		文档 .pdf	2022-09-22	1.38MB
		文档 .pdf	2022-09-22	1.34MB
		文档 .docx	2022-09-22	86.86KB
5.4 【学习内容】任务二：数据存储到MySQL数据库中		视频 .mp4	2022-09-22	71.35MB
		视频 .mp4	2022-09-22	153.10MB
		视频 .mp4	2022-09-22	134.57MB
		文档 .pdf	2022-09-22	1.66MB
		文档 .pdf	2022-09-22	1.76MB
		文档 .pdf	2022-09-22	1.60MB
		视频 .mp4	2022-09-22	74.52MB
		视频 .mp4	2022-09-22	551.50MB
		视频 .mp4	2022-09-22	149.57MB
5.5 【学习内容】任务三：数据存储到Mongo数据库中		视频 .mp4	2022-09-22	84.71MB
		视频 .mp4	2022-09-22	159.76MB
		文档 .pdf	2022-09-22	1.62MB
		文档 .pdf	2022-09-22	1.56MB
		视频 .mp4	2022-09-22	414.00MB
		视频 .mp4	2022-09-22	650.02MB
5.6 【知识拓展】“豆瓣”电影数据获取与存储		文档 .pdf	2022-09-22	483.56KB
		文档 .pdf	2022-09-22	317.62KB
5.7 【单元过关】		作业 .work	2022-09-22	--
6.1 【目标树立】		文档 .pdf	2022-09-22	96.38KB
6.2 【学习内容】任务一：Selenium库安装及浏览器补丁下载		视频 .mp4	2022-09-22	130.04MB
		文档 .pdf	2022-09-22	1.72MB
6.3 【学习内容】任务二：Selenium快速入门		视频 .mp4	2022-09-22	122.36MB
		文档 .pdf	2022-09-22	1.43MB
6.4 【学习内容】任务三：元素选取		视频 .mp4	2022-09-22	163.15MB
		文档 .pdf	2022-09-22	1.69MB
6.5 【知识拓展】“斗鱼”网站数据获取		文档 .pdf	2022-09-22	327.85KB
6.6 【单元过关】		作业 .work	2022-09-22	--
7.1 项目需求：世界大学城空间留言板数据爬取		文档 .docx	2022-09-22	87.42KB
7.2 项目需求：链家长沙楼盘信息爬取		文档 .docx	2022-09-22	87.57KB
7.3 项目需求：猫眼电影网站电影信息爬取		文档 .pdf	2022-09-22	89.43KB
7.4 项目需求：斗鱼网站信息爬取		文档 .pdf	2022-09-22	98.38KB
7.5 项目展示与代码示例		视频 .mp4	2022-09-22	365.46MB
		视频 .mp4	2022-09-22	429.65MB
		视频 .mp4	2022-09-22	517.18MB
		视频 .mp4	2022-09-22	205.39MB
		视频 .mp4	2022-09-22	451.54MB
		附件 .${file.extension}	2022-09-22	--
		附件 .${file.extension}	2022-09-22	--
		附件 .${file.extension}	2022-09-22	--
		附件 .${file.extension}	2022-09-22	--

在线观看进入课程章节

课程章节

提示框

取消进入课程

提示框

确定要报名此课程吗？

确定取消