1.知识目标：

1. 1)   数据采集基本概念及采集工具

2. 2)   数据采集器的应用

3. 3)   数据采集综合应用

4. 4)   数据处理的基本概念及工具

5. 5)   数据清洗

6. 6)   作业设计

2.能力目标：

1. 1)  能够熟练下载、安装、配置数据采集和数据处理应用软件；

2. 2)  能够熟练使用采集工具进行简单采集；

3. 3)  能够正确使用采集工具进行高级采集；

4. 4)  能够根据实际需求，熟练使用采集工具进行各领域数据采集；

5. 5)  能够正确使用数据处理工具对数据进行抽取；

6. 6)  能够熟练使用数据处理工具对数据进行清洗；

7. 7)  能根据实际需求，熟练使用工具完成对数据的采集、抽取、清洗、转换和装载等工作。

3.课程思政目标：

将《数据采集与处理》课程进行深入挖掘、开发、研究，融入思政方面的内容，提升教师思想政治素质和立德树人意识，明确专业课程的思政育人责任；完善本课程的教学设计，深入挖掘课程蕴含的思想政治教育资源，在构建课程体系、制定课程达成目标中强化育人导向，在课程各个教学阶段融入思想政治教育元素；“课程思政”贯穿在课堂授课、小班讨论、课程实验、课外实践等教学环节；将“课程思政”体现在课程目标和考核内容中。

1）在采集商务网站、搜索引擎、微博等网站时，培养学生客观、准确地价值观和人生观

   2）在处理商务数据过程中，培养学生的诚信意识和服务意识

3）在采集和处理数据方面，要学会采集与处理的数据与道德思想品质的融合

 “课程思政”贯穿在课堂授课、小班讨论、课程实验、课外实践等教学环节；体现在课程目标和考核内容中。

4.网络教学设计思路：

网络教学设计，要提高学生参与课程的积极性和网络资源，编写思路如下：学生通过网络学习，要完成6个任务的所有内容学习和任务完成，从而达到本课程的学习的目标。

1、对每个任务引导的说明，让学生了解本任务的目的

2、对任务涉及到的知识点进行视频、音频、文字资料等方式的讲解

3、对任务学习内容或案例进行相关的补充和扩展

4、学生学习完视频、文件、资料等，进行任务的完成

5、参与热门话题的讨论和互动交流

6、对阶段内容进行相应的测试，便于了解学生的掌握情况

7、考核方法的多样性，促进学生进行全流程的学习

根据专业调研、与行业专家以及相关教师的研讨中发现，《数据采集与处理》可以为后续课程提供大量的数据资源，如淘宝、京东等商务网站的数据，百度、搜狗等搜索引擎网站的数据，微博网站数据，大众点评、58同城等生活网站数据，或采集文章、邮箱、图片等各种数据。这些数据处理好，都可以为后续课程提供优质资源。所以在课程设计中，学习任务可以完全按企业工作流程与工作内容进行，让学生在真实的环境中得到实际的工作锻炼。

本课程教学内容通过二个项目六个任务来实现：

    分别如下所述：

项目一：数据采集

任务1：数据采集基本概念及采集工具

任务2：数据采集器的应用

任务3：数据采集综合应用

这三个任务主要是通过八爪鱼采集工具对数据进行采集，采集网站涉及到京东、淘宝、58同城、百度、微博、新闻网站等在页面中所有可见的数据。采用案例教学和研讨式教学的方法。教学的过程和思路是：学生在完成任务的同时，学习相关的知识，来完成相应的任务。

项目二：数据处理

任务4：数据处理的基本概念及工具

任务5：数据清洗

任务6：作业设计

这三个具体任务，主要是通过kettle工具对采集的数据进行预处理。采用案例教学和研讨式教学的方法。教学的过程和思路是：学生在完成任务的同时，学习相关的知识，来完成相应的任务。

1. 有一定计算机基础知识
   

2. 有计算机便于软件操作
   

计算机：北信泛雅在线平台http://bitcxy.fanya.chaoxing.com/portal

手机：超星APP学习通

计算机操作系统：Windows7以上版本

计算机应用软件：八爪鱼8、jdk8、kettle8（pdi）、mysql5、Navicat Premium12

《商务数据采集与处理》刘宝强  人民邮电出版社

《大数据与处理技术》宋晓姝 人民邮电出版社

https://www.bazhuayu.com/tutorialIndex八爪鱼教程

《kettle8.2快速入门》网易云课堂

          本课程是商务数据分析及应用专业的专业核心课程。也可以作为大数据技术与应用专业和电子商务专业的基础课程。本课程内容包含数据采集和数据处理等部分，涵盖商务数据采集与处理的概念知识学习和实操活动的整个流程。通过本课程的学习，旨在培养学生认知数据如何采集，采集到数据如何处理，并以数据采集和数据处理完整实操，完成整个数据采集和数据处理流程的认知。

学习本课程，你将会扎实的掌握数据的采集和处理操作，通过举一反三，你可以采集到所有能在互联网上看到的公开的数据，如各大电商网站的商品信息、评价等数据；新闻网站的各类新闻；娱乐网站的娱乐信息及评论；微博或其他类型网站所展示出来的所有信息。再通过数据处理，可对采集到的数据进行整理，即可得到自己或企业需要的信息了。

通过本课程的学习，培养学生的职业荣誉感和认同感，提高学生的职业素养，提高未来的就业竞争力。

学习本课程，你可以采集到各类数据，但要注意在国家规定的法律法规下使用采集到的数据，不能应用于网站或国家不允许的地方。

本课程适合高职高专商务数据分析与应用、电子商务、大数据技术等相关专业的学生作为专业核心课或基础课来学习，也可作为非相关专业学生的选修课来学习。也适合从事数据采集或数据处理相关工作的人士（或再就业人士）的培训学习。