学习本课程，你将会扎实的掌握处理大数据的操作，能够熟练下载、安装、配置数据采集和数据处理应用软件；能使用工具和Python语言对数据进行抽取、清洗、转换操作；可以处理各类数据，包括但不限于Excel、csv、数据库、XML、JOSN等各类文件。

本课程适合高职高专大数据技术及应用相关专业的学生作为专业核心课来学习，也可作为非相关专业有一定计算机基础的学生，选修课来学习。也适合从事数据处理相关工作的人士（或再就业人士）的培训学习。

1.知识目标：

        1)   数据与处理概念及数据处理工具 ；
                2)   数据的抽取；
                3)   数据的清洗 
                4)   作业设计
                5)   Pandas数据抽取
                6)   Pandas数据清洗

2.能力目标：

        1)  能够熟练下载、安装、配置数据采集和数据处理应用软件； 
                2)  能够正确使用数据处理工具对数据进行抽取；
                3)  能够熟练使用数据处理工具对数据进行清洗； 
                4)  能够熟练使用数据处理工具对数据进行转换操作；
                5)  能根据实际需求，对数据进行作业的设置；
                6)  能够正确使用python对数据进行抽取操作；
                7)  能够正确使用python对数据进行清洗、转换和装载等操作；
                8)  能根据实际需求，熟练选择使用不同工具进行数据处理。

3.课程思政目标：

将《数据预处理》课程进行深入挖掘、开发、研究，融入思政方面的内容，提升教师思想政治素质和立德树人意识，明确专业课程的思政育人责任；完善本课程的教学设计，深入挖掘课程蕴含的思想政治教育资源，在构建课程体系、制定课程达成目标中强化育人导向，在课程各个教学阶段融入思想政治教育元素；“课程思政”贯穿在课堂授课、小班讨论、课程实验、课外实践等教学环节；将“课程思政”体现在课程目标和考核内容中。

1）在抽取数据时，培养学生客观、准确地价值观和人生观；
       2）在处理商务数据过程中，培养学生的诚信意识和服务意识；
       3）在处理数据方面，要学会处理的数据与道德思想品质的融合；
       4）在面对数据方面，要保持科学、严谨、数据安全的原则。

“课程思政”贯穿在课堂授课、小班讨论、课程实验、课外实践等教学环节；体现在课程目标和考核内容中。

4.网络教学设计思路：

网络教学设计，要提高学生参与课程的积极性和网络资源，编写思路如下：学生通过网络学习，要完成6个任务的所有内容学习和任务完成，从而达到本课程的学习的目标。

1、对每个任务引导的说明，让学生了解本任务的目的；
      2、对任务涉及到的知识点进行视频、音频、文字资料等方式的讲解；
      3、对任务学习内容或案例进行相关的补充和扩展；
      4、学生学习完视频、文件、资料等，进行任务的完成；
      5、参与热门话题的讨论和互动交流；
      6、对阶段内容进行相应的测试，便于了解学生的掌握情况；
      7、考核方法的多样性，促进学生进行全流程的学习。

根据专业调研、与行业专家以及相关教师的研讨中发现，《数据预处理》可以为后续课程提供大量的优质数据资源，如淘宝、京东等商务网站的数据，百度、搜狗等搜索引擎网站的数据，微博网站数据，大众点评、58同城等生活网站数据，或采集文章、邮箱、图片等各种数据。这些数据处理好，都可以为后续课程提供优质资源。所以在课程设计中，学习任务可以完全按企业工作流程与工作内容进行，让学生在真实的环境中得到实际的工作锻炼。

本课程教学内容通过二个项目六个任务来实现,分别如下所述：

项目一：kettle数据处理任务
            1：数据处理基本概念及处理工具任务
            2：数据抽取任务
            3：数据清洗任务
            4：作业设计

这四个任务主要是通过kettle工具对采集的数据进行预处理。采用案例教学和研讨式教学的方法。教学的过程和思路是：学生在完成任务的同时，学习相关的知识，来完成相应的任务。

项目二：pandas数据处理任务
            5：pandas数据读写任务
            6：pandas数据清洗

这二个具体任务，主要是通过Python中的Pandas库数据进行预处理。采用案例教学和研讨式教学的方法。教学的过程和思路是：学生在完成任务的同时，学习相关的知识，来完成相应的任务。

两个项目相互独立，又互为补充，课程设计的学习任务完全按企业工作流程与工作内容进行，让学生在真实的环境中得到实际的工作锻炼。

计算机：北信泛雅在线平台http://bitcxy.fanya.chaoxing.com/portal

手机：超星APP学习通

计算机操作系统：Windows7以上版本

计算机应用软件：jdk8、kettle9（pdi）、mysql5、Navicat Premium12、Python3.X、Pycharm

《大数据与处理技术》宋晓姝 人民邮电出版社
        《ETL数据整合与处理》王雪松 人民邮电出版社
        《Python数据预处理》黑马程序员 人民邮电出版社

本课程是大数据技术及应用专业的专业核心课程。主要内容包括数据抽取、清洗、转换、加载等整个数据预处理流程。通过kettle工具和python语言进行数据清洗。涵盖数据处理的概念知识和实操活动的整个流程。通过本课程的学习，旨在培养学生认知数据如何处理，并以综合实例数据处理完整实操，完成数据处理流程的认知。