信息采集技术

梁家淳

目录

  • 1 数据采集的基本概念及采集工具
    • 1.1 课程导学
      • 1.1.1 《数据采集与处理》网络课程导学
      • 1.1.2 《数据采集与处理》学生网络课程学习指引
    • 1.2 初识数据
    • 1.3 数据来源及采集基础
    • 1.4 采集方法及采集工具
    • 1.5 数据采集器介绍及安装
  • 2 数据采集应用
    • 2.1 采集器基本应用
      • 2.1.1 简易采集模式
      • 2.1.2 单页采集
      • 2.1.3 详情页采集
    • 2.2 采集器高级应用
      • 2.2.1 循环采集
      • 2.2.2 分页采集
      • 2.2.3 登录采集
      • 2.2.4 ajax
      • 2.2.5 xpath
      • 2.2.6 xpath
  • 3 数据采集综合应用
    • 3.1 综合网站数据采集
  • 4 数据处理基本概念
    • 4.1 数据处理的基本概念
      • 4.1.1 数据处理概念1
      • 4.1.2 数据处理概念2
      • 4.1.3 数据处理概念3
    • 4.2 ETL常用工具的安装及
  • 5 数据处理
    • 5.1 数据抽取
      • 5.1.1 文本数据抽取
      • 5.1.2 文本数据抽取
      • 5.1.3 web文件数据抽取
      • 5.1.4 数据库数据抽取1
      • 5.1.5 数据库数据抽取2
    • 5.2 数据清洗
      • 5.2.1 字符串清洗
      • 5.2.2 字段清洗
      • 5.2.3 参照表清洗
      • 5.2.4 数据转换
  • 6 作业设计
    • 6.1 作业设计
      • 6.1.1 作业设计
      • 6.1.2 变量
    • 6.2 综合练习
    • 6.3 期末复习
采集方法及采集工具

课程内容：

  1. 数据的采集方法

  2. 数据的导出方法

  3. 数据采集介绍

  4. 常用爬虫软件

  5. Python爬虫介绍

课程目标：

  1. 了解数据的采集方法有哪些

  2. 掌握数据导出的几种文件形式

  3. 了解数据采集工具分类

  4. 了解常用爬虫软件

  5. 了解Python爬虫爬取数据

课程重点、难点

  1. 重点：      数据的导出

  2. 难点：      数据的采集工具


一、授课视频

1.数据的采集方法


2.数据的导出方法



3.数据采集工具介绍



二、授课文档



三、讨论

四、作业