信息采集技术

梁家淳

目录

  • 1 数据采集的基本概念及采集工具
    • 1.1 课程导学
      • 1.1.1 《数据采集与处理》网络课程导学
      • 1.1.2 《数据采集与处理》学生网络课程学习指引
    • 1.2 初识数据
    • 1.3 数据来源及采集基础
    • 1.4 采集方法及采集工具
    • 1.5 数据采集器介绍及安装
  • 2 数据采集应用
    • 2.1 采集器基本应用
      • 2.1.1 简易采集模式
      • 2.1.2 单页采集
      • 2.1.3 详情页采集
    • 2.2 采集器高级应用
      • 2.2.1 循环采集
      • 2.2.2 分页采集
      • 2.2.3 登录采集
      • 2.2.4 ajax
      • 2.2.5 xpath
      • 2.2.6 xpath
  • 3 数据采集综合应用
    • 3.1 综合网站数据采集
  • 4 数据处理基本概念
    • 4.1 数据处理的基本概念
      • 4.1.1 数据处理概念1
      • 4.1.2 数据处理概念2
      • 4.1.3 数据处理概念3
    • 4.2 ETL常用工具的安装及
  • 5 数据处理
    • 5.1 数据抽取
      • 5.1.1 文本数据抽取
      • 5.1.2 文本数据抽取
      • 5.1.3 web文件数据抽取
      • 5.1.4 数据库数据抽取1
      • 5.1.5 数据库数据抽取2
    • 5.2 数据清洗
      • 5.2.1 字符串清洗
      • 5.2.2 字段清洗
      • 5.2.3 参照表清洗
      • 5.2.4 数据转换
  • 6 作业设计
    • 6.1 作业设计
      • 6.1.1 作业设计
      • 6.1.2 变量
    • 6.2 综合练习
    • 6.3 期末复习
综合练习

课程内容：

  1. kettle综合实验

课程目标：

  1. 掌握kettle的综合使用方法


一、数据源文件



二、授课视频


三、授课文档