信息采集技术

梁家淳

目录

  • 1 数据采集的基本概念及采集工具
    • 1.1 课程导学
      • 1.1.1 《数据采集与处理》网络课程导学
      • 1.1.2 《数据采集与处理》学生网络课程学习指引
    • 1.2 初识数据
    • 1.3 数据来源及采集基础
    • 1.4 采集方法及采集工具
    • 1.5 数据采集器介绍及安装
  • 2 数据采集应用
    • 2.1 采集器基本应用
      • 2.1.1 简易采集模式
      • 2.1.2 单页采集
      • 2.1.3 详情页采集
    • 2.2 采集器高级应用
      • 2.2.1 循环采集
      • 2.2.2 分页采集
      • 2.2.3 登录采集
      • 2.2.4 ajax
      • 2.2.5 xpath
      • 2.2.6 xpath
  • 3 数据采集综合应用
    • 3.1 综合网站数据采集
  • 4 数据处理基本概念
    • 4.1 数据处理的基本概念
      • 4.1.1 数据处理概念1
      • 4.1.2 数据处理概念2
      • 4.1.3 数据处理概念3
    • 4.2 ETL常用工具的安装及
  • 5 数据处理
    • 5.1 数据抽取
      • 5.1.1 文本数据抽取
      • 5.1.2 文本数据抽取
      • 5.1.3 web文件数据抽取
      • 5.1.4 数据库数据抽取1
      • 5.1.5 数据库数据抽取2
    • 5.2 数据清洗
      • 5.2.1 字符串清洗
      • 5.2.2 字段清洗
      • 5.2.3 参照表清洗
      • 5.2.4 数据转换
  • 6 作业设计
    • 6.1 作业设计
      • 6.1.1 作业设计
      • 6.1.2 变量
    • 6.2 综合练习
    • 6.3 期末复习
数据采集器介绍及安装

课程内容：

  1. 数据采集器介绍

  2. 八爪鱼数据采集器注册、安装与界面介绍


课程目标：

  1. 了解数据采集器种类

  2. 能使用八爪鱼数据采集器进行注册和安装

课程重点、难点：

重点：采集器的安装

难点：采集器的种类


一. 安装软件下载


Octopus是采集软件，必须安装，直接运行即可


这两个软件是数据库存储数据的软件（有能力的人必须安装）




二、授课视频

1.数据采集器介绍及安装


2.数据采集器界面介绍



三、授课文档




四、测验