大数据与人工智能概论

廖宁,慕江林

目录

  • 1 第1章 绪论
    • 1.1 大数据与人工智能概述
    • 1.2 大数据与人工智能典型应用
  • 2 第2章 数据工程
    • 2.1 数据工程概述
      • 2.1.1 【工具应用】使用Tableau Prep处理数据(案例1)
      • 2.1.2 【工具应用】使用Tableau DeskTop分析数据(案例1)
      • 2.1.3 【拓展学习】Tableau 在零售分析中的高级应用
    • 2.2 数据的获取
    • 2.3 数据的存储
      • 2.3.1 单机系统存储
      • 2.3.2 服务器存储
      • 2.3.3 分布式
    • 2.4 数据预处理
    • 2.5 数据分析与可视化
    • 2.6 过程性考核(项目)
  • 3 第3章 大数据框架
    • 3.1 分布式系统与Hadoop大数据平台
    • 3.2 分布式计算引擎
  • 4 第4章 机器学习
    • 4.1 机器学习概述
    • 4.2 回归算法
    • 4.3 分类算法
    • 4.4 聚类算法
  • 5 第5章 深度学习
  • 6 第6章 大数据与人工智能伦理
数据的存储

数据的存储主要经历了单机系统--> 集群结构 --> 分布式系统 三个阶段。

  • 单机系统:所有功能自己完成。自给自足,方便,但资源有限


  • 集群结构:相同的系统复制多份,同时完成某项工作。系统扩展容易,但需要负载均衡(需要调度者),通常集群都是物理位置分散的,如下图所示:


  • 分布式结构:每个服务器负责不同的功能,利用管理者协同调度服务,共同完成任务。


注:从单机系统到集群系统不需要修改系统,只需要多部署服务器,并负载均衡。

分布式结构的系统体系大不相同,若想从单机系统升级过来,必须对代码大动干戈。