Hadoop大数据技术

何永亚

目录

  • 课程导学
    • ● 教学设计
    • ● 教学日历
  • 项目一 在虚拟机中安装centos7
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 linux概述
    • ● 任务二 安装centos7
    • ● 项目拓展
    • ● 讨论答疑
  • 项目二 安装hadoop伪分布
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 大数据概述
    • ● 任务二  网络配置
    • ● 任务三 linux SSh免密登录
    • ● 任务四 jdk安装与配置
    • ● 任务五 Hadoop的安装与配置
    • ● 项目拓展
    • ● 讨论答疑
  • 项目三 平台基础环境配置
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Linux虚拟机克隆
    • ● 任务二 三节点网络以及相关工具配置
    • ● 任务三 Hadoop集群安装前准备
    • ● 项目拓展
    • ● 讨论答疑
  • 项目四  搭建zookeeper分布式集群
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Zookeeper概论
    • ● 任务二 搭建zookeeper集群
    • ● 任务三 Zookeeper shell的操作
    • ● 项目拓展
    • ● 讨论答疑
  • 项目五 搭建HDFS分布式集群
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 HDFS架构设计与工作原理
    • ● 任务二 搭建HDFS集群
    • ● 任务三 HDFS shell操作
    • ● 项目拓展
    • ● 讨论答疑
  • 项目六 搭建YARN分布式集群
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 YARN架构设计与工作原理
    • ● 任务二 搭建YARN分布式集群
    • ● 任务三 Hadoop集群运维管理
    • ● 项目拓展
    • ● 讨论答疑
  • 项目七  Hadoop分布式计算框架(MapReduce)
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 初识MapReduce
    • ● 任务二 MapReduce编程
    • ● 项目拓展
    • ● 讨论答疑
  • 项目八 Hive的安装部署
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Hive概述
    • ● 任务二 Hive的安装部署
    • ● 项目拓展
    • ● 讨论答疑
  • 项目九 Hive常用命令的使用
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Hive对数据库的操作
    • ● 任务二 Hive对数据表的操作
    • ● 任务三 Hive数据相关操作
    • ● 任务四 Hive查询相关操作
    • ● 任务五 Hive表连接相关操作
    • ● 任务六 Hive内部表和外部表相关操作
    • ● 任务七 Hive分区与分桶相关操作
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十 HBase集群安装配置
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 HBase概述
    • ● 任务二 HBase集群安装配置
    • ● 任务三  HBase shell操作
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十一 Sqoop安装部署
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Sqoop数据迁移工具
    • ● 任务二 Sqoop安装配置
    • ● 任务三 Sqoop迁移Hive仓库数据
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十二 Flume的安装与使用
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Flume日志采集系统概述
    • ● 任务二  Flume安装配置
    • ● 任务三 测试实例：监控端口数据
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十三 Kafka分布式集群搭建
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Kafka概述
    • ● 任务二 Kafka分布式集群搭建
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十四 Davinci安装部署
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Davinci架构设计
    • ● 任务二 Davichi安装部署
    • ● 项目拓展
    • ● 讨论答疑
  • 项目十五 互联网金融项目离线分析
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 需求分析
    • ● 任务二 数据流程设计
    • ● 任务三 开发步骤
    • ● 项目拓展
    • ● 讨论答疑
任务三 开发步骤
  • 1 微课视频
  • 2 任务过关

    一、步骤视频

  步骤一 创建数据库以及相应表格

  步骤二 Sqoop采集MySQL数据库

 

  步骤三 Hive对金融项目进行离线分析

 

  步骤四 创建MySQL业务表

 

  步骤五  统计结果入库MySQL

 

  步骤六  Davinci数据可视化分析

  二、指导文档