目录

  • 课程导学
    • ● 教学大纲
    • ● 课程标准
    • ● 教学日历
  • 项目一 Linux环境搭建与准备
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 VMware Workstation 安装部署
    • ● 任务二 创建虚拟机
    • ● 任务三 安装rochy linux8系统
    • ● 任务四 linux统一设置
    • ● 项目跟练
    • ● 讨论答疑
  • 项目二 Hadoop安装与配置
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Hadoop伪分布安装与配置
    • ● 任务二 Hadoop完全分布式环境搭建准备
    • ● 任务三 搭建完全分布式Hadoop集群
    • ● 项目跟练
    • ● 讨论答疑
  • 项目三 Hive的安装部署
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一  Hive概述
    • ● 任务二 Hive原理及架构
    • ● 任务三 Hive的安装部署
    • ● 任务四 hive on Spark(选做)
    • ● 任务五 hiveserver2服务部署
    • ● 任务六 使用Datagrip图形化客户端进行远程访问
    • ● 项目跟练
    • ● 讨论答疑
  • 项目四 DDL数据定义
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 Hive对数据库的操作
    • ● 任务二 Hive对数据表的操作
    • ● 项目跟练
    • ● 讨论答疑
  • 项目五 DML数据操作
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 数据导入
    • ● 任务二 数据导出
    • ● 任务三 数据备份与恢复
    • ● 项目跟练
    • ● 讨论答疑
  • 项目六 查询操作
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 基础语法
    • ● 任务二 基本查询
    • ● 任务三 Hive表连接相关操作
    • ● 项目跟练
    • ● 讨论答疑
  • 项目七 分区表和分桶表
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 分区
    • ● 任务二 分桶
    • ● 项目跟练
    • ● 讨论答疑
  • 项目八 函数的使用
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 函数简介
    • ● 任务二 内置函数
    • ● 项目跟练
    • ● 讨论答疑
  • 项目九 hive sql综合训练
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 环境准备
    • ● 任务二 简单查询
    • ● 任务三 汇总分析
    • ● 任务四 复杂查询
    • ● 任务五 多表查询
    • ● 项目跟练
    • ● 讨论答疑
  • 项目十 教育大数据分析平台
    • ● 课程思政
    • ● 项目导学
    • ● 思维导图
    • ● 任务一 项目概述
    • ● 任务二 sqoop安装配置
    • ● 任务三 实现数据仓库分层
    • ● 任务四 数据采集
    • ● 任务五 数据分析
    • ● 任务六 数据可视化
    • ● 项目跟练
    • ● 讨论答疑
任务四 linux统一设置
  • 1 任务实施
  • 2 任务过关
  • 3 任务拓展

  一、步骤视频

  步骤一 配置静态ip

  我们用Linux来搭建集群学习Hadoop的话,是希望IP固定不变的,因为有很多地方会涉及到IP地址的配置,如果IP地址变化就会涉及到很多相关地方的修改,所以我们需要配置静态IP,那么具体如何进行配置呢?具体操作如下视频:  

  步骤二 x-shell工具

  由于直接在Linux虚拟机上操作比较不方便,所以我们选择使用第三方远程连接工具X-shell远程连接到Linux虚拟机,然后通过X-shell对Linux虚拟机进行相关操作。具体操作如下视频:

  步骤三 FileZilla传输工具 

  FileZilla是一个免费开源的FTP软件,可以轻松实现文件上传与下载。具体操作如下视频:

 步骤四 配置主机名和ip映射

 实际上无论是 IP 地址还是主机名都是为了标识一台主机或者服务器。IP地址就是一台主机上网时IP协议分配给它的一个逻辑地址,主机名(hostname)就相当于又给这台机器取了一个名字,可以为主机取各种各样的名字。如果要用这个名字去访问这台主机,那么就需要配置hostname与IP地址之间的对应关系。具体操作如下视频:

  步骤五 关闭linux防火墙

  防火墙是对服务器进行保护的一种服务,但是有时候这种服务会带来很大的麻烦。比如它会妨碍集群间的相互通信,所以就需要关闭防火墙。具体操作如下视频:

  步骤六 创建linux用户和用户组

  在Hadoop平台搭建过程中,为了系统安全考虑,一般不直接使用超级用户 root,而是需要创建一个新的用户和用户组,ssh的配置也是针对某一用户的。具体操作如下视频:

  步骤七 Linux SSH免密登录

  在启动和停止Hadoop集群的时候,需要输入每个从节点的密码。当集群规模比较大的时候,如果每次都要分别输入集群节点的密码,这种方法肯定是不可取的,所以要对Hadoop集群进行SSH免密登录的配置。具体操作如下视频:

  步骤八 jdk的安装与配置

  由于Hadoop框架是由Java语言开发并运行在JVM之上,所以需要在Linux中提前安装JDK环境。针对Linux系统下的JDK具体版本,可以选择目前比较稳定且常用的JDK1.8版本。具体操作如下视频:

  二、指导文档