农业大数据应用与分析

董文强

目录

  • 1 环境的搭建
    • 1.1 Hadoop集群安装
    • 1.2 Hdfs Shell基本操作命令
    • 1.3 Mapreduce计算框架
    • 1.4 Yarn资源管理器
    • 1.5 Hive安装
    • 1.6 Hive使用
    • 1.7 Sqoop安装
    • 1.8 Sqoop的使用
  • 2 数据的采集
    • 2.1 数据源的分类
    • 2.2 HTTP请求过程
    • 2.3 认识HTTPClient
    • 2.4 分析网页数据结构
    • 2.5 采集有关农业网页数据
  • 3 数据预处理
    • 3.1 分析预处理数据
    • 3.2 设计预处理方案
    • 3.3 实现数据的预处理
    • 3.4 将数据预处理程序提交到集群中运行
  • 4 数据分析
    • 4.1 数据分析概述
    • 4.2 利用hive数据仓库进行农业数据的分析
  • 5 数据可视化
    • 5.1 平台介绍
    • 5.2 数据迁移
    • 5.3 平台环境的搭建
    • 5.4 实现图形化展示功能
  • 6 实验报告
    • 6.1 实验报告1
    • 6.2 实验报告2
    • 6.3 实验报告3
    • 6.4 实验报告4
  • 7 作业
    • 7.1 作业
  • 8 月考
    • 8.1 月考
  • 9 期末
    • 9.1 期末
实验报告1