目录

  • 1 课程资料
    • 1.1 课程标准
    • 1.2 教学日历
    • 1.3 教案
  • 2 大数据时代
    • 2.1 大数据概述
    • 2.2 大数据的4V特征和关键技术
    • 2.3 大数据与云计算、物联网的关系
    • 2.4 直播录屏
    • 2.5 章节测试
  • 3 大数据处理架构Hadoop
    • 3.1 平台搭建(VM+UbuntuKylin16.04+Hadoop伪分布式+Hbase伪分布式)
    • 3.2 Hadoop简介
    • 3.3 Hadoop的版本
    • 3.4 Hadoop项目结构
    • 3.5 Hadoop安装与配置
    • 3.6 Hadoop伪分布式集群搭建
    • 3.7 章节测试
  • 4 分布式文件系统HDFS简介
    • 4.1 分布式文件系统HDFS简介
      • 4.1.1 HDFS的基本操作实验
    • 4.2 HDFS的基本概念
    • 4.3 HDFS的体系结构
    • 4.4 HDFS的存储策略
    • 4.5 HDFS的数据读写过程
      • 4.5.1 第一关:HDFS Java API编程 ——文件读写
    • 4.6 第2关:HDFS-JAVA接口之上传文件
    • 4.7 章节测试
  • 5 分布式数据HBASE
    • 5.1 HBASE简介
    • 5.2 HBASE数据模型
    • 5.3 HBASE的实现原理
    • 5.4 HBASE运行机制
    • 5.5 HBASE的应用方案。
    • 5.6 章节测试
    • 5.7 Hbase数据库的安装
  • 6 MapReduce概述
    • 6.1 分布式并行编程方式
    • 6.2 MapReduce模型
    • 6.3 MapReduce体系结构
    • 6.4 MapReduce的工作流程
    • 6.5 shuffle操作的过程原理
    • 6.6 章节测试
  • 7 Spark简介
    • 7.1 ​ Spark简介
    • 7.2 Spark与Hadoop的对比
    • 7.3 Spark运行架构基本概念和架构设计
    • 7.4 Spark运行基本流程
    • 7.5 RDD设计与运行原理
    • 7.6 Spark应用实例
    • 7.7 章节测试
  • 8 流计算
    • 8.1 流计算概念及框架
    • 8.2 流计算处理流程及应用
    • 8.3 章节测试
  • 9 大数据的应用
    • 9.1 大数据的应用领域
    • 9.2 大数据助力精准防疫
    • 9.3 章节测试
  • 10 拓展阅读
    • 10.1 区块链
    • 10.2 COVID-19疫情的数据科学实践之Python疫情数据爬取
    • 10.3 大数据技术工具
      • 10.3.1 交通大数据案例
  • 11 主题讨论
    • 11.1 主题讨论
大数据助力精准防疫

大数据助力精准防疫

2020年1月,湖北省武汉市等多个地区发生新型冠状病毒感染的肺炎疫情,随后,疫情迅速扩散到全国各地。疫情发生以来,全国上下步调一致,汇聚起了战“疫”硬核力量,其间大数据作用可圈可点。在疫情防控、资源调配、复工复产等方面,大数据都扮演着重要角色。

  (1)大数据助力疫情防控。 做好疫情防控工作,直接关系人民生命安全和身体健康,直接关系经济社会大局稳定,也事关我国对外开放。在疫情防控方面,大数据表现可谓“亮眼”。比如,疫情实时大数据报告、新冠肺炎确诊患者相同行程查询工具、发热门诊地图等,都在疫情防控中发挥了明显效用。在人员密集场所,采用“5G+热成像”技术更是实现了快速测温及体温监控,能够有效预防病毒在人群传播。再比如,2020年2月12日上线的“云南抗疫情”扫码登记系统,就在疫情防控中发挥了重要作用。在2月20日,当天云南省新增确诊病例1例。系统分析人员迅速从数据中分析得知,这位患者此前曾到过一个农贸市场和一所医院,他在农贸市场和41个人有过接触;在医院与260人可能有过接触。大约1分钟,系统分析人员就分析出准确数据,并在第一时间提供给了疫情防控指挥部。当找出这些接触者后,指挥部及时通过短信、电话等方式,提示他们关注自身身体状况,及时居家隔离或到定点医院就诊,尽最大可能减少交叉传播。

  (2)大数据精准资源调配。 因为新冠肺炎疫情的传播,各地对医疗物资、生活物资等多维度资源需求短时间内激增。借助高价值数据,可以最大限度利用资源,实现系统谋划、顶层设计、动态调整。比如,“国家重点医疗物资保障调度平台”,对医用防护服、口罩、护目镜、药品等等重点医疗物资实施在线监测,全力保障重点医疗防控物资生产供应。借助大数据、人工智能、云计算等数字技术,打赢疫情防控阻击战,我们底气十足。

(3)大数据护航复工复产。 疫情防控不能松懈,复工复产同样不能迟缓。推动企业复工复产,既是打赢疫情防控阻击战的实际需要,也是经济社会稳定运行的重要保证。随着复工复产全力推进,多地依托疫情防控大数据平台,推出了居民健康登记系统和企业员工健康登记系统,实现了疫情防控的智能动态化监管。大数据发力,在为居民日常生活提供便利的同时,也形成了无遗漏、全覆盖、科学便捷的管控体系。比如,阿里公司研发的“健康码”就在疫情防控中发挥了重要作用。那么健康码是什么呢?在疫情严峻时期,社区、工厂(公司)、学校,都在要求大家每天上报个人健康信息,我们进出小区、乘坐飞机、高铁、火车、汽车、轮船等公共交通工具,也都需要提供通行证或健康证明。健康码就是将这个通行证或者健康证明数字化,通过政府的沟通协调在一定范围内通用,这个数字化的证明就是每个人的健康码。借助大数据比对,根据全国疫情风险程度、个人在疫情严重地区停留时间次数、与密接人员接触状态等个人有效信息,量化赋分后最终生成相应的三色码。由于支付宝和微信具有非常庞大的用户群体,用户都是实名制,保证每个人都是真实的,另外也不必因为一个健康码再安装一个APP,所以天然的比其他科技公司开发的健康码更加有优势。2020年2月11日,支付宝健康码首先在杭州推行。上线第一天,访问量就达到了1000万。现在杭州的健康码分为三种颜色:绿色:代表身体正常,可以凭码通行;黄色:代表正在实施7天隔离;红色:代表正在实施14天隔离。这种健康码的颜色是可以根据具体情况进行实时改变的。假如某人从外地来杭州后一直呆在家里没有外出,那么7天后他的健康码将从红色变为黄色,再过7天他的健康码变为绿色,即他的健康没有问题,可以正常复工了。