大数据分析技术

陈清华、田启明、施郁文等

目录

  • 课程简介
    • ● 课程简介
  • 环境准备
    • ● Anaconda环境安装与使用
    • ● Pycharm环境安装
    • ● 常用第三方包的安装与配置
  • 项目一 电影数据统计
    • ● 任务简介
    • ● 数据获取
    • ● 数据解析
    • ● 数据分析
    • ● 数据可视化
    • ● 课堂思政:新型冠状病毒疫情分析与可视化
    • ● 课堂思政:中国工匠精神
  • 项目二 电影数据分析(回归)
    • ● 任务简介
    • ● 使用一元线性回归分析电影票房数据
    • ● 使用多项式回归分析电影票房数据
    • ● 使用多元线性回归分析电影票房数据
    • ● 课堂实训:工资分析
  • 项目三 爬取房产租赁数据
    • ● 任务简介
    • ● 电影数据爬取
    • ● 房产租赁数据爬取
    • ● 房产租赁数据统计
    • ● 课后实训:二手房数据爬取
    • ● 课堂思政:疫情数据的爬取与可视化
  • 项目四 房屋租赁数据分析与可视化
    • ● 任务简介
    • ● 使用箱形图展现租赁价格分布特征
    • ● 使用散点图展现房屋面积与租赁价格的关系
    • ● 使用饼图展现不同行政区域的可租赁房源占比
    • ● 使用折线图可视化房间数与租赁价格的关系
    • ● 使用热力图展现地理位置的影响
    • ● 课后实训:二手房数据分析
    • ● 课堂思政:疫情数据分析与可视化
  • 项目五 身高与体重数据分析(分类器)
    • ● 使用身高、体重数据进行性别分类
      • ● 使用逻辑回归进行性别分类
      • ● 使用朴素贝叶斯进行性别分类
      • ● 使用决策树模型进行性别分类
      • ● 使用支持向量机进行性别分类
    • ● 使用支持向量机进行肥胖程度分类
    • ● 课后实训: 身高体重数据分析(分类器)
  • 项目六 鸢尾花分类
    • ● 任务简介
    • ● 使用K近邻对鸢尾花进行分类
    • ● 使用随机森林对鸢尾花进行分类
    • ● 使用神经网络对鸢尾花进行分类
  • 项目七 电影评分数据分析(聚类)
    • ● 任务简介
    • ● 使用BDSCAN确定质心个数
    • ● 使用K-Means对观影用户进行聚类
  • 项目八 人脸检测与人脸识别
    • ● 任务简介
    • ● 图像中的人脸检测
    • ● 视频中的人脸检测
    • ● 图像中的人脸识别
    • ● 视频中的人脸识别
    • ● 课后实训:眼睛与笑脸检测
    • ● 课堂思政:人工智能与弯道超车
  • 项目九 手写数字识别应用
    • ● 任务简介
    • ● 图像数据集准备
    • ● 使支持向量机识别手写数字
    • ● 使用神经网络识别手写数字
    • ● 课后实训:使用不同的机器学习方法识别数字手写体
  • 项目十  深度学习在行为识别中的应用
    • ● 任务简介
    • ● 使用卷积神经网络识别行为
    • ● 使用循环神经网络识别行为
    • ● 课后实训:电影评论数据分析
  • 项目十一 TensorFlow与神经网络
    • ● 任务简介
    • ● 使用单层神经网络预测花瓣宽度
    • ● 设计多层神经网络实现鸢尾花分类
    • ● 课后实训:卷积神经网络的实现与应用
  • 项目综合实训(17级学生案例)
    • ● 综合实训要求
    • ● 确定数据采集目标
    • ● 数据采集与预处理
    • ● 数据统计与分析
    • ● 数据分析与预测
    • ● 数据分类应用
    • ● 17级实训案例:二手车数据获取与市场分析
课堂思政:中国工匠精神


    工匠精神,英文是Craftsman’s spirit,是一种职业精神,它是职业道德、职业能力、职业品质的体现,是从业者的一种职业价值取向和行为表现。“工匠精神”的基本内涵包括敬业、精益、专注、创新等方面的内容。

    工匠们喜欢不断雕琢自己的产品,不断改善自己的工艺,享受着产品在双手中升华的过程。工匠们对细节有很高要求,追求完美和极致,对精品有着执着的坚持和追求,把品质从0提高到1,其利虽微,却长久造福于世。

    工匠精神是社会文明进步的重要尺度、是中国制造前行的精神源泉、是企业竞争发展的品牌资本、是员工个人成长的道德指引。“工匠精神”就是追求卓越的创造精神、精益求精的品质精神、用户至上的服务精神。

精神内涵

  • 敬业。敬业是从业者基于对职业的敬畏和热爱而产生的一种全身心投入的认认真真、尽职尽责的职业精神状态。中华民族历来有“敬业乐群”“忠于职守”的传统,敬业是中国人的传统美德,也是当今社会主义核心价值观的基本要求之一。早在春秋时期,孔子就主张人在一生中始终要“执事敬”“事思敬”“修己以敬” 。“执事敬”,是指行事要严肃认真不怠慢;“事思敬”,是指临事要专心致志不懈怠;“修己以敬”,是指加强自身修养保持恭敬谦逊的态度。

  • 精益。精益就是精益求精,是从业者对每件产品、每道工序都凝神聚力、精益求精、追求极致的职业品质。所谓精益求精,是指已经做得很好了,还要求做得更好,“即使做一颗螺丝钉也要做到最好”。正如老子所说,“天下大事,必作于细”。能基业长青的企业,无不是精益求精才获得成功的。

  • 专注。专注就是内心笃定而着眼于细节的耐心、执着、坚持的精神,这是一切“大国工匠”所必须具备的精神特质。从中外实践经验来看,工匠精神都意味着一种执着,即一种几十年如一日的坚持与韧性。“术业有专攻”,一旦选定行业,就一门心思扎根下去,心无旁骛,在一个细分产品上不断积累优势,在各自领域成为“领头羊”。在中国早就有“艺痴者技必良”的说法,如《庄子》中记载的游刃有余的“庖丁解牛”、《核舟记》中记载的奇巧人王叔远等。 

  • 创新。“工匠精神”还包括着追求突破、追求革新的创新内蕴。古往今来,热衷于创新和发明的工匠们一直是世界科技进步的重要推动力量。新中国成立初期,我国涌现出一大批优秀的工匠,如倪志福、郝建秀等,他们为社会主义建设事业做出了突出贡献。改革开放以来,“汉字激光照排系统之父”王选、“中国第一、全球第二的充电电池制造商”王传福、从事高铁研制生产的铁路工人和从事特高压、智能电网研究运行的电力工人等都是“工匠精神”的优秀传承者,他们让中国创新重新影响了世界。

数据分析流程中的工匠精神

  • 采集途径要合理、合法

  • 数据本身要真实、可靠

  • 数据分析要一丝不苟

  • 可视化注重直观体现美

  • 创新精神融入每个环节