Python大数据采集和应用

李福芬

目录

  • 1 验收材料
    • 1.1 结题验收报告书
    • 1.2 结题验收总结报告
    • 1.3 精品开放课程《Python大数据采集和应用》申报书(吴道君)
    • 1.4 教学团队成果（佐证）
    • 1.5 学生培优成果
    • 1.6 创新与社会服务成果
  • 2 Python数据分析概述
    • 2.1 第1-2课Anaconda+pycharm环境部署
    • 2.2 第3-4课Python程序语句和序列数据
  • 3 NumPy数值计算
    • 3.1 多维数组
    • 3.2 数组操作
    • 3.3 数组索引与切片
    • 3.4 数组的运算
    • 3.5 线性代数
    • 3.6 数组存取
  • 4 Matplotlib数据可视化
    • 4.1 线形图
    • 4.2 其他图形
    • 4.3 自定义设置
    • 4.4 子图
    • 4.5 绘制三维图形
  • 5 Pandas数据分析
    • 5.1 4.1~4.2 Pandas数据结构&基本功能
    • 5.2 4.3 读取外部数据
    • 5.3 4.4数据帧的列操作和行操作
    • 5.4 4.5高级索引
    • 5.5 4.6Pandas数据运算
    • 5.6 4.7 统计函数
    • 5.7 4.8 分组与聚合
    • 5.8 4.9 透视表与交叉表
  • 6 数据预处理
    • 6.1 数据清洗
    • 6.2 合并连接与重塑
    • 6.3 数据变换
  • 7 Sklearn机器学习
    • 7.1 术语
    • 7.2 Sklearn基础
      • 7.2.1 6.2.1 Sklearn数据集
      • 7.2.2 6.2.3 数据预处理
      • 7.2.3 6.2.4 数据集拆分
    • 7.3 降维
      • 7.3.1 6.3.1 PCA（主成分分析）
      • 7.3.2 6.3.2 LDA（线性评价分析)
    • 7.4 回归
      • 7.4.1 线性回归
      • 7.4.2 逻辑回归
      • 7.4.3 回归决策树
    • 7.5 分类
      • 7.5.1 朴素贝叶斯
      • 7.5.2 分类决策树
      • 7.5.3 SVM（支持向量机）
      • 7.5.4 神经网络
      • 7.5.5 K-近邻算法
    • 7.6 聚类
      • 7.6.1 K-means(k均值聚类算法)
      • 7.6.2 DBSCAN(密度聚类算法)
  • 8 拓展：数据分析案例
    • 8.1 案例实训1-不同手机操作系统流量分析
数据清洗

1.重复值

①检测重复值

②处理重复值




2.缺失值

①检测缺失值

②处理缺失值

        u删除法

        u固定值替代法

        u填充法 （常用处理方式）

        



②处理缺失值

u插值法

    •线性插值

    •多项式插值（拉格朗日插值）

    •样条插值



3.异常值

①检测异常值

        u箱线图

        u散点图

②处理异常值

        u1、删除

        u2、视为缺失值

        u3、平均值修正