机器学习

张瑞生

目录

  • 1 机器学习课程介绍
    • 1.1 课程介绍
      • 1.1.1 机器学习
      • 1.1.2 机器学习工具与平台
      • 1.1.3 什么是机器学习
      • 1.1.4 机器学习问题举例
    • 1.2 机器学习的发展
      • 1.2.1 机器学习的历史
      • 1.2.2 机器学习的现状
      • 1.2.3 机器学习的未来
    • 1.3 为什么要机器学习
      • 1.3.1 成功案例
      • 1.3.2 机器学习发展的动力
    • 1.4 机器学习系统的类型
      • 1.4.1 监督学习
      • 1.4.2 无监督学习
      • 1.4.3 强化学习
      • 1.4.4 机器学习新的方向
    • 1.5 课程相关
      • 1.5.1 端到端机器学习流程
      • 1.5.2 统计学习和机器学习术语
      • 1.5.3 课程安排
      • 1.5.4 课程涵盖的主要内容
      • 1.5.5 需要的基础知识
      • 1.5.6 参考书
  • 2 线性分类器
    • 2.1 分类
    • 2.2 线性分类器的假设类
    • 2.3 学习算法评估
    • 2.4 学习算法示例
  • 3 感知器
    • 3.1 感知器模型
    • 3.2 感知器学习策略
    • 3.3 关于感知器算法的说明
    • 3.4 感知器算法
      • 3.4.1 感知器数据集间隔
      • 3.4.2 感知器收敛定理
      • 3.4.3 感知器收敛定理证明
      • 3.4.4 在另一个空间思考问题
  • 4 特征选择
    • 4.1 完整的机器学习算法的步骤
    • 4.2 特征工程
      • 4.2.1 特征缩放/标准化
      • 4.2.2 特征交叉
      • 4.2.3 特征选择
    • 4.3 系统化构建特征
      • 4.3.1 多项式基
      • 4.3.2 径向基
    • 4.4 手工构建特征
    • 4.5 以有用的形式编码数据
      • 4.5.1 对类别数据编码
      • 4.5.2 对有序数据编码
      • 4.5.3 对范围数据的编码
      • 4.5.4 对数值数据编码
    • 4.6 在特征空间中学习
    • 4.7 学习算法评估
      • 4.7.1 交叉验证
  • 5 Logistic回归-梯度下降
    • 5.1 机器学习作为最优化问题
      • 5.1.1 优化算法的步骤
      • 5.1.2 机器学习中的目标函数的一般形式
      • 5.1.3 梯度下降优化算法
    • 5.2 获取不确定性
      • 5.2.1 不确定性示例
      • 5.2.2 Sigmoid/Logistic函数
    • 5.3 线性Logistic分类器
      • 5.3.1 线性Logistic分类器的定义
      • 5.3.2 负对数似然损失函数
    • 5.4 梯度下降
      • 5.4.1 梯度下降属性
      • 5.4.2 随机梯度下降
    • 5.5 Logistic回归的正则化
    • 5.6 Logistic分类算法的优化
      • 5.6.1 Logistic回归梯度下降
      • 5.6.2 重新审视Logistic回归损失
      • 5.6.3 Logitic回归学习算法
  • 6 线性回归
    • 6.1 回归作为优化问题
      • 6.1.1 线性回归
      • 6.1.2 性能评估
      • 6.1.3 泛化学习
      • 6.1.4 目标函数
      • 6.1.5 最优参数
    • 6.2 线性回归
      • 6.2.1 线性模型的假设类
      • 6.2.2 线性回归模型
    • 6.3 普通最小二乘法
    • 6.4 线性回归正则化
      • 6.4.1 正则化函数
      • 6.4.2 正则化线性回归-岭回归
      • 6.4.3 正则化线性回归-LASSO回归
    • 6.5 梯度下降和随机梯度下降
      • 6.5.1 优化线性回归
      • 6.5.2 线性回归的梯度下降算法
      • 6.5.3 随机梯度下降算法SGD
    • 6.6 学习算法评估
      • 6.6.1 超参数选择
      • 6.6.2 估计误差
      • 6.6.3 结构误差
      • 6.6.4 评估假设
  • 7 支持向量机
    • 7.1 约束最优化
      • 7.1.1 约束最优化问题
      • 7.1.2 约束最优化问题的求解方法
      • 7.1.3 约束最优化与正则化
    • 7.2 关于损失函数的讨论
    • 7.3 间隔与支持向量
      • 7.3.1 支持向量
      • 7.3.2 间隔最大化
    • 7.4 线性可分支持向量机
      • 7.4.1 线性可分支持向量机学习算法
      • 7.4.2 求解对偶问题
      • 7.4.3 间隔最大化对偶算法
    • 7.5 线性支持向量机、软间隔和正则化
      • 7.5.1 软间隔和正则化
      • 7.5.2 线性支持向量机学习的对偶问题
    • 7.6 核方法、非线性支持向量机
      • 7.6.1 核技巧
      • 7.6.2 正定核函数
      • 7.6.3 机器学习中常用的核函数
      • 7.6.4 非线性支持向量机与学习算法
  • 8 神经网络
    • 8.1 神经网络的基本元素
      • 8.1.1 人工神经元
      • 8.1.2 神经元训练
      • 8.1.3 神经元的应用示例
    • 8.2 学习特征
      • 8.2.1 生成集
      • 8.2.2 逼近器
      • 8.2.3 阶梯函数构造新特征
    • 8.3 神经网络
      • 8.3.1 神经网络结构
      • 8.3.2 单层感知器
      • 8.3.3 多层感知器
    • 8.4 网络
      • 8.4.1 层的定义
      • 8.4.2 神经网络的基本结构
      • 8.4.3 单层网络
      • 8.4.4 多层网络
      • 8.4.5 前馈网络
      • 8.4.6 记忆网络
      • 8.4.7 图网络
    • 8.5 激活函数
      • 8.5.1 激活函数概念
      • 8.5.2 常用的激活函数
      • 8.5.3 激活函数的选择
    • 8.6 反向传播
    • 8.7 训练
      • 8.7.1 训练过程
      • 8.7.2 误差反向传播的SGD算法
    • 8.8 神经网络参数优化
      • 8.8.1 神经网络参数优化概论
      • 8.8.2 批处理 Batches
      • 8.8.3 正则化
  • 9 卷积神经网络
    • 9.1 卷积神经网络简介
      • 9.1.1 机器视觉竞赛
      • 9.1.2 卷积神经网络的应用
    • 9.2 图像基础知识
      • 9.2.1 图像的特点
      • 9.2.2 图像的性质
    • 9.3 卷积层
      • 9.3.1 滤波器
      • 9.3.2 其他概念
    • 9.4 池化层
      • 9.4.1 池化的概念
      • 9.4.2 池化的方法
    • 9.5 卷积神经网络架构
      • 9.5.1 AlexNet
      • 9.5.2 GoogleNet
      • 9.5.3 VGG
      • 9.5.4 ResNet
  • 10 马尔可夫决策过程
    • 10.1 状态机
      • 10.1.1 序列模型简介
      • 10.1.2 状态机与转移矩阵
    • 10.2 Markov 决策过程
      • 10.2.1 状态和动作
      • 10.2.2 转移函数
      • 10.2.3 收益和策略函数
    • 10.3 值函数
      • 10.3.1 有限状态值函数
      • 10.3.2 无限状态值迭代算法
  • 11 强化学习
    • 11.1 强化学习简介
      • 11.1.1 强化学习基本问题
      • 11.1.2 K 臂赌博机问题
      • 11.1.3 探索和利用
      • 11.1.4 Q-学习
    • 11.2 强化学习方法分类
    • 11.3 无模型方法 Model-free methods
      • 11.3.1 Q-learning
      • 11.3.2 Function approximation: Deep Q learning
      • 11.3.3 Fitted Q-learning
      • 11.3.4 策略搜索
    • 11.4 基于模型的强化学习
    • 11.5 强化学习示例
    • 11.6 深入讨论
  • 12 循环神经网络
    • 12.1 循环神经网络介绍
      • 12.1.1 RNN
      • 12.1.2 RNN变体(改进模型)
    • 12.2 循环神经网络模型
      • 12.2.1 训练语言模型
      • 12.2.2 状态机与循环神经网络
    • 12.3 序列到序列循环神经网络
      • 12.3.1 序列到类别模式
      • 12.3.2 同步序列到序列模式
      • 12.3.3 异步序列到序列模式
    • 12.4 参数学习
      • 12.4.1 权重更新
      • 12.4.2 反向传播
      • 12.4.3 前相传播
    • 12.5 循环神经网络变体
      • 12.5.1 长短期记忆网络和门控机制
      • 12.5.2 梯度消失和门控机制
      • 12.5.3 Transformers-Bert
      • 12.5.4 RNN存在的问题
  • 13 生成模型
    • 13.1 生成模型概述
      • 13.1.1 生成模型定义
      • 13.1.2 生成模型与判别模型的比较
      • 13.1.3 生成模型的优缺点
    • 13.2 变分自编码器
      • 13.2.1 自编码器
      • 13.2.2 变分自编码器的定义
      • 13.2.3 变分推断
      • 13.2.4 变分自编码器的学习算法
      • 13.2.5 变分自编码器的应用场景
    • 13.3 生成对抗网络
      • 13.3.1 生成对抗网络的定义
      • 13.3.2 生成对抗网络的学习算法
      • 13.3.3 生成对抗网络的评价方法
      • 13.3.4 生成对抗网络的应用场景
  • 14 决策树和随机森林
    • 14.1 基于树的通**近器
      • 14.1.1 基于树的通**近器
      • 14.1.2 通过递归创建深度树
    • 14.2 分类树
    • 14.3 回归树
    • 14.4 特征选择方法
      • 14.4.1 常见的特征选择方法
      • 14.4.2 信息增益
      • 14.4.3 基尼不纯度
      • 14.4.4 方差减少
    • 14.5 切分条件度量
      • 14.5.1 常用的决策树算法
    • 14.6 构建决策树
    • 14.7 集成学习
    • 14.8 随机森林
      • 14.8.1 随机森林
      • 14.8.2 决策树与随机森林
    • 14.9 KNN最近邻分类算法
  • 15 无监督学习与聚类
    • 15.1 无监督学习
      • 15.1.1 无监督学习
      • 15.1.2 新特征表示
      • 15.1.3 密度估计/异常检测
      • 15.1.4 结构检测/寻找因果模型
    • 15.2 聚类
      • 15.2.1 聚类任务
      • 15.2.2 k-means聚类
      • 15.2.3 k-menas算法说明
    • 15.3 k-means++
  • 16 推荐系统
    • 16.1 基于内容的推荐
      • 16.1.1 内容表示和相似度
      • 16.1.2 基于内容相似度检索
    • 16.2 协同过滤
      • 16.2.1 协同过滤算法原理
      • 16.2.2 优化
      • 16.2.3 基于知识的推荐
        • 16.2.3.1 知识表示法和推荐
        • 16.2.3.2 与基于约束的推荐系统交互
        • 16.2.3.3 与基于实例的推荐系统交互
    • 16.3 混合推荐
      • 16.3.1 并行推荐
      • 16.3.2 整体式混合
      • 16.3.3 流水线式混合
    • 16.4 推荐评估
    • 16.5 推荐系统与深度学习
分类