动态学习率
上一节
下一节
邱锡鹏
目录
-
1 机器学习概述
-
1.1 机器学习概述
-
1.2 机器学习定义
-
1.3 曲线拟合-回归和模型选择
-
1.4 总结
-
-
2 线性回归
-
2.1 线性回归
-
2.2 多项式回归
-
2.3 线性回归的概率视角
-
2.4 模型选择与偏差-方差分解
-
2.5 常用的定理
-
2.6 总结
-
-
3 最近邻与决策树
-
3.1 最近邻与决策树概述
-
3.2 分类问题
-
3.3 K近邻
-
3.4 基于规则的方法
-
3.5 决策树
-
3.6 总结
-
-
4 线性分类
-
4.1 线性分类概述
-
4.2 线性分类的定义
-
4.3 Fisher线性判别
-
4.4 感知器
-
4.5 概率模型
-
4.6 Logistic回归
-
4.7 Softmax回归
-
4.8 总结
-
-
5 核方法与支持向量机
-
5.1 核方法与支持向量机概述
-
5.2 分类模型的对偶表示
-
5.3 核技巧
-
5.4 支持向量机
-
5.5 优化
-
5.6 不可分数据
-
5.7 总结
-
-
6 无监督学习
-
6.1 无监督学习概述
-
6.2 聚类
-
6.3 K均值方法
-
6.4 层次聚类
-
6.5 （无监督）特征学习
-
6.6 主成分分析
-
6.7 编码与稀疏编码
-
6.8 自编码器
-
6.9 自监督学习
-
6.10 概率密度估计
-
6.11 非参密度估计
-
6.12 半监督学习
-
6.13 总结
-
-
7 前馈神经网络
-
7.1 前馈神经网络概述
-
7.2 神经元
-
7.3 神经网络
-
7.4 前馈神经网络
-
7.5 反向传播算法
-
7.6 计算图与自动微分
-
7.7 优化问题
-
7.8 神经网络与深度学习
-
7.9 总结
-
-
8 卷积神经网络
-
8.1 卷积神经网络概述
-
8.2 卷积
-
8.3 卷积神经网络
-
8.4 其它卷积种类
-
8.5 典型的卷积网络
-
8.6 卷积网络的应用
-
8.7 应用到文本数据
-
8.8 总结
-
-
9 循环神经网络
-
9.1 循环神经网络概述
-
9.2 给神经网络增加记忆能力
-
9.3 循环神经网络
-
9.4 应用到机器学习
-
9.5 参数学习与长程依赖问题
-
9.6 如何解决长程依赖问题
-
9.7 GRU与LSTM
-
9.8 深层循环神经网络
-
9.9 循环网络应用
-
9.10 扩展到图结构
-
9.11 总结
-
-
10 注意力机制
-
10.1 注意力机制概述
-
10.2 注意力机制
-
10.3 人工神经网络中的注意力机制
-
10.4 注意力机制的应用
-
10.5 自注意力模型
-
10.6 Transformer
-
10.7 总结
-
-
11 网络优化与正则化
-
11.1 网络优化与正则化概述
-
11.2 神经网络优化的特点
-
11.3 优化算法改进
-
11.4 动态学习率
-
11.5 梯度估计修正
-
11.6 参数初始化
-
11.7 数据预处理
-
11.8 逐层规范化
-
11.9 超参数优化
-
11.10 网络正则化
-
11.11 ℓ_1和ℓ_2正则化
-
11.12 暂退法（Dropout）
-
11.13 数据增强
-
11.14 总结
-
-
12 前沿报告（直播）
-
13 期末辅导与答疑（直播）
-
14 线下考试
