深度学习理论与实践

程宏

目录

  • 1 学习指南
    • 1.1 课程纲要信息
    • 1.2 软件安装方法
  • 2 ChatGPT的简介与应用
    • 2.1 对ChatGPT的常见误解
    • 2.2 ChatGPT背后的关键技术-预训练
    • 2.3 ChatGPT带来的研究问题
    • 2.4 第1次课教案
    • 2.5 课后作业1
  • 3 深度学习概述
    • 3.1 深度学习基础概念讲解与讨论
    • 3.2 深度学习应用场景探索
    • 3.3 第2次课教案
    • 3.4 课后作业2
  • 4 线性回归及Softmax回归
    • 4.1 数学基础知识
    • 4.2 线性回归模型
    • 4.3 Softmax回归模型
    • 4.4 第3次课教案
    • 4.5 课后作业3
    • 4.6 课后资源
  • 5 感知机（神经网络）模型的数学基础与实现
    • 5.1 感知机（神经网络）模型
    • 5.2 前向传播与反向传播算法
    • 5.3 第4次课教案
    • 5.4 课后作业4
    • 5.5 课后资源
  • 6 神经网络的优化方法与技巧
    • 6.1 A-神经网络的优化方法与技巧
    • 6.2 B-神经网络的优化方法与技巧
    • 6.3 第5-6次课教案
    • 6.4 课后作业
  • 7 卷积神经网络（CNN）原理与应用
    • 7.1 卷积神经网络（CNN）原理与应用（A）
    • 7.2 卷积神经网络（CNN）原理与应用（B）
    • 7.3 第7-8次教案
    • 7.4 文献：ResNet（自习）
    • 7.5 文献：UNet（自习）
    • 7.6 文献：EfficientNet（自习）
    • 7.7 文献：MobileNet 系列（自习）
    • 7.8 文献：YOLO 系列（自习）
    • 7.9 工程：Ultralytics YOLO Vision
    • 7.10 工程：人脸识别（自习）
    • 7.11 文献：The world is your green screen（自习）
    • 7.12 工程：Mask RCNN
  • 8 循环神经网络（RNN）原理与应用
    • 8.1 循环神经网络（RNN）原理与应用（A）
    • 8.2 循环神经网络（RNN）原理与应用（B）
    • 8.3 文献：WaveNet（自习）
    • 8.4 文献：Google speech to text（自习）
    • 8.5 工程：Mocking bird（自习）
  • 9 注意力机制及其应用（自习）
    • 9.1 文献：Attention Is All You Need
    • 9.2 文献：GPT 系列
    • 9.3 文献：ViT
    • 9.4 文献：Swin Transformer
  • 10 深度学习的应用与案例分析
    • 10.1 案例：外币汇率预测
    • 10.2 参考文献
  • 11 项目实践（课程论文）
    • 11.1 数据采集工具
    • 11.2 课程考核（标准及要求）
    • 11.3 参考文献
课后资源

MINIST数据集

  1. 处理MINIST数据集的神经网络的实现：

  2. 神经网络的推理处理：

  3. 批处理：


数据集：

提供了便利的Python脚本mnist.py，该脚本支持从下载MNIST数据集到将这些数据转换成NumPy数组等处理