目录

  • 1 自然语言处理概论
    • 1.1 绪论
    • 1.2 NLP基础实验
  • 2 分词
    • 2.1 分词
    • 2.2 中文自然语言处理
    • 2.3 机器学习复习
  • 3 机器学习与自然语言处理
    • 3.1 机器学习与自然语言处理基础
    • 3.2 分类评估方法
    • 3.3 线性回归
    • 3.4 逻辑回归
    • 3.5 SVM
    • 3.6 管道模型
  • 4 自然语言模型与词向量
    • 4.1 自然语言模型
    • 4.2 词向量
    • 4.3 word2vec实验课
  • 5 卷积神经网络与自然语言处理
    • 5.1 卷积神经网络
    • 5.2 pytorch模型训练流程
  • 6 循环神经网络
    • 6.1 循环神经网络
    • 6.2 NER
  • 7 知识点回顾
    • 7.1 知识点回顾
  • 8 第二次作业讲解
    • 8.1 第二次作业
  • 9 seq2seq与机器翻译
    • 9.1 seq2seq
  • 10 Attention与Transformer
    • 10.1 Attention与Transformer
  • 11 预训练模型
    • 11.1 迁移学习与预训练模型
SVM

上个世纪90年代,由于人工神经网络的衰落,SVM在很长一段时间里都是当时的明星算法。被认为是一种理论优美且非常实用的机器学习算法。

在理论方面,SVM算法涉及到了非常多的概念:间隔(margin)、支持向量(support vector)、核函数(kernel)、对偶(duality)、凸优化等。有些概念理解起来比较困难,例如kernel trick和对偶问题。在应用方法,SVM除了可以当做有监督的分类和回归模型来使用外,还可以用在无监督的聚类及异常检测。相对于现在比较流行的深度学习(适用于解决大规模非线性问题),SVM非常擅长解决复杂的具有中小规模训练集的非线性问题,甚至在特征多于训练样本时也能有非常好的表现(深度学习此时容易过拟合)。



SVM的特性一:试图建立一条完美的分界线,让该分界线处于最佳的位置,让分界线两边与样本间有尽可能大的间隙。

SVM的特性二:由于样本特征的特性,当样本在原始的特征空间中线性不可分时,我们可以将其转换到高维空间,并利用高维空间中的超平面对样本进行分隔。