SVM
上一节
下一节
上个世纪90年代,由于人工神经网络的衰落,SVM在很长一段时间里都是当时的明星算法。被认为是一种理论优美且非常实用的机器学习算法。
在理论方面,SVM算法涉及到了非常多的概念:间隔(margin)、支持向量(support vector)、核函数(kernel)、对偶(duality)、凸优化等。有些概念理解起来比较困难,例如kernel trick和对偶问题。在应用方法,SVM除了可以当做有监督的分类和回归模型来使用外,还可以用在无监督的聚类及异常检测。相对于现在比较流行的深度学习(适用于解决大规模非线性问题),SVM非常擅长解决复杂的具有中小规模训练集的非线性问题,甚至在特征多于训练样本时也能有非常好的表现(深度学习此时容易过拟合)。
SVM的特性一:试图建立一条完美的分界线,让该分界线处于最佳的位置,让分界线两边与样本间有尽可能大的间隙。
SVM的特性二:由于样本特征的特性,当样本在原始的特征空间中线性不可分时,我们可以将其转换到高维空间,并利用高维空间中的超平面对样本进行分隔。

