第6章　支持向量机及其模式识别

传统的统计研究方法都是建立在大数定理这一基础上的渐近理论，要求学习样本数目足够多。然而在实际应用中，由于各个方面的原因，这一前提往往得不到保证，因此在小样本的情况下，建立在传统统计学基础上的机器学习方法，也就很难取得理想的学习效果和泛化性能。

针对小样本问题，以Bell实验室V. Vapnik教授为首的研究小组从20世纪60年代开始，就致力于这个问题的研究，并提出了统计学习理论（Statistical Learning Theory, SLT）。支持向量机（Support Vector Machine, SVM）即是统计学习理论发展的产物。针对有限样本的情况，SVM建立了一套完整的、规范的基于统计的机器学习理论和方法，大大减少了算法设计的随意性，克服了传统统计学中经验风险与期望风险可能具有较大差别的不足。目前，SLT和SVM已成为继人工神经网络以来机器学习领域中的研究热点，在模式识别、函数逼近、概率密度估计、降维等方面获得越来越广泛的应用。