第5章　核函数方法及应用

核函数方法（Kernel Function Methods, KFM）是一类新的机器学习算法，它与统计学习理论和以此为基础的支持向量机的研究及发展密不可分。随着科学技术的迅速发展和研究对象的日益复杂，高维数据的统计分析方法显得越来越重要。直接对高维数据进行处理会遇到许多困难，特别是“维数灾难”问题，即当维数较高时，即使数据的样本点很多，散布在高维空间中的样本点仍显得很稀疏，许多在低维时应用成功的数据处理方法，在高维中不能应用。因此，在多元统计分析过程中降维是非常重要的。

然而一般常见的降维方法是建立在正态分布这一假设基础上的线性方法，显得过于简化，因而并不能满足现实中的需要，而基于核函数的方法则可以解决这个问题。

作为一种由线性到非线性之间的桥梁，核函数方法的相关研究起源于20世纪初叶，它在模式识别中的应用至少可追溯到1964年。然而直到最近几年，核函数方法的研究才开始受到广泛的重视，各种基于核函数方法的理论与方法相继提出，典型的有支持向量机（Support Vector Machines, SVM）、支持向量回归（Support Vector Regression, SVR）、核主成分分析（Kernel Principal Component Analysis, KPCA）、核Fisher判别（Kernel Fisher Discriminant, KFD）等。