5.1　核函数方法

核函数方法是一系列先进非线性数据处理技术的总称，其共同特征是这些数据处理方法都应用了核映射。

从具体操作过程来看，核函数方法首先采用非线性映射将原始数据由数据空间映射到特征空间，进而在特征空间进行对应的线性操作，如图5.1所示。由于运用了非线性映射，且这种非线性映射往往是非常复杂的，从而大大增强了非线性数据的处理能力。

图5.1　核函数方法框架示意图

从本质上讲，核函数方法实现了数据空间、特征空间和类别空间之间的非线性变换。设x_i和x_j为数据空间中的样本点，数据空间到特征空间的映射函数为Φ，核函数方法的基础是实现向量的内积变换：

（x_i，x_j）→K（x_i，x_j）＝Φ（x_i）·Φ（x_j）

通常非线性变换函数Φ（·）是相当复杂的，而运算过程中实际用到的核函数K（·，·）则相对简单得多，这也正是核函数方法最吸引人的地方。

在进行内积变换时，核函数必须满足Mercer条件，即对任意给定的对称函数K（x，y），它是某个特征空间中的内积运算的充分必要条件是，对于任意的不恒为0的函数g（x），且∫g（x）²dx＜∞，有

∫K（x，y）g（x）g（y）dxdy≥0

这一条件并不难满足。假设输入空间数据

x_i∈R^d_L（i＝1，2，…，N）

对任意对称、连续且满足Mercer条件的函数K（x_i，x_j），存在一个Hilbert空间H，对映射R^d_L→H有

其中，d_F是H空间的维数。

实际上，输入空间的核函数与特征空间的内积等价。在核函数方法的各种实际应用中，只需应用特征空间的内积，而不需要了解映射Φ的具体形式。也就是说，在使用核函数方法时只需考虑如何选定一个适当的核函数，而不需要关心与之对应的映射Φ可能具有复杂的表达式和很高的维。

在核函数方法的应用中，核函数的选择及相关参数的确定是问题的关键和难点所在，到目前为止，也没有太多的理论作指导。现在获得应用的核函数有以下几种：

①线性核函数K（x，x_i）＝x·x_i。

②p阶多项式核函数K（x，x_i）＝［（x·x_i）＋1］^p。

③高斯径向基函数（RBF）核函数。

④多层感知器（MLP）核函数K（x，x_i）＝tanh［v（x·x_i）＋c］。