对于两类线性可分问题，如图6.2所示，分割线1（平面1）和分割线2（平面2）都能正确地将两类样本分开，即都能保证使经验风险最小（为0），这样的线（平面）有无限多个，但分割线1离两类样本的间隙最大，称之为最优分类线（平面）。最优分类线（平面）的置信范围最小。

图6.2　支持向量机原理示意图

设线性可分样本集为（X_i，y_i）（i＝1，2，…，n；X∈R^d，y∈｛-1，1｝是类别标号）。d维空间中线性判别函数的一般形式为g（X）＝W·X＋b，分类面方程为

W·X＋b＝0

将判别函数归一化，然后等比例调节系数W和b，使两类所有样本都能满足∣g（X）∣≥1，这时分类间隔为2/║W║。这样将求间隔最大变为求║W║最小。

满足∣g（X）∣＝1的样本点，离分类线（平面）距离最小。它们决定了最优分类线（平面），称之为支持向量（Support Vectors, SV），图6.2中带斜线的3个样本即为SV。

可见，求最优分类面的问题转化为优化问题：

本优化问题可转化为对偶化问题：

为叙述和求解的方便，将上式改写成矩阵形式

其中，α＝（α₁，α₂，…，α_n）^T，b＝（1，1，…，1）^T，y＝（y₁，y₂，…，y_n），A_ij＝y_iy_j（x_i·x_j）。

由此可得到最优分类函数为

因为对于非支持向量满足α_i＝0，所以最优函数只需对支持向量进行，而b^*可根据任何一个支持向量的约束条件求出。