在设计一个具体的模式识别系统时，一般是先接触一些训练样本，由研究领域的专家研究模式类所包含的特征信息，并给出相应的表述方法。这一阶段的主要目标是获取尽可能多的表述特征。在这些特征中，有些可能满足类内稳定、类间离散的要求，有的则可能不满足此要求而不能作为分类的依据。根据样例分析得到一组表述研究对象的特征值，而不论特征是否实用，这一过程称为特征形成，得到的特征为原始特征。

在原始特征中，有的特征对分类有效，有的则没有作用。若在得到一组原始特征后，不加筛选而全部用于分类函数确定，则有可能存在无效特征，这既增加了分类决策的复杂度，又不能明显改善分类器的性能。为此，需要对原始特征集进行处理，去除对分类作用不大的特征，从而可以在保持性能的条件下，通过降低空间的维数来减少分类方法的复杂度。

实现上述目的的方法有两种：特征提取和特征选择。特征提取和特征选择都不考虑针对具体应用需求的原始特征形成过程，而是假设原始特征形成工作已经完成。但是在实际工作中，原始特征的获取并不容易，因为人虽然有非常直观的识别能力，有时却很难明确描述用于分类的特性依据。