感知器权重学习方法

• 输入权重的调整是感知器的关键问题，应该如何学习呢？

• 我们采用的是“奖惩分明”策略

– 对于一个样本，如果当前权重能够正确判断其类型，就“奖励” 当前权重，提高其比例。

– 反之，则惩罚当前权重，降低其比例。

– 如此反复，直到某个权重对所有样本均不产生错误，或者错误不再降低。

例 8.1 感知器算法

• 假设一个数据集，包含两个类别，含 10 个样本，每个样本有 2 个特征，输出类别为 1、-1。将这个数据集中的点画在二维坐标系下，如右图：

感知器算法的优点：

• 形式非常简单

• 输出结果跟期望结果之间做个差值，然后跟输入样本相乘，乘积就可以作为权重的调整量，然后反复迭代，直到没有错误发生

感知器算法的问题和改进

• 感知器算法的问题

– 对于任意输入样本，感知器得到的误差实际上只有两种形式，（-1）-1，或

者 1-（-1），不够精确，也导致算法收敛非常慢。

• 改进思路

– 我们将误差计算方法变为：计算当前权重在整个样本集上的总误差，寻求一组权重参数，使得总误差最小。

– 进一步，如果我们可以把总误差表示为权重的函数——“损失函数 J(W)”，则问题转变为：寻求一组权重参数 W，使得损失函数在样本数据集上最小化。

人工神经元模型

• 至此，我们介绍了现代人工神经网络中的所使用的标准神经元模型，有以下特点：

1. 具有多个输入端，每个输入端具有不同的权重。

2. 神经元具有 Sigmoid 或者类似的可导激活函数。

3. 神经元能够根据误差信号，通过梯度下降法调整权重，实现学习。

4. 具有一个或多个输出端，输出端上的信号一致。