本节将介绍另一种类型的单层神经网络:自适应线性神经网络(Adaptive Linear Neuron,Adaline)。在Frank Rosenblatt提出感知器算法几年之后,Bernard Widrow和他的博士生Tedd Hoff提出了Adaline算法,这可以看作对之前算法的改进。[1]Adeline算法相当有趣,它阐明了代价函数的核心概念,并且对其做了最小化优化,这是理解逻辑斯谛回归(logistic regression)、支持向量机(support vector machine)和后续章节涉及的回归模型等基于回归的高级机器学习分类算法的基础。
基于Adeline规则的权重更新是通过一个连续的线性激励函数来完成的,而不像Rosenblatt感知器那样使用单位阶跃函数,这是二者的主要区别。Adeline算法中作用于净输入的激励函数φ(z)是简单的恒等函数,即φ(wTx)=wTx。
线性激励函数在更新权重的同时,我们使用量化器(quantizer)对类标进行预测,量化器与前面提到的单位阶跃函数类似,如下图所示:
将上图与前文介绍的感知器算法的示意图进行比较,可以看出区别在于:这里使用线性激励函数的连续型输出值,而不是二类别分类类标来计算模型的误差以及更新权重。
[1] B.Widrow et al.Adaptive"Adaline"neuron using chemical"memistors".Number Technical Report 1553-2.Stanford Electron.Labs.Stanford,CA,October 1960.