课堂笔记 - 深度学习 Deep Learning (11)

Gradient Descent – one weight with Bias

上篇的说明当 b=0 时该如何校正w的, 其实基本上大同小异，都是用相同的方式去校正w

当 b!=0 的时候公式会多个b在算距离的时候先做加减：

一样对E(w,b)作偏微分，只需要注意不要微错就好：

梯度训练公式：

Gradient Descent – more weight with Bias

多个属性的梯度下降跟单个属性差不多，虽然看起来突然複杂了一点，过程跟流程都跟上面的步骤一致。

假设有M个属性：
一样对E(w1,w2,w3,...wM,b)作偏微分：

多属性的训练公式：

Gradient Descent Algorithm的补充

同时被称为：

Delta ruleADALINE ruleWidrow-Hoff rule

在回归问题时可拥有无限输出量的值，在分类问题时可以输出有限的值。
Regression: with numeric output label(s) >> an infinite number of values
Classification: with nominal output label(s) >> a finite number of values