课堂笔记 - 深度学习 Deep Learning (19)

Gradient Descent Method

统整一下到底要如何Gradient Descent去计算Logistic Regression：
首先我们有输入值x1,x2,y，用输入值带入active function可以得到y-hat：

还有error function的参数w1,w2,b，

然后就可以用梯度下降去获得Net input了(也就是上一篇的那个偏微分) eta表示learning rate (校正幅度)

如何找到梯度下降的偏微分曲线>>

首先找到E，也就是error function：

有了E，接下来找y-hat：

最后就可以得到：

接下来就会发现他们的相互关係然后用y跟y-hat去替换：

也就是说梯度下降的偏微分曲线长这样：

数学式表示：

向量式表示：

这就是如何用Gradient Descent去计算Logistic Regression了。