课堂笔记 - 深度学习 Deep Learning (15)

梯度下降的常见算法 (SGD)

Stochastic Gradient Descent Algorithm

首先写入训练资料,共有N个有M个属性的example。
http://img2.58codes.com/2024/20142783zlfTbSHy9T.png

接下来取W参数,有几个属性就要取几个(M),还有常数参数b跟成长幅度eta。
http://img2.58codes.com/2024/20142783aMHvSAHPhj.png

接下来就开始校正函式,有几个example就要校正几次(也就是要跑N次)。
http://img2.58codes.com/2024/20142783OOfqj38nx6.png

例题

http://img2.58codes.com/2024/20142783PwvYuTX8Gf.png

解答

http://img2.58codes.com/2024/201427836Vver4YC9r.png


关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章