deep learning: dropout 原理

处理overfitting的时候:把train data 分析的太细了,训练过头了,这个可以通过earyly stop来解决(通过validation来stop的方法,在n次train之后处理);
还有一种方法是在每次训练都处理的方法,那就是drop out:
train data中有很多noise点,而train的时候,有些weight只是爲了处理这些点的,那麽这些weight是不应该被算在内的,爲了扔掉这种不具参考价值的weight,dropout 的做法是:
每次随机扔掉一些weigths,那麽那些脆弱的weights就会被扔掉,但是那些强壮的weights就会留下来;


关于作者: 网站小编

码农网专注IT技术教程资源分享平台,学习资源下载网站,58码农网包含计算机技术、网站程序源码下载、编程技术论坛、互联网资源下载等产品服务,提供原创、优质、完整内容的专业码农交流分享平台。

热门文章