处理overfitting的时候:把train data 分析的太细了,训练过头了,这个可以通过earyly stop来解决(通过validation来stop的方法,在n次train之后处理);
还有一种方法是在每次训练都处理的方法,那就是drop out:
train data中有很多noise点,而train的时候,有些weight只是爲了处理这些点的,那麽这些weight是不应该被算在内的,爲了扔掉这种不具参考价值的weight,dropout 的做法是:
每次随机扔掉一些weigths,那麽那些脆弱的weights就会被扔掉,但是那些强壮的weights就会留下来;