了解计算的公式后要来学习如何校正logistic regression:
Error Measure for Logistic Regression首先複习一下前一篇的最后结论:y-hat = p(y=1|x) 在x中y=1发生的机率
=> 当y=1 时 p(y|x) = y-hat ; 当y=0 时 p(y|x) = 1-(y-bar)
整理后可以得到:
不懂就...先记起来
总之我们想要尽量的逼近我们的目标,也就是求出Max(p(y|x)),
于是想要使用单调递增的ln()函数去尽量逼近,得出Max(ln(p(y|x)))。就是高中学的natural log,ln(x)微分后会是1/x
同时也想要尽量减少误差,于是这边使用的Error Function 一样使用ln()去计算的话 => min(ln(p(y|x)))
由此可得
套用进一开始假设的E(w1,w2,b) = -ln(p(y|x)),
p(y|x)则用刚刚整理好的公式带入 =>
就可以得到Logistic Regression的 Error Function,也就是Cross-entropy loss function