课堂笔记 - 深度学习 Deep Learning (7)

讲完机器学习的基础，接下来是类神经网路讯号的传递函式。

Activation Functions(Transfer function)：Define the output of a node when given the inputs of the node.
依照输入去给输出的方程式都统一称作Activation Functions。

类神经网路则是可以依照输入值去判断输出的结果是inhibit(抑制)或excite(触发)，可以是线性或非线性函数。

Sign function: f(n) = sign(n)
之前写python实作PLA有小小提到过，当n > 0的时候输出1, n < 0的时候则是-1, n = 0则为的一个逻辑函数：

Linear function: f(n) = n

Logistic sigmoid function:f(n) = 1/(1+e^(−n) )
将n带入e，使f(n)的值趋近+1和0

Hyperbolic Tangent Tanh function: f(n) = (e^n−e^(−n))/(e^n+e^(−n) )
跟上面一样用e去控制输出的区间，但曲线涨幅较大

Rectified Linear Unit ReLU function: f(n) = max(0, n)
简单粗暴的判断是否激发:是正数n就激发n，不是就输出为0

Leaky ReLU function: f(n) = max(0.01n, n)
跟上面的激发状态一样，但抑制时会输出0.01n的值

单层：

多层：

输入后经过的层数在抵达输出层前称为隐藏层：

在数有几层时输入层不含在层数内，
因此上面的那个图案隐藏层(2)+输出(1)=三层