深度学习

激活函数

数学表达式： $f (x) = \frac{1}{1 + e^{- x}}$

数学表达式： $f (x) = \frac{e^{x} - e^{- x}}{e^{x} + e^{- x}}$

和 sigmoidex 的关系：

t a n h (x) = 2 s i g m o i d (2 x) - 1

数学表达式: $Softmax (x) = \frac{e^{x_{i}}}{\sum_{i} e^{x_{i}}}$

Softmax 函数常在神经网络输出层充当激活函数，将输出层的值通过激活函数映射到 0-1 区间，将神经元输出构造成概率分布，用于多分类问题中，Softmax 激活函数映射值越大，则真实类别可能性越大