激活函数：Sigmoid、Tanh与ReLU的比较与选择

题目描述
在神经网络中，激活函数负责为神经元引入非线性特性，使网络能够学习复杂模式。常见的激活函数包括Sigmoid、Tanh和ReLU。本题要求理解它们的数学形式、优缺点、适用场景，并掌握选择策略。

1. 激活函数的作用

• 核心功能：将输入信号转换为输出信号，且必须是非线性函数（若使用线性函数，多层网络会退化为单层）。
• 举例：假设神经元输入为 \(z = w_1x_1 + w_2x_2 + b\)，激活函数为 \(f(z)\)，则输出为 \(a = f(z)\)。

2. Sigmoid函数

• 数学形式：

\[ \sigma(z) = \frac{1}{1 + e^{-z}} \]

• 特点：
  • 输出范围在 (0, 1)，适合表示概率（如二分类的输出层）。
  • 导数：\(\sigma'(z) = \sigma(z)(1 - \sigma(z))\)，最大值为 0.25（当 \(z=0\) 时）。
• 缺点：
  • 梯度消失：当 \(|z|\) 较大时，导数接近 0，梯度在反向传播中会指数级衰减。
  • 非零中心：输出均值为正，导致梯度更新呈“Z”字形震荡，收敛慢。
  • 计算开销：包含指数运算。

3. Tanh函数（双曲正切）

• 数学形式：

\[ \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}} \]

• 特点：
  • 输出范围在 (-1, 1)，是零中心函数（均值为 0）。
  • 导数：\(\tanh'(z) = 1 - \tanh^2(z)\)，最大值为 1（当 \(z=0\) 时）。
• 与Sigmoid对比：
  • 梯度消失问题仍存在（但比Sigmoid轻微，因梯度最大值为 1）。
  • 零中心特性使收敛更快，更适合隐藏层。

4. ReLU函数（修正线性单元）

• 数学形式：

\[ \text{ReLU}(z) = \max(0, z) \]

• 优点：
  • 在 \(z > 0\) 时导数为 1，彻底缓解梯度消失问题。
  • 计算简单（仅需判断正负）。
• 缺点：
  • Dying ReLU问题：若输入为负，梯度恒为 0，神经元“死亡”且无法恢复。
  • 输出非零中心。

5. 改进的ReLU变体

• Leaky ReLU：

\[ f(z) = \begin{cases} z & \text{if } z > 0 \\ \alpha z & \text{if } z \leq 0 \end{cases} \quad (\alpha \text{为小正数，如 } 0.01) \]

• 解决Dying ReLU问题，负区间有微弱梯度。
• Parametric ReLU (PReLU)：将 \(\alpha\) 作为可学习参数，自适应调整负区间斜率。

6. 选择策略与实战建议

• 输出层：
  • 二分类问题：Sigmoid（输出表示概率）。
  • 多分类问题：Softmax（本题已覆盖，此处不重复）。
• 隐藏层：
  • 首选ReLU：计算高效且收敛快（尤其深层网络）。
  • 若担心Dying ReLU，可用Leaky ReLU或PReLU。
  • Tanh在某些场景下仍有效（如RNN），但需注意梯度消失。
• 注意事项：
  • 避免使用Sigmoid/Tanh作为深层网络隐藏层（梯度消失严重）。
  • ReLU系列需配合He初始化（正向传播保持方差稳定）。

总结
激活函数的选择需平衡非线性能力、梯度特性与计算效率。现代神经网络中，ReLU及其变体是隐藏层的默认选择，而Sigmoid/Tanh更多用于特定输出层或传统模型。