基本信息

来源摘要/节选

公开展示已截断至最多 800 个字符；请访问原始来源查看完整上下文。

推荐直接网站在线阅读： aicoting.cn 在深度学习中，激活函数（Activation Function）是神经网络的灵魂。它不仅赋予网络非线性能力，还决定了训练的稳定性和模型性能。那么，激活函数到底是什么？为什么我们非用不可？有哪些经典函数？又该如何选择？ 所有相关源码示例、流程图、模型配置与知识库构建技巧，我也将持续更新在Github： AIHub ，欢迎关注收藏！

  1. 什么是激活函数，为什么需要激活函数 激活函数的核心作用就是为神经网络引入非线性。 为什么需要非线性？ 想象一下，如果网络里每一层都是线性的（比如 y=Wx+b），无论堆叠多少层，最终网络都只是一条线性映射。深度堆叠就没有意义了，网络的表达能力非常有限。 激活函数的作用 激活函数在每个神经元输出前进行非线性变换，让网络可以拟合复杂的函数关系，从而解决分类、回归等非线性问题。 直观理解一下，激活函数就像神经网络里的开关或滤镜，它决定了每个神经元应该多大程度地激活，从而使网络具备强大的表达能力。
  2. 经典的激活函数 在深度学习中，有几类经典激活函数，每种都有自己的优缺点： 2.1 Sigmoid 公式： f ( x ) = 1 1

e − x f(x) = \frac{1}{1 + e^{-x}} f ( x )

1 + e − x 1 ​ 优点：输出范围在 (0,1)，可以表示概率 缺点：容易饱和（输入过大或过小时梯度接近0，导致梯度消失） 应用场景：二分类输出层 2.2 Tanh（双曲正切） 公式： f ( x )

tanh ⁡ ( x )

e x − e − x e x + e − x f(x) = \tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} f ( x )

tanh ( x )

e x + e − x e x −…

来源说明

当前只保存了公开页面节选，不代表原文全文。请以原始来源为准。

本页只呈现已做哈希绑定的来源证据，不包含基于旧正文或缺失原文的扩展推断。