简单记录学习~ SiLU （Sigmoid Linear Unit），也称为 Swish 激活函数，是由 Google 提出的一个新型激活函数。
它结合了 Sigmoid 和 ReLU 的优点，提供了平滑的非线性变换，避免了 ReLU 的梯度消失问题。
SiLU 公式如下：
其中，
是 Sigmoid 函数。
特点： 平滑的非线性 ： SiLU 结合了 Sigmoid 和线性函数（即输入 x 与 Sigmoid 函数的输出的乘积），使得它比 ReLU 更为平滑，这有助于避免梯度爆炸和梯度消失问题。
适应性强 ： SiLU 在负数区域表现类似于线性函数，这使得它能够保留更多的负数信息（不像 ReLU 在负数区域会“死掉”），同时又能在正数区域呈现类似 ReLU 的特性。
可以缓解 ReLU 的“死亡神经元”问题 ： 对于 ReLU 中的 Dying ReLU 问题，SiLU 提供了更平滑的过渡，使得负数部分也具有梯度，避免了死神经元现象。
自适应激活 ： SiLU 在输入较大时和 ReLU 类似，但是在输入较小（尤其是负数）时，它提供了平滑的非线性响应，这有助于改善训练时的收敛性。
数学性质： 输出范围 ：SiLU 的输出范围不是固定的，它可以是任意实数值，因为它的输出是 x 与 Sigmoid 的乘积。
具体地说，对于大正值 x，SiLU 的输出接近于 x；而对于负值 x，SiLU 的输出会逐渐趋向于 0，但不会完全为 0，这不同于 ReLU 的“死区”。
优点： 平滑性 ：相比于 ReLU，SiLU 在负数部分也有非零的梯度，避免了死神经元问题。
训练效果 ：SiLU 提供了更平滑的激活函数，有时能加速模型的训练过程，提高深度网络的收敛速度。
性能表现 ：SiLU 在某些任务中（尤其是深度网络）能够比 ReLU 和 Leaky ReLU 等激活函数表现得更好，尤其是在图像处理和语言模型中。
缺点： 计算开销 ：与 ReLU 相比，SiLU 需要额外的计算步骤（计算 Sigmoid 函数），因此它的计算开销稍高。
但这种开销通常是微不足道的，特别是在使用 GPU 加速时。
适用场景： 深度神经网络 ：尤其是在深层网络中，SiLU 激活函数能够加速收敛，减少训练时间。
卷积神经网络（CNN） ：在一些图像分类、物体检测等任务中，SiLU 比 ReLU 能够提供更好的性能。
Transformer 网络 ：SiLU 在某些 Transformer 结构中表现良好，尤其是那些处理长序列数据的模型。
与其他激活函数的比较： 激活函数输出范围计算复杂度优点缺点适用场景 ReLU[0, ∞)低简单，计算效率高，避免梯度消失问题Dying ReLU问题深度神经网络，卷积神经网络Leaky ReLU(-∞, ∞)低解决Dying ReLU问题梯度较小时训练速度变慢深度神经网络，解决ReLU死神经元问题ELU(-α, ∞)中解决死神经元问题，平滑计算复杂，运行慢深度神经网络，尤其是需要避免ReLU死神经元SELU(-α, ∞)中自我归一化，适应深度网络需要特定的初始化方法深度神经网络，特定初始化条件下SiLU(-∞, ∞)中平滑，避免死神经元，较好地平衡了计算复杂度和性能计算复杂度较高深度神经网络，尤其是需要避免Dying ReLU问题 总结： SiLU（Swish）是一种相对较新的激活函数，通过平滑的非线性特性，可以在许多任务中提供更好的性能，尤其是深度神经网络。
在避免 ReLU 中的“死神经元”问题的同时，保持了较好的训练效果。
尽管计算上比 ReLU 稍复杂，但其在许多实际应用中展现了相较于其他激活函数的优势，尤其是在深度学习的复杂任务中，SiLU 能够提高模型的表现。