一、大语言模型函数与矩阵列表1.1、核心数学函数库1. 基础数学函数函数类别函数名称数学表达用途复杂度激活函数Sigmoidσ(z) = 1/(1+e^{-z})二分类输出，[0,1]映射O(n)Tanhtanh(z) = (e^z - e^{-z})/(e^z + e^{-z})中间层激活，[-1,1]O(n)ReLUReLU(z) = max(0,z)常用激活函数，缓解梯度消失O(n)Leak 【信息科学与工程学】计算科学与自动化-第八篇04 大语言模型函数与认知函数列表
一、大语言模型函数与矩阵列表1.1、核心数学函数库1. 基础数学函数函数类别函数名称数学表达用途复杂度激活函数Sigmoidσ(z) = 1/(1+e^{-z})二分类输出，[0,1]映射O(n)Tanhtanh(z) = (e^z - e^{-z})/(e^z + e^{-z})中间层激活，[-1,1]O(n)ReLUReLU(z) = max(0,z)常用激活函数，缓解梯度消失O(n)Leak