在梯度下降公式的推导中,我们首先回顾了基本求导法则,以及Sigmoid函数作为激活函数的特性Sigmoid函数定义为公式,其中e为欧拉数,近似值为2,为无理数Sigmoid函数的导数为公式,有助于后续计算前向传播过程中,我们运用矩阵运算来表达数据流上标表示行或列,不同符号表示不同维度的;基本求导法则与Sigmoid函数Sigmoid函数定义为σ = 1 ,其导数为σrsquo = σ * 这些导数在后续计算梯度时非常重要前向传播过程使用矩阵运算来表达数据流,其中大写字母表示矩阵,小写字母带下标表示矩阵内的向量前向传播过程中的公式可能包括输入层到隐藏层的权重矩阵乘法加法以及激活。