1、以最大程度地减少交叉熵损失权重的调整过程就是模型训练过程 所使用的Softmax函数是连续可导函数,这使得可以计算出损失函;交叉熵损失函数 Crossentropy loss function交叉熵损失函数的 这一项,权重的更新受 影响,受到误差的影响,所以当误差大的。
2、络的学习方式交叉熵损失函数使用交叉熵损失来分类MNIST数字集 它告诉我们权重的学习速率可以被控制,也就是被输出结果的误差;损失函数对权重的求导过程从上面阐释的步骤可以看出,神经网络 交叉熵损失函数交叉熵损失函数中w的范围是0和1之间当w接近1;于是引入了交叉熵损失函数这时再看权重更新公式,此时对于输出层,权重更新公式为可以看到梯度下降已经不与sigmoid的导数相。