深度学习的loss一般收敛到多少？ - 知乎
看题主的意思，应该是想问，如果用训练过程当中的loss值作为衡量深度学习模型性能的指标的话，当这个指标下降到多少时才能说明模型达到了一个较好的性能，也就是将loss作为一个evaluation metrics。 但是就像知乎er们经常说的黑话一样，先问是不是，再问是什么。
有哪些「魔改」loss函数，曾经拯救了你的深度学习模型？ - 知乎
Sep 14, 2018 · 回答下正题，loss function还是很容易改的，有次我需要更改我的mini batch的loss 权重，就可以使用pytorch 的reduce功能，得到矩阵以后，直接加权。效果还不错。当然我这个和focal loss并不是一类问题。 感觉还是根据自己的需要去更改自己的loss才最好。
求通俗易懂解释下nce loss？ - 知乎
选择哪种Loss? NCE Loss和Sampled Softmax Loss在召回中都有广泛运用. 从word2vec派生出来的算法，如Airbnb和阿里的EGES召回，都使用的是NCE Loss。准确一点说，是NCE的简化版，NEG Loss。尽管NEG Loss在理论上无法等价原始的超大规模softmax，但是不妨碍学习出高质量的embedding。
深度学习当中train loss和valid loss之间的关系？ - 知乎
Nov 8, 2018 · val loss是在验证集上的损失，衡量的是在未见过数据上的拟合能力，也可以说是泛化能力。 模型的真正效果应该用val loss来衡量。 你说到的train loss下降到一个点以后不再下降，是因为在你目前的超参数的设置下，损失函数已经得到局部最优解无法跳出或者最优野 ...
训练神经网络时，loss值在什么数量级上合适？ - 知乎
Oct 9, 2019 · 训练神经网络时，loss值在什么数量级上合适？ 由于loss函数是自己定义的，所以loss值的大小可以自己控制（即收敛时loss值的大小控制在在1左右，还是100左右、1000左右），使用Adam优…
深度学习中loss值可以为负吗？ - 知乎
Aug 14, 2023 · 完全可以是负值，举个例子，用mse作为loss，考虑到目前深度学习一般使用batch梯度下降的方法优化，batch内使用reduce_mean得到标量的梯度，此时在loss上减去一个常量的标量，其数值上等于batch内loss的均值，这样的话得到的loss值一直为0，但是梯度一直存在可以正常优化。
请教一个问题，训练网络时loss为什么要写成running_loss
Jul 19, 2019 · 请教一个问题，训练网络时loss为什么要写成running_loss += loss.item()？ print的时候显示的时候也并不是叠加，running_loss和loss.item()的值始终保持一致，但是为什么要写成+=呢，我之前搜到用loss…
深度学习网络收敛之后的loss数值代表什么？ - 知乎
Sep 28, 2020 · loss函数其实可以和预测值与真实值完全不相关。比如我想实现一个图神经网络，用于节点分类的半监督任务，那么我可以简单的采用参数的二范数和随机的任意两节点距离作为loss，此时loss和预测的标签无关。 loss是现实问题抽象成类凸优化问题后，函数的最小值。
怎么样理解SVM中的hinge-loss？ - 知乎
换用其他的Loss函数的话，SVM就不再是SVM了。 正是因为HingeLoss的零区域对应的正是非支持向量的普通样本，从而所有的普通样本都不参与最终超平面的决定，这才是支持向量机最大的优势所在，对训练样本数目的依赖大大减少，而且提高了训练效率。
GAN生成对抗网络D_loss和G_loss到底应该怎样变化？ - 知乎
Apr 12, 2023 · 如果生成器生产的假数据被正确分类为假数据，则相应的概率值会趋近于0，此时D_loss会增加。 G_loss的变化. 在GAN的训练过程中，生成器的目标是最大化D_loss。当判别器无法准确识别出生成器生成的假数据时，G_loss也会逐渐接近0。