本文探讨了在使用TensorFlow进行深度学习时遇到的数值溢出问题，特别是当损失函数中的预测概率接近零时，如何通过调整Logit的尺度来避免这一问题。文章建议使用sigmoid函数将Logit值域压缩至[0,1]区间，以此来有效防止数值溢出。
TensorFlow 今日心得
数值溢出相关
损失函数 (交叉熵) 公式:
L o s s = − 1 n ∑ ( y ^ i l o g ( y i ) ) Loss = -\frac{1}{n}\sum (\hat y_ilog(y_i)) Loss=−n1∑(y^ilog(yi))
即如果 y i y_i yi 过小, 接近于 0, 那么数值会溢出.
一般而言 y i y_i yi 是 tf.nn.softmax(logit) 的结果, 因此
Logit 的尺度差异不能过大
所以一般而言可以用 sigmoid 将 Logit 的值域压缩至 [0, 1] 区间可以有效避免数值溢出问题
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
