tf.keras.losses.SparseCategoricalCrossentropy()与CategoricalCrossentropy()简单说明

最新推荐文章于 2024-01-03 08:58:02 发布

github_元宝

最新推荐文章于 2024-01-03 08:58:02 发布

阅读量3.3k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： tf 文章标签： tensorflow 深度学习

本文链接：https://blog.csdn.net/github_39605284/article/details/115841864

tf 专栏收录该内容

40 篇文章

订阅专栏

tf.keras.losses.SparseCategoricalCrossentropy(
    from_logits=False, reduction=losses_utils.ReductionV2.AUTO,
    name='sparse_categorical_crossentropy'
)

参数：from_logits:True就是需要经过softmax进行概率化，默认False及y_pred是经过softmax处理的
reduction:False：返回一个list, True:返回一个平均值
计算方法：本质就是计算交叉熵，交叉熵本质就是一个样本计算一个“-log(正确概率)”

    cce = tf.keras.losses.SparseCategoricalCrossentropy()
    loss = cce(
        [0, 1, 2],
        [[.9, .05, .05], [.5, .89, .6], [.05, .01, .94]])
    print('Loss: ', loss.numpy())  # Loss: 0.3239

    a = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)

    b = a([0.], [1., 2., 3.])
    c = a([1.], [1., 2., 3.])
    d = a([2.], [1., 2., 3.])

    print(b)
    print(c)
    print(d)

tf.keras.losses.SparseCategoricalCrossentropy()与CategoricalCrossentropy()的区别：

如果目标是one-hot 编码，比如二分类【0,1】【1,0】，损失函数用 categorical_crossentropy。

如果目标是数字编码，比如二分类0,1，损失函数用 sparse_categorical_crossentropy。

# SparseCategoricalCrossentropy
scce = tf.keras.losses.SparseCategoricalCrossentropy();
Loss = scce(
  tf.constant([ 0,    0,    0,    1   ], tf.float32),
  tf.constant([[1,2],[3,4],[5,6],[7,8]], tf.float32))

# CategoricalCrossentropy
cce = tf.keras.losses.CategoricalCrossentropy();
Loss = cce(
  tf.constant([ [1,0]    [1,0],    [1, 0],   [0, 1]   ], tf.float32),
  tf.constant([[1,2],[3,4],[5,6],[7,8]], tf.float32))