tf.clip_by_norm 梯度裁剪

最新推荐文章于 2021-11-25 14:15:29 发布

原创最新推荐文章于 2021-11-25 14:15:29 发布 · 763 阅读

0 ·

CC 4.0 BY-SA版权

Tensorflow 专栏收录该内容

23 篇文章

订阅专栏

本文详细介绍并演示了TensorFlow中tf.clip_by_global_norm函数的使用方法，通过具体实例展示了如何进行梯度裁剪，避免梯度爆炸问题，同时对比了不同裁剪方式的效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

写的，清晰明了转载：https://blog.csdn.net/wn87947/article/details/82345537

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2019/9/4 22:56
# @Author  : ZZL
# @File    : tf.clip_by_norm梯度裁剪.py
import numpy as np
#生成0-9之间的数组成的列表
init_t_list = np.asarray([0,1,2,3,4,5,6,7,8,9])
#方式1：使用np自带的函数
l2 = np.linalg.norm(init_t_list)
print(l2)
#方式2：手写实现方式
l2_ = np.sqrt(np.sum(np.square(init_t_list)))
print(l2_)

#假设裁剪规约数等于5.0
clip_norm = 5.0
#求裁剪后的值
t_list = init_t_list * clip_norm / max(l2, clip_norm)
print(t_list)
#裁剪后L2值
t_list_l2 = np.linalg.norm(t_list)
print(t_list_l2)

# tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None)
# t_list中的每个 张量 单独梯度裁剪，t_list[0]是(10,)，单独梯度裁剪，t_list[1]是(10,)，单独梯裁
import tensorflow as tf
#产生一个梯度，此处与上面的保持一致为0-9组成的序列
gradients = [float(i) for i in range(10)]#[0,1,2,3,4,5,6,7,8,9]
# gradients = [np.array(gradients), np.array(gradients)]
gradients = [gradients, gradients]  # 都可以
#创建回话
with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    gradients, global_norm = tf.clip_by_global_norm(gradients, clip_norm)
    print(sess.run(gradients))
    print(sess.run(global_norm))