sophicchen的专栏

目录1.Estimator初识1.1 框架结构1.2 Estimator使用步骤1.2.1 下面通过伪代码的形式介绍如何使用Estimator：2.深入理解Estimator2.1从源代码来理解Estimator2.2构建model_fn2.3Config2.4什么是tf.estimator.Estimator2.4.1 传入参数2.4.2 不同模式需要传入不同参数1.Estimator初识1.1 框架结构在介绍Estimator...

1.tf.contrib.data.map_and_batchtf.contrib.data.map_and_batch( map_func, batch_size, num_parallel_batches=None, drop_remainder=False, num_parallel_calls=None)复合实现map和batch。map_func横跨dataset的batch_size个连续元素，然后将它们组合成一个batch。在功能上，...

最近在看Bert的源码，作者是使用Estimator来实现的数据输入，训练，预测等功能。所以，对Tensorflow中Estimator的使用做简单的总结。主要是input_fn和model_fn的使用。

1. 前言前面博文介绍了Tensorflow的一大块，数据处理，今天介绍Tensorflow的高级API，模型的建立和简化过程。2. Estimator优势本文档介绍了Estimator一种可极大地简化机器学习编程的高阶TensorFlow API。用了Estimator你会得到数不清的好处。您可以在本地主机上或分布式多服务器环境中运行基于 Estimator 的模型，而无需更改模型。此外，您可以在CPU、GPU或TPU上运行基于Estimator 的模型，而无需重新编码模型。 使用dat

训练神经网络模型时通常要设置学习率learning_rate，可以直接将其设置为一个常数（通常设置0.01左右），但是在训练刚开始时，用固定学习率会使参数的更新过程显得很僵硬，不能很好的符合训练的需要；到后期参数仅需要很小变化时，学习率的值还是原来的值，会造成无法收敛，甚至越来越差的情况，过大无法收敛，过小训练太慢。所以我们通常会采用指数衰减学习率来优化这个问题，可以通过tf.train.ex...

在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值1.函数介绍tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，...

在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一般的，在全连接神经网络中，每层的权值w也需要进行初始化。tensorlfow中应该有以下几种初始化方法1.tf.constant_initializer() # 常数初始化2.tf.ones_initializer() # 全1初始化3.tf.zeros_...

人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候，你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃，然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点，看起来也像是一种巨大的弊端。例如，假设你希望对电影中的每个时间点的时间类型进行分类。传统的神经网络应该很难来处理这个问题——使用电影中先前的事件推...