BERT BertModel类源码解析

冰__蓝

于 2019-07-30 15:34:22 发布

阅读量2.8k

点赞数 4

CC 4.0 BY-SA版权

分类专栏： NLP技术

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/ling620/article/details/97783966

本文目录

- - 1. 调用示例
  - 2. 初始化函数

源码位于： bert/modeing.py

1. 调用示例

BertModel类给出的调用代码示例：

    # Already been converted into WordPiece token ids
    input_ids = tf.constant([[31, 51, 99], [15, 5, 0]])
    input_mask = tf.constant([[1, 1, 1], [1, 1, 0]])
    token_type_ids = tf.constant([[0, 0, 1], [0, 2, 0]])

    config = modeling.BertConfig(vocab_size=32000, hidden_size=512,
      num_hidden_layers=8, num_attention_heads=6, intermediate_size=1024)

    model = modeling.BertModel(config=config, is_training=True,
      input_ids=input_ids, input_mask=input_mask, token_type_ids=token_type_ids)

    label_embeddings = tf.get_variable(...)
    pooled_output = model.get_pooled_output(