m0_62965652的博客

文本分割

排列语言模型（Permutation Language Modeling）

在网上看到的非常好的文章，怕找不到转载一下：Albert理解 - 光彩照人 - 博客园 (cnblogs.com)参考文献：1909.11942 (arxiv.org)下载相关模型：GitHub - brightmart/albert_zh: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型

#自定义词典：一词占一行，每行分三个部分：词语，词频（可忽略），词性（可忽略）饿了么 2 nt美团 2 nr#加载词典word_list = jieba.cut('饿了么是你值得信赖的选择', HMM=True)print("【载入词典后】: {}".format('/'.join(word_list)))【载入词典后】: 饿了么/是/你/值得/信赖/的/选择可以在程序中动态修改词典#例如分词为 徐 狰狞 时，可以做以下操作。

Word2Vec中的矩阵变换示例

简单讲解word2vec及其代码

分词后的下一步

在分词之后，对于文本类型的特征属性，需要进行，也就是需要。因为神经网络的本质还是数学运算。所以我们第一步是将分词转化为数字符号进行表示。基础方式如下：序号化、哑编码(One-Hot)、词袋法(BOW/TF) TF-IDF(Term frequency-inverse document frequency)主题模型LSALDA等word embedding部分：Word2VecChar2VecDoc2Vec紧接上文。

让我们来看一个具体的例子。

原因是h_n只保留了最后一步的 hidden_state，但中间的 hidden_state 也有可能会参与计算，所以 pytorch 把中间每一步输出的 hidden_state 都放到output中（当然，只保留了 hidden_state 最后一层的输出），因此，你可以发现这个output的维度是。3.h_0(隐藏层)（h_0代表隐藏层的输入输出，在rnn网络中输入输出是格式是相同的）如果没有提供,默认为全0num_layers是RNN的层数。

seq2seq模型loss使用交叉熵是如何计算的

全连接层中先升维再降维