心若有所栖，何似风飘缈。

现在完全使用teacher-forcing的方法，放弃在训练时做解码来换取更高的训练速度。自回归语言模型也是teacher-forcing方式。Bert是encoder-only结构，自回归语言模型是decoder-only结构。在人工智能的各个领域都有，包括很多跨领域任务。来源于soft-attention的修改。图像领域：图像/视频生成, 图像补全等。输出Y没有预设的范围，受输入X影响。输入输出均为不定长的序列。语音领域：语音合成等。文本领域：机器翻译等。

分词，词性标注，句法分析，命名实体识别等。评价指标看<evaluate.py>文件。序列标注准确率 ≠ 实体挖掘准确率。区别在于是否考虑类别样本数量的均衡。实体需要完整命中才能算正确。对于标注序列要进行解码。命名实体识别-十分类。

每组问答对中的问题，有多个时，为其中代表。一个（或多个相似的）问题与它对应的答案。问答对中，标准问之外的其他问题。人工编辑faq库的过程。2.faq库/知识库。很多问答对组成的集合。

建立 K(K - 1)/2 个svm分类器，每个分类器负责K个类别中的两个类别，判断输入样本属于哪个类别。建立K个svm分类器，每个分类器负责划分输入样本属于K个类别中的“某一个类别，还是其他类别”对于一个待预测的样本，使用所有分类器进行分类，最后保留被预测词数最多的类别。1.少数支持向量决定了最终结果，对异常值不敏感。1.少数支持向量决定了最终结果，对异常值不敏感。假设要解决一个K分类问题，即有K个目标类别。one vs one方式。3.可以处理高维度数据。3.可以处理高维度数据。

1B模型参数对应多少G内存和参数的精度有关，如果是全精度训练（fp32），一个参数对应32比特，也就是4个字节，参数换算到显存的时候要乘4，也就是1B模型参数对应4G显存，如果是fp16或者bf16就是乘2，1B模型参数对应2G显存。1字节（Byte）通常由8个比特组成，FP32使用4字节（32位）表示一个浮点数，而FP16使用2字节（16位）表示一个浮点数。而"1M"的全称是"1 Million"，表示一百万。显存有多少G/M是说有多少G/M个字节（byte），1个字节=8比特（bit）。

【代码】8-day06预训练模型。

通俗来讲语言模型评价一句话是否“合理”或“是人话”数学上讲P(今天天气不错) > P(今错不天天气)语言模型用于计算文本的成句概率。

一、根据词与词之间关系的某种假设，制定训练目标二、设计模型，以词向量为输入三、随机初始化词向量，开始训练四、训练过程中词向量作为参数不断调整，获取一定的语义信息五、使用训练好的词向量做下游任务。

import os"""tfidf的计算和使用"""#统计tf和idf值tf_dict = defaultdict(dict) #key:文档序号，value：dict，文档中每个词出现的频率idf_dict = defaultdict(set) #key:词， value：set，文档序号，最终用于计算每个词在多少篇文档中出现过#根据tf值和idf值计算tfidf#输入语料 list of string#先进行分词#根据tfidf字典，显示每个领域topK的关键词。

也可以使用预训练的词向量来做初始化，此时也可以选择不训练Embedding层中的参数。输入的整数序列可以有重复，但取值不能超过Embedding矩阵的列数。Embedding矩阵是可训练的参数，一般会在模型构建时随机初始化。在nlp任务和各类特征工程中应用广泛。核心价值：将离散值转化为向量。

更多参考

目标：为模型添加非线性因素，使模型具有拟合非线性函数的能力。

1.根据输入x和模型当前权重，计算预测值y’2.根据y’和y使用loss函数计算loss。4.使用梯度和学习率，根据优化器调整模型权重。目标：找到合适的x值，使得f(x)最小。3.根据loss计算模型权重的梯度。函数f(x)的值受x影响。

机器学习本质：从已知数据中找规律，用来预测未知的样本。深度学习：是机器学习的一种方法。