志在创建优质博客、通俗易懂、助力大家提高学习效率！

【大模型-驯化】一文教会你bert、qwen、llama等模型对结果进行概率控制问题 本次修炼方法请往下查看     大模型的发展使得之前的nlp相关任务：文本分类、实体抽取、文本生成、文本理解等任务都在由bert预训练模型向gpt模型进行过渡，具体的之前用bert进行文本分类的任务都可以通过gpt进行sft来得到微调的最终结果，在通过bert进行文本分类的过程中，我们可以对bert的

是一种预训练语言表示模型，由Google在2018年提出。它通过使用Transformer架构的编码器部分，能够捕捉到文本的双向上下文信息。BERT模型在自然语言处理（NLP）领域取得了革命性的进展，为各种下游任务提供了强大的基础。# 加载BertTokenizer和BertModel# 定义输入文本text = '这是一个测试句子'# 对输入文本进行分词和填充# 获取Bert模型的embedding结果# 输出结果。