【大模型应用极简开发入门（1）】LLM概述：LLM在AI中所处位置、NLP技术的演变、Transformer与GPT、以及GPT模型文本生成逻辑

本文链接：https://blog.csdn.net/hiliang521/article/details/138011455

本文探讨了Transformer在自然语言处理中的重要角色，特别是大型语言模型（LLM）的发展，如GPT-4和ChatGPT。文章详细介绍了Transformer架构、注意力机制、GPT模型的标记化和预测逻辑，以及如何通过并行化提升计算效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文关键词：

Transformer：GPT-4和ChatGPT发展历程的基础模块。

NLP技术的演变

Transformer架构描述

GPT回答原理概述：GPT模型中的标记化和预测过程。

一. AI中大语言模型的位置与技术发展

1. 从AI到Transformer

机器学习与深度学习

机器学习(machine learning，ML)是AI的一个子集。ML通过开发算法，使系统能够通过示例自己学习。
深度学习(deep learning，DL)算法是ML的一个分支，主要开发受大脑结构启发的算法。这些算法被称为人工神经网络(artificial neural network)。它们可以处理大量的数据，并且在图像识别、语音识别及NLP等任务上表现出色。

Transformer理解文本并回答文本

Transformer是一种特定的神经网络架构，能够理解文本，并产生回答。

GPT-4和ChatGPT基于一种特定的神经网络架构，即Transformer。Transformer就像阅读机一样，它关注句子或段落的不同部分，以理解其上下文并产生连贯的回答。此外，它还可以理解句子中的单词顺序和上下文意思。这使Transformer在语言翻译、问题回答和文本生成等任务中非常有效。

如下图：从AI到Transformer的嵌套技术集合
在这里插入图片描述

2. NLP：自然语言处理

NLP自然语言处理（Natural Language Processing是AI的一个子领域，专注于使计算机能够处理、解释和生成人类语言。

现代NLP解决方案基于ML算法。NLP的目标是让计算机能够处理自然语言文本。它关注的是使计算机能够理解和处理人类语言的能力，包括语言的语法、语义、语用等方面。NLP应用广泛，涉及文本处理、语音识别、机器翻译、对话系统等各种任务。

NLP的能力如下:

文本分类：将输入文本归为预定义的类别。
这类任务包括情感分析和主题分类。比如，某公司使用情感分析来了解客户对其服务的意见。

自动翻译：将文本从一种语言自动翻译成另一种语言。
请注意，这类任务可以包括将代码从一种程序设计语言翻译成另一种程序设计语言，比如从Python翻译成C++。

问题回答：根据给定的文本回答问题。
比如，在线客服门户网站可以使用NLP模型回答关于产品的常见问题；教学软件可以使用NLP模型回答学生关于所学主题的问题。

文本生成：
根据给定的输入文本（称为提示词）生成连贯且相关的输出文本。