深入理解AI相关入门（万字长文）

目录

Token化就是教LLM认字

产业格局：水平分工初步形成

大模型：一超多强，闭源开源并行 

开源工具与代码组件集合

ChatGPT的最基本版历史

人类和ChatGPT的本质区别是什么？

Transformer 问世后的这些年

AI化浪潮中的机会

拥抱UGA元年

 找本质，先验胜于后验

保持好奇心，但做好信息管理

我们正在进入计算的第三个时代

具身智能离规模性商业化并不遥远

AI共同展望

关于 AI 应用更看好的几个行业

如何组建一个好的创业团队

一些大模型

调用过OpenAI API的同学都知道，其API调用是按照Token来计费的。

Token化就是教LLM认字

当人类看到一段文字会很自然地把它分解为一个个单词/字，这是我们理解分析文章和句子的基础。但对于LLM来说，它看到的不过是长长的一串二进制的01、01，对LLM来说，它不理解什么是段落、句子、单词，为了让LLM也像人类一样在理解语言的时候有一个基础，我们也需要教会LLM认字，这和我们小时候先学会认字，然后才能读书是一个道理。

而教LLM认字的过程是，我们首先把文章/句子切分成一个个小片段，并把这些小片段转换成LLM理解的向量形式，之后把这些向量输入给LLM让它学习，当LLM学习了足够多的数据后，它就学会了认字。