qq_33782021的博客

以往，一致认为AI的核心是算力，发展AI就是要不断的堆算力、堆GPU。但就在大家烧钱堆算力的时候，DeepSeek横空出世！！！        众所周知，DeepSeek的公司幻方是做股票量化，量化的核心：尽可能少的资源实现利益的最大化！        这一思想也随之蔓延到了大模型中，通过堆算力的方式发展AI需要极高的成本，而DeepSeek则选择了另一条路：烧脑改算法！！！

Transformer统一了大模型结构， 在谷歌2017年提出Transformer之前，也存在很多网络架构，如循环神经网络(RNN)、卷积神经网络(CNN)等，那时，会先分析数据，例如：语音数据，大家会根据语音数据波形的特点（短时、稳态特性），利用这些特性去做频谱转换，形成特征数据，然后再找到一个可以表达这些数据的网络架构模型，逻辑上是让模型向数据靠近!然而，人工智能的学习有很多任务，如感知任务、认知任务、转换任务等，这些任务非常具象化，也就是说，目的明确，然后，不断提高这些任务的处理能力。

词不是数字，非连续；比如：张三和李四之间是什么关系？张三+李四、张三*李四等于什么？在之前这都是不可计算的。那么如何让自然语言可计算？    假设词表共有五万个，那么就创建一个五万维的矢量（0,0,0,0.....0），张三对应的就是（1,0,0...0），李四对应的就是（0,1,0...0）        One-hot虽然简单明了，但存在严重的维度灾难和无法表示词之间语义关系的缺点。        例如，对于一个有10000个唯一词的语料库，One-hot编码会产生一个10