- 博客(17)
- 收藏
- 关注
RSS订阅原创 Transformer 个人学习笔记与详细教程——多头自注意力机制（Multi-Head Self-Attention）
个人对Transformer的学习笔记与详细教程，多头注意力机制是用不同的头捕捉序列中不同的语义特征的一种方法。
2025-06-18 16:04:53
693
原创 Transformer 模型详细教程之自注意力机制 (Self-Attention)
Transformer中自注意力机制的详细教程，本人的学习笔记与总结，从提问的角度进行剖析。
2025-06-17 21:34:25
667
原创 文献阅读《Advancements in the application of large language models in urban studies》—大语言模型在城市计算中几种技术路径
此类技术路径就是从底层设计一个新的LLM模型架构来适配自己的任务，包括 tokenizer、embedding以及注意力机制等等都需要针对自己的任务进行设计。
2025-06-16 16:15:44
426
原创 Transformer 个人学习笔记与详细教程——正余弦位置编码（Position Embedding）
sinsinsin和coscoscos刚好相差半个周期，这样就能够让不同维度之间更加独立, 以保证信息的完整性，避免信息丢失方便 Transformer 利用“点积”来捕捉相对位置, 交替使用有助于构建余弦距离公式后续的注意力机制中计算涉及到点积运算（如果不知道注意力机制的话，暂时就考虑会涉及到两个不同位置的向量点积运算）考虑两个位置（pospospos和poskpos+kposk）的token向量的位置编码，PEposPE_{pos}PEpos。
2025-06-09 22:33:36
828
原创 Transformer 模型详细教程之Tokenization & Embedding（词嵌入）
本文介绍了自然语言处理中Tokenization和Embedding的核心概念。Tokenization将文本切分为最小处理单元（如单词、子词或字符），为模型提供离散化的语言结构。Embedding则将这些token映射为向量表示（如Word2Vec、GloVe等方法），赋予token数字形式和基础语义信息，使模型能够捕捉语义关系。文章通过示例展示了如何将句子"this is a cute cat"转换为token再转为向量矩阵的过程，说明这两个步骤是模型处理文本的基础预处理环节。
2025-05-30 15:18:57
869
1
原创 通过简单的例子弄清python内置函数isinstance()和type()
instance()作为python比较重要的内置函数，其提供了判断一个对象是否是一个已知的类型，本文将通过简明的例子来式读者学会该内置函数
2023-10-26 12:40:39
132
原创 Python将DataFrame格式转为Python中其他数据结构类型（总结）
在数据分析的过程中，通常为了进行一些操作需要将pandas.Dataframe的数据类型转为字典（dict）、元组(tuple)、二维数组(numpy.ndarray)进行后续的操作。本文总结了数据分析过程中常用的Dataframe的几种转换形式，并给出了相应的代码，便于读者在数据分析中能够快速的对数据进行处理与分析。
2023-07-30 18:15:28
1654
1
原创 利用遗传算法解决旅行商问题（GA-TSP）—— Python代码实现
利用Python编写GA-TSP算法，通过遗传算法对旅行商问题进行求解，并以29个城市为例的TSP问题进行求解
2023-07-28 21:56:46
3177
3
原创 PageRank算法详解
pageRank算法既作为Google网页重要性排序的重要方法，也作为数据挖掘的十大重要算法之一，已广泛应用于各个领域。本文对pagerank公式进行了推导，对出现的两种问题进行了解释，希望能对读者有所帮助
2023-01-09 16:22:32
1704
原创 机器学习——四大线性回归模型详解（包含理论讲解+公式推导，非常适合初学者！）
对一元线性回归、多元线性回归、对数线性回归、对数几率线性回归模型的理论进行分析、对公式进行了详细的推导，对重难点进行了讲解，十分适合初学机器学习的人群！
2022-08-16 14:51:28
14746
原创 初识机器学习——感知机（Perceptron）+ Python代码实现鸢尾花分类
感知机是最简单的一种机器学习，本文将以自身学习经历结合“方法=模型+策略+算法”的流程对感知机进行深入浅出的讲解，并在最后利用Python实现感知机模型算法，对鸢尾花数据集进行了分类。......
2022-08-10 17:42:32
4454
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人