- 博客(11)
- 收藏
- 关注
RSS订阅原创 datawhale happy-llm 快乐学习大模型第一次打卡
本文介绍了词向量与文本处理的几个关键技术点：词向量表示方法：从one-hot编码到分布式表示，通过词共现矩阵和矩阵分解（如SVD）构建词向量，解决传统VSM的维度灾难问题。文档向量构建：基于TF-IDF加权的词向量组合，解释了文档-词项矩阵的构造原理和TF-IDF的权重分配策略，比较了不同加权方法的效果。
2025-06-17 00:11:13
473
原创 datawhale fun-transformer 第一次打卡
attention不在将整个序列编码为固定长的向量c，而是一个向量的序列，解决信息丢失和信息过长的问题。2：seq 2seq是目的，输入一个序列，输出一个序列。rnn最后输出上下文向量，是基于之前的输入元素和隐藏元素的一个总和向量。5：每个编码过后的词向量，有空间距离，距离近代表相似，距离远代表不相似。解码器接受编码器输出的上下文向量，一次合成目标序列各个元素。一开始向量长度固定，会有损失，padding叫做。将一个句子不同长度的词编成一个向量，会有损失。能够很好的和cnn，rnn等兼容。
2025-01-15 23:39:32
204
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人