大模型专栏博文汇总和索引

原创 已于 2025-04-12 14:06:39 修改 · 1.7k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #语言模型

于 2025-02-24 17:19:17 首次发布

大模型专栏主要是汇总了我在学习大模型相关技术期间所做的一些总结和笔记，主要包括以下几个子专栏：

  1. DeepSeek-R1
  2. AIGC
  3. 大模型实践
  4. Transformer
  5. 多模态
  6. 系统
  7. 视频理解
  8. 对比学习
  9. 目标检测
  10. 目标跟踪
  11. 图神经网络

大模型专栏汇总了以上所有子专栏的论文，目前暂时先按照不同的技术领域划分子专栏，子专栏之间的内容可能会有交集，不完全是独立的。

为了方便查阅相关模块的内容，故以此文章进行汇总与索引。

一、DeepSeek-R1

专栏地址：https://blog.csdn.net/sinat_16020825/category_12901824.html?spm=1001.2014.3001.5482

主要介绍DeepSeek-R1模型涉及的相关技术原理、方法、部署和相关的开源项目。

博文：

  1. DeepSeek-R1大模型相关技术原理介绍
  1. 第1篇：混合专家模型（MoE）
  2. 第2篇：大模型知识蒸馏（Knowledge Distillation）
  3. 第3篇：强化学习（Reinforcement Learning, RL）
  4. 第4篇：本地部署DeepSeek，断网也能畅聊！
  5. 第5篇：DeepSeek-R1微调指南
  6. 第6篇：思维链（CoT）
  7. 第7篇：冷启动
  8. 第8篇：位置编码介绍（绝对位置编码、RoPE、ALiBi、YaRN）
  9. 第9篇：MLA（Multi-Head Latent Attention，多头潜在注意力）
  10. 第10篇：PEFT（参数高效微调——Adapter、Prefix Tuning、LoRA）
  11. 第11篇：RAG原理介绍和本地部署（DeepSeek+RAGFlow构建个人知识库）
  12. 第12篇：分词算法Tokenizer（WordPiece，Byte-Pair Encoding (BPE)，Byte-level BPE(BBPE)）
  13. 第13篇：归一化方式介绍（BatchNorm, LayerNorm, Instance Norm 和 GroupNorm）
  14. 第14篇：MoE源码分析（腾讯Hunyuan大模型介绍）
  1. 跑通复现DeepSeek-R1的Open R1开源项目，介绍相关的技术原理、方法和源码分析
  1. 系列1：跑通SFT（一步步操作，手把手教学）
  2. 系列2：没有卡也能训模型！Colab跑OpenR1（附源码）
  3. 系列3：基础知识介绍
  4. 系列4：跑通GRPO！
  5. 系列5：SFT源码逐行深度解析
  6. 系列6：GRPO源码结构解析
  7. 系列7：GRPO原理介绍、训练流程和源码深度解析
  8. 系列8：混合精度训练、DeepSpeed、vLLM和LightEval介绍
  9. 系列9：有趣的现象——GRPO训练过程Loss从0开始慢慢变大

二、AIGC

专栏地址：https://blog.csdn.net/sinat_16020825/category_12822758.html

主要是介绍文生图、图生图、文生视频等相关技术。

博文：

  1. Stable Diffusion v3.5开源项目介绍

开源项目地址：https://github.com/Donvink/dive-into-stable-diffusion-v3-5

  1. 第1篇：开源项目正式发布——深入探索SDv3.5模型全参/LoRA/RLHF训练
  2. 第2篇：Stable Diffusion v3.5原理介绍
  1. 技术原理介绍
  1. 【AIGC系列】1：自编码器（AutoEncoder, AE）
  2. 【AIGC系列】2：DALL·E 2模型介绍（内含扩散模型介绍）
  3. 【AIGC系列】3：Stable Diffusion模型原理介绍
  4. 【AIGC系列】4：Stable Diffusion应用实践和代码分析
  5. 【AIGC系列】5：视频生成模型数据处理和预训练流程介绍（Sora、MovieGen、HunyuanVideo）
  6. 【AIGC系列】6：HunyuanVideo视频生成模型部署和代码分析
  1. Stable Diffusion应用介绍
  1. 【Stable Diffusion】入门-01：原理简介+应用安装（Windows）+生成步骤
  2. 【Stable Diffusion】入门-02：AI绘画提示词+参数设置攻略
  3. 【Stable Diffusion】入门-03：图生图基本步骤+参数解读
  4. 【Stable Diffusion】入门-04：不同模型分类+代表作品+常用下载网站+使用技巧

三、大模型实践

专栏地址：https://blog.csdn.net/sinat_16020825/category_12834983.html

主要介绍一些实践的开源大模型项目。

博文：

  1. 预训练语言模型微调和部署——《动手学大模型》实践教程第一章
  2. 大模型提示学习与思维链——《动手学大模型》实践教程第二章
  3. 大模型知识编辑——《动手学大模型》实践教程第三章
  4. 大模型水印——《动手学大模型》实践教程第四章
  5. 大模型安全和越狱攻击——《动手学大模型》实践教程第五章
  6. 多模态大语言模型——《动手学大模型》实践教程第六章
  7. 大模型智能体安全——《动手学大模型》实践教程第七章
  8. 【LLaMa2入门】从零开始训练LLaMa2
  9. 【多模态大模型实战】使用LoRA微调Qwen2.5-VL

四、Transformer

专栏地址：https://blog.csdn.net/sinat_16020825/category_12822715.html

主要介绍Transformer相关的模型结构和应用。

博文：

  1. Transformers在计算机视觉领域中的应用【第1篇：ViT——Transformer杀入CV界之开山之作】
  2. Transformers在计算机视觉领域中的应用【第2篇：MAE——BERT的CV版本】
  3. Transformers在计算机视觉领域中的应用【第3篇：Swin Transformer——多层次的Vision Transformer】

五、多模态

专栏地址：
https://blog.csdn.net/sinat_16020825/category_12822761.html

主要是介绍多模态大模型相关技术原理和应用。

博文：

  1. 【CLIP系列】1：CLIP【多模态领域开山之作】
  2. 【CLIP系列】2：如何用多GPU训练大模型（数据/模型/流水线/张量并行、MoE、混合精度训练、压缩、激活重新计算）
  3. 【CLIP系列】3：语义分割（LSeg、GroupViT）
  4. 【CLIP系列】4：目标检测（ViLD、GLIP）
  5. 【CLIP系列】5：CLIP图像生成——CLIPasso
  6. 【CLIP系列】6：视频（CLIP4CLIP、Action CLIP）、语音（audio CLIP）及其他（CLIP-ViL、PointCLIP、DepthCLIP）
  7. 【多模态大模型】系列1：Transformer Encoder——ViLT、ALBEF、VLMO
  8. 【多模态大模型】系列2：Transformer Encoder-Decoder——BLIP、CoCa、BEITv3
  9. 【多模态大模型实战】使用LoRA微调Qwen2.5-VL

六、系统

专栏地址：https://blog.csdn.net/sinat_16020825/category_12822756.html

主要是介绍系统相关的论文和技术，例如并行技术等。

博文：

  1. 如何用多GPU训练大模型（数据/模型/流水线/张量并行、MoE、混合精度训练、压缩、激活重新计算）

七、视频理解

暂无更新。

八、对比学习

暂无更新。

九、目标检测

专栏地址：https://blog.csdn.net/sinat_16020825/category_12822763.html

主要是介绍目标检测领域相关论文、技术原理和代码分析等。

博文：

  1. YOLO系列论文综述（从YOLOv1到YOLOv11）
  1. 【第1篇：概述物体检测算法发展史、YOLO应用领域、评价指标和NMS】
  2. 【第2篇：YOLO系列论文、代码和主要优缺点汇总】
  3. 【第3篇：YOLOv1——YOLO的开山之作】
  4. 【第4篇：YOLOv2——更好、更快、更强】
  5. 【第5篇：YOLOv3——多尺度预测】
  6. 【第6篇：YOLOv4——最优速度和精度】
  7. 【第7篇：YOLOv5——使用Pytorch框架、AutoAnchor、多尺度预训练模型】
  8. 【第8篇：YOLOv6——更高的并行度、引入量化和蒸馏以提高性能加速推理】
  9. 【第9篇：YOLOv7——跨尺度特征融合】
  10. 【第10篇：YOLOv8——集成检测、分割和跟踪能力】
  11. 【第11篇：YOLO变体——YOLO+Transformers、DAMO、PP、NAS】
  12. 【第12篇：YOLOv9——可编程梯度信息(PGI)+广义高效层聚合网络(GELAN)】
  13. 【第13篇：YOLOv10——实时端到端物体检测】
  14. 【第14篇：YOLOv11——在速度和准确性方面具有无与伦比的性能】
  15. 【第15篇（完结）：讨论和未来展望】

十、目标跟踪

暂无更新。

十一、图神经网络

暂无更新。

十二、其他

  1. 深度学习论文精读【持续更新中】
多模态论文笔记——VQ-VAE和VQ-VAE-2
haopinglianlian的博客
12-21 2529
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
多模态论文笔记——dVAE（DALL·E的核心部件）
haopinglianlian的博客
12-22 1838
详细介绍DALL·E的核心部件之一——dVAE，在VQ-VAE的基础上使用Gumbel-Softmax实现采样，用于图像生成。
个人博客详细文章目录索引(持续更新)
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
01-26 9955
本索引目录会一直不断进行更新…最近更新时间：2022.6.7 16:38物联网：2020后半段时间学习的javaweb学习笔记可见语雀(当时记录在那里就不搬过来了)：语雀-Javaweb对应尚硅谷的Spring5学习笔记：语雀-框架/Spring5对应黑马SpringMVC教程学习笔记：语雀-框架/SpringMVC对应黑马SpringMVC教程学习笔记：语雀-框架/MybatisMyBatis插件：...................................................
专栏文章目录索引
闭关修炼——暂退
07-24 7073
本博文是我的所有原创专栏文章目录索引，方便快捷定位查询
【MBD】专栏目录汇总
CrazyRabbit的博客
06-22 278
MBD（基于模型的设计）专栏的所有文章目录
51c大模型~合集92
whaosoft~aiotの开发板商城
12-22 1059
如下图 2(b) 所示，跨域微调（OT）不是使用完整的模型进行训练，而是允许数据所有者使用模型所有者提供的有损压缩仿真器进行微调，但这种范式有个缺点：会让数据所有者得到的仿真器的性能较差。值得注意的是，该团队提出的方法在 WebQs 任务上实现了强大的插件性能，其中零样本准确率为零，突显了其在新的下游应用中的潜力。值得注意的是，由于选择了重要的层进行更新，插件的性能可以超过直接在 LLM 上进行微调的性能，这得益于稀疏训练带来的更好收敛性。因此，研究团队选择了对仿真器中的 MHSA 层进行秩压缩的策略。
PyCharm 2024.1 最新变化，最新更新亮点汇总
猫头虎技术团队：授渔优于赠鱼，兴趣引领智慧，探索之乐尤显珍贵。商务合作+：Libin9iOak ，万粉变现+：CSDNWF，猫头虎承诺每年免费为100名C站创作者做账号流量诊断服务！全网搜：猫头虎技术团队，点击文章底部名片或直接私信我一切皆可谈，快找虎哥！
04-07 8636
PyCharm 2024.1 发布了，带来了针对 Hugging Face 模型和数据集的快速文档预览、为 JavaScript 和 TypeScript 提供的本地ML基于的全行代码补全、编辑器中的粘性行以及编辑器内代码审查等新特性。这一版本旨在通过增强的代码写作支持、更流畅的导航以及更紧密的版本控制集成，提升开发者的编程效率和体验。PyCharm 2024.1 版本凭借其全面的新特性和改进，再次证明了其作为Python开发者首选IDE的地位。
Java 大视界 -- Java 实现 MapReduce 编程模型：基础原理与代码实践（三）
【青云交】华为云云享专家，在技术圈个人影响力位居前17，跻身博客之星 TOP23。同时荣登【原力榜、作者周榜、领军人物和综合热榜】四榜榜首，破CSDN排行榜记录！苏州地区各榜也统统拿下榜首之位，实力爆棚！非常感谢全网十多万粉丝的喜欢和关注！
12-24 1295
本文聚焦 Java 实现 MapReduce 编程模型，深入阐释原理，含丰富案例代码及性能优化策略，具高实用价值。
万字浅析视频搜索系统中的多模态能力建设
机器学习杂货铺1号店
06-30 2742
视频搜索是天然的富媒体检索场景，视觉信息占据了视频的一大部分信息量，在视频搜索系统中引入多模态能力，对于提高整个系统的能力天花板至关重要。本文将对在视频搜索系统中落地多模态能力（特别是视觉）进行讨论，同时为了让部分无相关背景的读者补充一些背景知识...
自动驾驶索引
weixin_46238304的博客
02-08 1001
自动驾驶知识记录
博客目录与概览
热门推荐
冯·诺依曼
08-31 43万+
从即日起，我将开始开始着手写作《深入理解机器学习》分类下的文章。《深入理解机器学习》不仅仅把目光局限机器学习算法的推导与实现，更多的会将目光聚焦于从数学、统计学以及统计学习的角度来深入理解机器学习算法，除此之外，我还会讨论各个机器学习算法局限与瓶颈，纵横向比较各种机器学习算法的优劣等。在详细介绍机器学习算法的同时，我还会通过Python和Scala给出相关项目的实战代码。所以，想深入学习机器学习的..............................
超硬核Java学习路线图+学习资源+实战项目汇总，看完以后不用再问我怎么学Java了！
程序员书单
06-07 884
​ 之前写过很多次关于Java学习指南、Java技术路线图的文章。但是总还是有小伙伴来问我，Java怎么学，项目怎么做，资源怎么找，真是让人头秃。 于是这次黄小斜决定来一波狠的，把所有这些内容都整理起来，做成一份非常硬核的Java学习指南+路线图，一篇文章搞定Java学习，360度无死角（可能）如果你们喜欢这类硬核的文章，以后我也会继续这么硬核下去的！不要忘了分享噢。 以下就是本文的主要内容，万字长文，你可悠着点看，拒绝到收藏夹吃灰！ 一、Java学习路线图 1 计算机基础 **2**Java.
C++面试题汇总 操作系统
zzxiaozhao的博客
11-20 3538
C++面试题汇总 操作系统进程与线程的概念，以及为什么要有进程线程，其中有什么区别，他们各自又是怎么同步的`Linux`虚拟地址空间操作系统中的程序的内存结构操作系统中的缺页中断`fork`和`vfork`的区别如何修改文件最大句柄数？并发(concurrency)和并行(parallelism)`MySQL`的端口号是多少，如何修改这个端口号操作系统中的页表寻址有了进程，为什么还要有线程？单核机...
要看就看最好，16万字全网最硬核redis总结，谁赞成，谁反对？（被粉丝疯狂催更，已有人反馈看完专栏拿到大厂offer！！！）
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
10-10 1万+
被粉丝疯狂催更，已有人反馈看完专栏拿到大厂offer，非常适合应届毕业生和初中级工程师！！！
深度学习G5周：Pix2Pix理论与实战
Radiantsss的博客
07-31 485
学习了Pix2Pix算法，Pix2Pix是图像翻译必读的文章之一，核心技术有以下三点：①基于CGAN的损失函数,②基于U-Net的生成器，③基于PatchGAN的判别器。Pix2Pix虽然能在很多图像翻译任务上取得令人经验的效果，但因为它的输入是图像对，因此它得到的模型还是有偏（模型能够在与数据集近似的x的情况下得到满意的生成内容，但如果输入x与训练集偏差过大，得到结果不那么理想）的。学习每个模型的结构还是很有挑战性的，需要很长时间理解。
循环神经网络 中文情感分析案例
2301_76654710的博客
07-28 836
目录一、数据处理1、读取原始文件2、清洗数据3、分词4、构建词典并保存5、把每条文本编码成数字列表6、固定长度二、设置数据集、数据加载器三、构建模型结构四、配置具体模型参数与训练细节五、开始训练并保存六、模型测试（测试集）七、单条评论测试（可选）又做了一个小案例，刚好来复盘一下，是关于分析酒店评论的好坏，首先原始数据集如下：前面一列是标签，1代表好评，0代表差评，后面的是评论内容，一共有5000多条评论，下面开始：这里我总结了一下大概的步骤：读取原始文件 --> 清洗数据（去除标点符号等） --> 分词 -
基于深度学习的医学图像分析：使用YOLOv5实现细胞检测
qq_74383080的博客
07-28 2182
本文介绍了使用YOLOv5实现医学图像中细胞检测的方法。文章首先阐述了医学图像分析和细胞检测的重要性及其在病理诊断、生物医学研究等领域的应用。然后详细讲解了YOLOv5的架构优势，包括高效性、灵活性和可扩展性。接着提供了完整的代码实现方案，包括环境准备、数据集加载、预训练模型迁移、模型训练与评估等步骤。通过实际案例展示了如何将YOLOv5应用于细胞检测任务，并鼓励读者尝试改进模型性能。文章为AI在医疗影像分析领域的实践应用提供了实用指导。
深度学习（鱼书）day08--误差反向传播（后三节）
最新发布
weixin_66162442的博客
08-01 659
本文介绍了深度学习中的误差反向传播算法，重点讲解了激活函数层和Affine层的实现。在激活函数层部分，详细分析了ReLU层和Sigmoid层的前向传播和反向传播过程，包括数学表达式和Python实现代码。ReLU层通过mask机制实现开关功能，Sigmoid层则通过计算图分解步骤进行求导。在Affine层部分，解释了矩阵乘积运算的仿射变换性质，展示了单个数据和批处理数据的实现方式，并给出了相应的类实现代码。文章通过计算图直观地展示了各层的运算过程，并强调了矩阵运算中形状匹配的重要性。
【大模型LLM】大模型训练加速 - 梯度累积（Gradient Accumulation）原理详解
weixin_43988131的博客
07-28 755
大模型训练加速 - 梯度累积（Gradient Accumulation）原理详解
是否存在专门收集大模型学习资源汇总性质的网站？
02-09
确实存在一些专门收集和整理大模型及相关领域学习资源的网站，这类平台通常不仅限于电子书，还会包含课程、教程、项目实践案例等内容。以下是一些值得推荐的资源汇总型网站： 1. **Awesome系列GitHub仓库**： - GitHub上有很多由社区维护的“Awesome”列表，例如[Awesome-Transformers](https://github.com/ncoop57/awesome-transformers) 或者 [Awesome-NLP](https://github.com/keon/awesome-nlp)，它们汇集了大量的自然语言处理（包括大模型）相关的工具、库、论文和其他教育资源。 2. **Model Zoo (模型动物园)**： - Hugging Face提供的[Models页面](https://huggingface.co/models)是一个非常著名的大型预训练模型集合地，这里除了可以直接加载各种先进的Transformer架构外，还附带详细的文档说明以及示例代码，非常适合希望深入了解如何应用这些模型的学习者。 3. **教育平台与MOOCs**： - Coursera、edX等在线教育平台上有许多针对深度学习特别是大规模神经网络设计的专项课程，如DeepLearning.AI推出的[Natural Language Processing Specialization]，涵盖从基础理论到实际操作的所有内容。 4. **专业技术博客和个人主页**： - 许多专家会在个人博客或者专栏里分享自己的研究成果、心得体验甚至完整的教学材料，像周志华老师的《机器学习》一书配套的教学视频就深受学生喜爱；还有李沐博士在其个人网页上的公开讲义也是不可多得的好资源。 5. **论坛与问答社区**： - CSDN本身就是一个很好的例子，它不仅是程序员们解决问题的地方，也有大量的文章介绍了最新技术和趋势。此外Reddit下的r/MachineLearning板块也有很多热心网友积极贡献优质帖子。 6. **中文社区特供**： - 针对中国用户的特殊需求，国内也有一些不错的集成式知识分享平台，比如知乎、掘金小册等都设有专区讨论最前沿的技术话题，并且经常会邀请行业内知名人士开设讲座或撰写指南。 通过上述途径之一或多条结合使用，能够帮助你在浩瀚的信息海洋中有针对性地筛选出适合自己水平和发展目标的大模型学习资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值