大模型学习记录8——Linear Attention之GLA

本文介绍了与LinearAttention高度相似的Mamba模型，其基于状态空间模型(SSM)实现线性复杂度。文章仅供学习参考，禁止商用盗用，并需注明出处。

当今的大语言模型基本均是基于transformer架构而构建的，基于softmax-attention计算的transformer架构在训练时具有很好的并行性能，但transformer重要问题之一是其计算的时间、空间复杂度均与序列的长度成二次关系。而随着序列长度的不断增加，transformer架构的计算量是难以承受的，这是大模型难以处理长文本问题非常重要的原因。于是如何将transformer计算线性化（即将复杂度降到）的问题便被提上日程，具体而言便是将attention计算线性化。

DeltaNet 严格来说比 SSM 更具表现力。

2023Transformer 存在局限。首要的一点，它们有着对于序列长度的二次时间复杂度，这会限制它们的可扩展性并拖累训练和推理阶段的计算资源和时间效率。TransNormerLLM 是首个基于线性注意力的 LLM。其中值得格外注意的一项改进是将 TransNormer 的，从而可提升全局的互动性能。研究者还。

TTT出来有一段时间了，让我确定要写TTT解读的，是源于我司LLM论文100篇课程群里的一学员辰子说，“校长 最近的TTT考不考虑讲一下”故当时想着：解读完mamba2之后，则解读open-television、我司7方面review微调gemma2，再接下来是TTT、nature审稿微调、序列并行、Flash Attention3..如今虽然mamba2的解读还没完全修订完，但“open-television、我司7方面review微调gemma2”都解读的差不多了，故今天开写TTT。

MIT博士生Songlin Yang梳理了可能替代Transformer的新模型架构，包括Mamba 2、DeltaNet、TTT/Titans等前沿技术。这些架构在效率、扩展性等方面展现出潜力。资料源自其技术报告，原始PPT可在GitHub获取。该综述为研究下一代序列建模架构提供了重要参考。

这种门控机制能够防止灾难性的信息覆盖，就像一个谨慎的编辑，在添加新内容时会仔细考虑保留哪些重要的旧信息。随着输入文本长度的增加，所需的计算资源会呈现平方级增长，这就好比图书管理员需要记住每本书与其他所有书籍的关系，当书籍数量翻倍时，需要记住的关系数量却要增加四倍。这项研究的创新之处在于，它不仅仅是简单地测试不同的"混血"比例，而是系统性地探索了线性注意力机制的三个发展世代，以及它们在混合架构中的表现。就像一支成功的篮球队不一定是由最好的五个单独球员组成的一样，最佳的混合架构需要考虑不同组件之间的协同效应。

当 AI 不再局限于逐帧生成，而是具备了从整体出发的规划能力 —— 理解情节的推进、协调画面的连贯性、控制运动的节奏，长视频生成便迈出了从 “ 片段拼接” 走向 “统—表达” 的关键—步。借助其近实时的生成能力，创作者可以在快速反馈中不断调整与完善自己的构想，让创意更自由地流动。即便谷x歌x曾宣称其现在大约一半的代码都是 AI 编写的，但这一说法也备受质疑，一些开发者还曾表示谷x歌x可能把自动代码补全的部分也算成 AI 生成的代码了，也有不少人质疑谷x歌x究竟在生产环境中部署了多少这些 AI 生成的代码。

具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游

数组的基本定义在Shell中，用小括号()来表示数组，数组元素之间用空格来分隔[root@localhost ~]# echo ${array1[*]} #输出数组的所有元素[root@localhost ~]# echo ${array1[@]} #输出数组的所有元素[root@localhost ~]# echo ${array1[0]} #输出数组的第N个数（由0代表第一个数开始）1[root@localhost ~]# echo ${array1[2]} #输出数组的第3个数3。

自然界中，不连续的情况很少，但是人为定义的系统中，不连续很常见。大家最能理解的，就是税务问题，多发一块钱年终奖，结果多缴纳几百块的税，有了 GPT 后，在学习这个内容，一下子就 reasonable 了。接近0的时候，值为1，等于0的时候值为-1，这不是要天下大乱了吗？数学总是太抽象，真实生活中怎么会遇到这样的场景呢？上面这些例子，都是很有道理的。下面是一个美国高二学生的 AP 题目，要求理解这个式子。数学，还是很有用的。

分别提供了 CLion 中使用 cout 和 cin 中文乱码的问题

本周聚焦扩散模型与Mamba模型的创新方法。系统研究了DiT模型的核心机制，包括图像分块嵌入策略、四种条件嵌入方案及其参数初始化策略；深入推导了扩散模型的数学原理；研读了论文CCViM，其创新性地将上下文聚类与视觉状态空间模型结合，通过局部网格聚类增强VMamba的全局建模能力。

依然是transformer的decoder形式。最特别的是，有75%的层采用Gated DeltaNet，其余仍然是标注注意力。所以下面是3，上面是1.下面从下到上看看有什么变化。

本文提出为期24周的大模型评测工程师学习计划，分为三个阶段：基础能力构建（8周）掌握Python、机器学习、深度学习及NLP基础；专业技能深化（8周）学习大模型评测体系、自动化工具开发及专项评测；综合实战提升（8周）参与开源项目并完成完整评测项目。计划包含详细的学习内容、推荐资源及里程碑任务，配套必备工具清单和阶段性评估指标。建议通过论文订阅、社区参与等方式持续学习，强调实践导向，最终目标是培养独立设计执行评测流程的能力，包括复现基准测试、开发评测工具或产出行业级评测报告。

思路：跨平台必须选一个统一内部编码（Chromium 选 UTF-8），其他编码在边界做转换。Chromium 的方案提供作为统一入口；封装平台差异，统一错误处理；约定：逻辑层用 UTF-8，Windows API 层用 UTF-16。使用方法平时用 UTF-8；调系统 API 时用来回转换。Chromium 跨平台字符串的流动思路输入/输出/内部逻辑：统一使用 UTF-8。：需要 UTF-16 → 用转换。：可以直接使用 UTF-8 → 无需转换。结果返回。

这篇论文复现了《SSRFuzz: A Fuzzing Framework for Discovering SSRF Vulnerabilities》中的实验环境搭建过程。通过Docker容器配置了Ubuntu 22.04、MySQL数据库和PHP 7.4环境，并成功部署了TaintInfer污点分析工具和Fuzzer组件。实验结果显示系统能有效检测URL参数触发的SSRF漏洞，如成功识别出"url=http://www.baidu.com"的合法请求。但研究发现当前实现仅支持单参数检测，