- 博客(400)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【vllm】（七）vLLM v1 spec_decode — 模块超深度分析
模式应用说明1策略模式SpecDecodeBaseProposer → 7种Proposer统一接口，运行时选择推测策略2模板方法BaseProposer.propose() → 子类实现通用slot/metadata逻辑在基类3融合多操作 → 减少kernel launch开销4LPS/KMPO(n)最长n-gram匹配5向量化解码GPU并行批量n-gram搜索6延迟导入可选依赖不强制7零拷贝Viewunfold / tensor切片避免GPU内存拷贝8CUDA Graph友好。
2026-04-22 11:51:40
160
原创 【vllm】（六）vLLM v1 Sample — 模块超深度分析之五
文件路径: 总行数: 约 850 行功能: 实现推测解码（speculative decoding）的拒绝采样器，严格遵循论文 Fast Inference from Transformers via Speculative Decoding 的算法。：抽象序列类型，用于 的参数类型注解。：dataclass 替换函数，用于创建 的修改副本。、：PyTorch 核心。、：Triton JIT 编译器和语言。、、：采样输出数据结构。：最小 token 数 logits 处理器。：采样元
2026-04-22 09:27:01
90
原创 【vllm】（六）vLLM v1 Sample — 模块超深度分析之四
抽象接口 + 具体实现ABC 定义契约，4 个内置处理器 + 插件机制提供实现。双缓冲优化：CPU 端快速更新 + GPU 端异步同步，最大化 CPU-GPU 并行度。预分配 + 切片：张量预分配到最大 batch 大小，运行时只切取需要的部分，避免频繁内存分配。稀疏表示：LogitBias 和 MinTokens 使用稀疏索引（高级索引 / index_put_），而非密集掩码，减少内存和计算开销。引用语义通过引用传递，处理器始终看到最新状态，无需额外的同步机制。增量更新使用。
2026-04-22 09:26:12
103
原创 【vllm】（六）vLLM v1 Sample — 模块超深度分析之三
实现 min-p 采样策略。Min-p 是一种动态截断过滤器——只保留概率值大于等于"最大概率 × min_p"的 token，将其余 token 的 logits 设为负无穷。与 top-p 不同，min-p 的阈值是相对于最大概率的，因此更具自适应性。
2026-04-22 09:25:29
87
原创 【vllm】（六）vLLM v1 Sample — 模块超深度分析之二
实现 min-p 采样策略。Min-p 是一种动态截断过滤器——只保留概率值大于等于"最大概率 × min_p"的 token，将其余 token 的 logits 设为负无穷。与 top-p 不同，min-p 的阈值是相对于最大概率的，因此更具自适应性。
2026-04-22 09:23:34
218
原创 【vllm】（六）vLLM v1 Sample — 模块超深度分析之一
第 18 行：Sampler 继承自nn.Module。模型图集成：作为nn.Module，Sampler 可以被纳入模型的forward计算流，与模型的其他层统一管理设备一致性nn.Module的会自动递归应用到子模块（如编译兼容能正确处理nn.Module的调用图序列化支持：虽然 Sampler 没有可训练参数，但nn.Module的 state_dict 机制确保了检查点兼容性""""""第 19-53 行：类文档字符串，详细描述了 9 步采样管线。
2026-04-22 09:22:27
206
原创 【vllm】（五）vLLM v1 Attention — 模块超深度分析之五
AMD ROCm平台的标准注意力后端:Cascade Attention: ROCm支持cascade (公共前缀+后缀分离计算): 前缀查询长度 / : 前缀/后缀KV长度: aiter调度器元数据(AOT调度)13.1.3 RocmAttentionMetadataBuilder: 完全支持CUDA Graph: 特殊处理 — seq_lens设为1避免graph capture过慢: 构建metadata → 支持cascade attention路径13.1.4 Ro
2026-04-22 09:19:08
205
原创 【vllm】（五）vLLM v1 Attention — 模块超深度分析之四
根据平台（CUDA/XPU/ROCm）导入正确的 FA 函数检测 FA 版本和功能支持提供统一的 API 给上层后端使用特性FlashInferTriton外部依赖flash-attn 库flashinfer 库无（纯 Triton）支持 SM≥8075~121全平台全平台FP8 KVFA3+SM90✅❌✅FP8 Q✅❌❌NVFP4❌✅❌❌ALiBi✅❌❌✅ (+sqrt)SinkFA3TRT-LLM❌✅✅✅✅✅✅✅❌❌ (断言)DCP✅✅。
2026-04-22 09:18:14
279
原创 【vllm】（五）vLLM v1 Attention — 模块超深度分析之三
文件头声明 Apache 2.0 许可证，说明这是 vLLM 项目中使用 FlashAttention 库的注意力层实现。: 用于浅拷贝 metadata 对象（更新 block_table 时创建新 metadata 而非原地修改）: 用装饰器定义 数据类，自动生成 / 等: 标注类变量（不属于实例属性），如 : 在 函数中处理 数组: 核心张量库导入 层类，用于在 metadata builder 中遍历模型的所有注意力层，提取 sliding window 配置。平台
2026-04-22 09:17:23
272
原创 【vllm】（五）vLLM v1 Attention — 模块超深度分析之二
设计模式应用位置说明策略模式后端可互换，统一接口工厂方法后端类提供实现类的工厂模板方法new()子类自动获取CP配置注册表模式枚举+Decorator注册+运行时覆盖装饰器模式类注册装饰器代理模式委托平台做实际选择备忘录模式避免重复选择组合模式基于已有后端组合出新后端Protocol结构化子类型（鸭子类型+静态检查）动态子类type()运行时创建子类本文档为 vLLM v1 Attention 模块 Part 1，覆盖核心抽象层的4个文件共2324行代码的逐行分析。
2026-04-22 09:15:58
236
原创 【vllm】（三）vLLM v1 Core — 模块超深度逐行分析之三
分层委托：KVCacheManager → KVCacheCoordinator → SingleTypeKVCacheManager → BlockPool，每层只关注自己的职责策略模式将 KVCacheSpec 类型映射到对应管理器，支持灵活扩展外观模式：KVCacheManager 是 Scheduler 的简洁接口，隐藏 coordinator/block pool 的复杂性共享资源池。
2026-04-21 21:21:58
375
原创 【vllm】（三）vLLM v1 Core — 模块超深度逐行分析之二
schedule()├── 初始化调度变量与预算├── RUNNING 调度循环│ ├── 计算新 token 数│ ├── Encoder 输入调度 (_try_schedule_encoder_inputs)│ ├── Mamba block 对齐│ ├── KV block 分配 (allocate_slots)│ │ └── 失败时抢占 (_preempt_request)│ └── 更新调度状态├── WAITING 调度循环。
2026-04-21 21:20:40
131
原创 【vllm】（四）vLLM v1 Worker — 模块超深度逐行分析之三
│▼│ │ Phase 0: 前置检查│ │InputBatch │◄──┤──────┘ 更新持久化批次状态│ │ │ ││ │ ▼│ ││▼关键设计原则两步协议（execute_model + sample_tokens）：将 forward 和采样解耦，为异步调度提供弹性。乐观假设 + 延迟修正：spec decode 场景下先假设所有 draft 被接受，forward 后再修正，避免 CPU-GPU 同步阻塞。按需同步。
2026-04-21 18:17:20
126
原创 【vllm】（四）vLLM v1 Worker — 模块超深度逐行分析之二
WorkerBase：定义接口契约，不触碰硬件Worker：管理设备生命周期（初始化→加载→显存管理→休眠/恢复），是"运维层"：编排推理流程（状态更新→输入准备→预处理→前向→采样→后处理），是"执行层"子模块（Sampler/AttentionBackend/InputBatch/SpecDecode/…）：各司其职的"工具层"GPUModelRunner 的__init__方法（460+ 行）是整个模块最密集的配置点，每个变量、每个分支都服务于特定的业务场景或性能优化。其核心设计哲学是。
2026-04-21 18:14:47
132
原创 【vllm】（二）vLLM v1 Engine — 模块超深度逐行分析之三
│▼│ ││ │ ├─ numpy → python 列表 │ ││ │ ├─ token 解码 + UTF-8修正 │ ││ │ ├─ 2D张量展平解码 │ ││ │ ├─ 逐位置 UTF-8 修正 │ ││ │ UTF-8 修正管线 │ ││ │ → 上下文联合解码 │ │用户请求 (n=3)│▼│ n=3 ││ ││ ├─ 0_abc │────→ EngineCore 子请求0│ ├─ 1_abc │────→ EngineCore 子请求1。
2026-04-21 18:04:41
274
原创 【vllm】（二）vLLM v1 Engine — 模块超深度逐行分析之二
▼│ ││ ││ │ ├─ 双路径: EngineInput / raw prompt │ ││ │ ├─ SamplingParams 后处理 │ ││ │ └─ 多模态特征组装 │ ││ ││ │ └─ 外部ID + 随机后缀 = 内部唯一ID │ │▼│▼│ ││ │ process_outputs() 主循环 │ ││ │ 1) 更新统计 │ ││ │ 2) Detokenizer.update() → stop检测 │ ││ │ 5) 完成处理 / 流式更新 │ │。
2026-04-21 18:02:55
333
原创 【openclaw】OpenClaw Cron 模块超深度架构分析之四
Promise 链式互斥（locked.ts）：18 行代码实现无死锁的进程内互斥，精妙且正确。的错误吞没是刻意设计，不是疏忽。交付计划的双重推导（delivery-plan.ts）：创建时简化推导 + 运行时完整推导的两级策略，兼顾了持久化一致性和运行时灵活性。模式切换时的 to 清空（delivery-plan.ts 第 154-157 行）：这是整个模块中最精妙的 4 行代码——处理了"从 announce 切换到 webhook 时，频道名对 URL 无意义"的语义边界。
2026-04-21 15:10:20
293
原创 【openclaw】OpenClaw Cron 模块超深度架构分析之三
执行引擎深度解析Isolated Agent 执行引擎是 Cron 系统的核心运行时——负责将定时触发事件转化为一次完整的 Agent 交互会话，管理模型选择、会话生命周期、技能快照、交付调度等全链路逻辑。该子系统位于 目录下，由 ~15 个文件组成，形成一个分层的执行管道。文件路径: 代码行数: ~530 行核心职责: 作为 isolated agent turn 的总编排器，协调准备（prepare）→ 执行（execute）→ 收尾（finalize）三阶段流水线。 采用经典的 prepare-
2026-04-21 14:58:15
299
原创 【openclaw】OpenClaw Cron 模块超深度架构分析之二服务层与定时器引擎
📊服务层（service/）是 Cron 模块的"大脑皮层"——它负责状态管理、并发控制、持久化读写、作业 CRUD，以及对外暴露的操作接口。整个服务层采用设计：所有函数都以作为第一参数显式传入，而非通过this隐式引用。这种设计使得测试可以自由构造 state 而无需实例化整个服务，也避免了类继承带来的隐式耦合。
2026-04-21 14:42:33
451
原创 【openclaw】OpenClaw Terminal 模块超深度专业级分析
Terminal 模块 是 OpenClaw CLI 系统的终端输出基础设施层
2026-04-21 09:52:20
313
原创 【openclaw】OpenClaw Config 模块超深度架构分析
工厂接受fs?// 文件系统（测试可注入 mock）json5?// JSON5 解析器env?// 环境变量homedir?// 主目录configPath?: string;// 配置文件路径logger?// 日志器所有文件 I/O 都通过deps.fs执行，使得测试可以完全隔离文件系统。
2026-04-20 22:43:00
126
原创 【openclaw】OpenClaw Tasks 模块超深度架构分析
OpenClaw 的**任务与流程编排引擎**（Task & Flow Orchestration Engine）。它为 AI Agent 的异步操作提供完整的生命周期管理——从创建、追踪、进度更新、完成通知到自动清理。
2026-04-20 22:36:22
174
原创 【openclaw】OpenClaw Process 模块超深度架构分析
风格：Dark Terminal | 源码行数：2,358 行（19 文件，不含测试）
2026-04-20 21:44:31
136
原创 【openclaw】OpenClaw Flows 模块超深度架构分析
/ Provider 流的作用域设计目的：区分 Provider 是用于文本推理还是图像生成。默认为 text-inference，因为大多数 Provider 支持文本。// Provider Setup 的选项（扩展 FlowOption）// 该选项支持的作用域// Provider Model Picker 的条目（等同 FlowOption）// Provider Setup 的 FlowContribution// 固定为 provider// 固定为 setup。
2026-04-20 19:39:58
265
原创 【openclaw】OpenClaw Daemon 模块超深度架构分析
文件行数职责service.ts225核心入口接口定义 + 平台注册表 + 状态读取/启动逻辑60类型定义 — Install/Control/Manage/Stage/RestartResult 等所有参数与返回类型13运行时状态类型 —368环境构建— 最小化 PATH 构建 + 服务环境变量组装427配置审计— 20+ 检查项：Token 漂移、PATH 非最小化、运行时版本管理器、systemd/launchd 配置完整性69。
2026-04-20 19:09:26
371
原创 【vllm】vLLM v1 系统级架构分析（总）
vLLM v1 是 vLLM 推理引擎的第二代架构，采用**六层分层架构 + 插件式后端**设计。相比 v0 架构，v1 的核心改进在
2026-04-20 11:57:08
867
原创 【vllm】vLLM v1 Simple KV Offload — 系统级架构深度分析（八）
v1/simple_kv_offload` 是 vLLM v1 架构中 **KV Cache CPU 卸载** 的简化实现，核心目标是在 GPU 显存不足时将 KV Cache 块异步搬运到 CPU 内存，并在请求重入时从 CPU 加载回来，从而扩大有效 KV Cache 容量。
2026-04-20 08:38:09
317
原创 【vllm】vLLM v1 KV Offload — 模块超深度逐行分析之一（七）
KV Offload 是 v1 推理系统的"显存溢出缓冲"——将 GPU KV Cache 异步卸载到 CPU 内存，释放 GPU 空间给更多请求
2026-04-20 08:30:24
513
原创 【vllm】（五）vLLM v1 Attention — 模块超深度分析之一
Attention 是 v1 推理系统的"计算核心"——所有 GPU 上实际发生的 Attention 计算都由本模块驱动
2026-04-20 08:17:52
475
原创 【vllm】（八）vLLM v1 Executor —模块超深度分析之一
核心作用：所有执行器的抽象基类——定义统一接口、工厂方法、公共逻辑。关键类/方法类/方法类型说明类抽象基类，所有执行器的父类静态方法工厂方法，根据配置返回具体实现抽象方法子类必须覆盖的初始化逻辑抽象方法广播 RPC 到所有 Worker抽象方法健康检查方法执行模型推理（含默认实现）方法仅采样（跳过模型前向）方法查询可用显存方法初始化 KV Cache 配置方法注册失败回调方法休眠/唤醒（用于弹性伸缩）属性最大并发批次数uses_ray类属性是否使用 Ray（默认 False）
2026-04-19 22:02:37
153
原创 【vllm】（一）vLLM v0.19.1 超深度架构分析
vLLM 是一个高性能、内存高效的 LLM 推理引擎，采用分层架构模式，核心运行在 v1 引擎架构上。整体设计思路是以 Tensor Parallelism + PagedAttention + CUDAGraph 三驾马车实现极致推理性能。架构遵循 Input → EngineCore Loop → Model Forward → Output 的主流程，支持 OpenAI 兼容 API、CLI、gRPC 多种接入方式，并通过插件系统（LoRA resolver、IO processor、stat log
2026-04-19 14:05:59
851
原创 【hermes-agent】Hermes Agent — agent 模块超深度专业级代码分析
Hermes Agent 的 agent/ 模块是整个AI智能体系统的内核层（Kernel Layer）。它不包含上层业务编排逻辑（run_agent.py中的AIAgent类），而是提供智能体运行所需的全部基础设施
2026-04-19 10:56:39
367
原创 【openclaw】Openclaw Context Engine 模块超深度架构分析
Context Engine 模块是 OpenClaw 中可插拔上下文管理策略的核心抽象层。它定义了 ContextEngine 接口契约，管理引擎的注册、解析、向后兼容性代理，并提供 LegacyContextEngine 作为 100% 向后兼容的默认实现
2026-04-19 09:29:07
336
原创 【openclaw】OpenClaw Cron 模块超深度架构分析之一模块定位与整体结构
OpenClaw Cron 模块是一个完整的分布式定时任务调度引擎，负责在 OpenClaw Gateway 进程中管理所有定时任务的生命周期。
2026-04-18 17:41:04
377
原创 【pi-mono】Pi-Mono系统级架构深入分析
pi-mono 是一个 AI 编程助手的 Monorepo 项目，采用 npm workspaces 管理7个核心子包，覆盖从底层 LLM API 抽象到终端/网页/Slack 多端交互的完整链路。
2026-04-18 16:47:32
425
原创 【openclaw】OpenClaw Agents 模块 — 超深度架构分析
OpenClaw Agents模块是整个OpenClaw系统的AI代理核心引擎
2026-04-18 14:03:49
400
原创 【openclaw】OpenClaw v2026.4.15系统级架构分析（一）
OpenClaw 是一个多通道AI网关（Multi-Channel AI Gateway），通过可扩展的插件式架构将70+个消息通道（Slack、Discord、Telegram、WhatsApp、飞书、Signal、iMessage、IRC、Matrix、MS Teams等）与22+个LLM Provider（Anthropic、OpenAI、Google、Bedrock、DeepSeek、Groq、Mistral、Ollama、vLLM、OpenRouter等）连接，提供统一的Agent编排、工具执行
2026-04-17 21:53:36
686
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人