- 博客(23)
- 收藏
- 关注
RSS订阅原创 深入Transformer架构：从“注意力是一切“到亲手搭建模型
本文分享了学习Transformer架构的深入体会。从注意力机制的字典类比到数学公式推导，作者理解了Transformer如何通过并行计算、直接连接和掩码机制解决RNN的串行计算缺陷。多头注意力、位置编码等设计展现了数学之美与工程智慧的完美结合。通过亲手实现模型代码，作者认识到理论与实践的相辅相成，并反思了Transformer架构背后"简单规则产生复杂现象"的哲学内涵。文章揭示了Transformer的成功并非偶然，而是从第一性原理出发的系统设计成果，为后续学习大语言模型奠定了坚实基础。
2025-06-17 19:58:20
839
原创 始理解NLP：我的第一章学习心得
本文分享了学习NLP基础概念的体会，从最初认为NLP仅是"让机器懂人话"的简单理解，到认识到其多学科交叉的本质。文章梳理了NLP从1940年代图灵测试到现代大语言模型的发展历程，重点分析了中文分词、实体识别等核心任务的技术难点，以及文本表示从稀疏向量到Word2Vec、ELMo的演进突破。作者总结出NLP发展遵循"发现问题-创新方法-验证效果-发现新问题"的循环模式，强调理解技术历史对掌握现代AI的重要性，为后续学习Transformer架构打下基础。
2025-06-16 19:31:32
915
原创 【强化学习哲学 Day 2】SARSA - 现实主义者的智慧
共情钩子："人生十字路口"算法核心："给决定打分，修正判断"哲学升华："在不确定中寻找确定"金句收尾："智慧在经历中习得"
2025-06-02 09:00:00
902
原创 【强化学习哲学 Day 1】Q-Learning - 在不确定中寻找确定
通过三种视角展开：1️⃣故事篇描述人们面对职业选择时的迷茫与试错；2️⃣算法篇揭示Q-Learning中"状态-行动-奖励"的学习机制，指出人生价值判断通过经验不断更新；3️⃣哲学篇阐释探索与利用的永恒矛盾，提出"为寻最优必先试错"的成长悖论。文章最终升华指出：真正的人生智慧是在不确定中通过实践逐步构建的价值函数，没有标准答案，只有持续优化的个性化选择路径。
2025-06-01 15:35:41
696
原创 wow-agent
wow-agent致力于在代码行数和依赖库数量之间取得均衡的最小值，用最划算的方式帮助您在本地搭建AI Agent，嵌入到您的生产工作环节中Agent 核心组件：模型、工具、编排层模型-- 用于理解输入、进行推理和决策工具-- 是Agent与外界的连接点，用于执行实际操作（如查询数据、调用外部API等）编排层是“指挥官”，负责协调整个过程的运行，确保任务执行的逻辑性和高效性在AI Agent的工作流程中，用户首先提供输入，编排层接收并将其传递给模型。
2025-02-11 22:23:11
225
原创 多智能体博弈
多智能体博弈（Multi-agent Game）是一种场景，在这个场景中，多个智能体为了达成各自的目标，不断地进行决策和行动。这些智能体就像我们生活中的玩家一样，它们可能需要合作，比如无人机一起完成包裹递送；也可能彼此竞争，比如自动驾驶车辆争取道路优先权。
2024-10-04 11:43:29
1490
原创 强化学习指南：训练过程与评估过程的区别
在强化学习（RL）中，训练和评估是两个截然不同但密切相关的过程。本指南将详细解释这两个过程的区别，以及如何正确实施它们。
2024-09-08 17:58:29
1159
原创 深入解析多智能体强化学习算法的训练效率
在多智能体强化学习(MARL)领域，不同算法的训练效率和最终性能差异显著。本文将深入分析几种主流MARL算法的训练特性，探讨影响其效率的关键因素。
2024-09-08 17:35:37
1673
原创 MAPPO：超参数篇
Multi-Agent Proximal Policy Optimization (MAPPO) 是一种强大的多智能体强化学习算法，它将PPO的稳定性扩展到多智能体环境中。本文将深入探讨MAPPO的理论基础、实现细节、关键超参数、优化策略以及在实际应用中的表现。
2024-09-04 19:17:13
2464
原创 强化学习环境设计：从接口角度的深度分析
本文深入探讨了强化学习环境的接口设计。核心接口包括reset()、step()、render()方法，以及action_space和observation_space属性。文章详细分析了这些接口的实现原则，强调了清晰性、一致性和可扩展性。通过灵活的接口设计，可以实现各种复杂环境，如部分可观察、多智能体和参数化环境。文章还讨论了如何通过接口与主流框架集成，以及使用高级设计模式来处理复杂场景。
2024-09-04 18:49:16
1291
原创 深入理解DDQN
通过Alex的探索故事和技术解释，我们可以看到DDQN如何巧妙地解决了DQN中的过估计问题。DDQN的核心思想是通过使用两个网络来解耦动作的选择和评估，从而得到更准确的Q值估计。在实践中，实现DDQN需要注意网络结构、经验回放、目标计算和网络更新等关键点。通过这些技术，DDQN能够在多个强化学习任务中取得比DQN更好的性能。理解DDQN不仅有助于掌握这个特定的算法，还能帮助我们更深入地思考如何改进强化学习算法。
2024-09-03 20:50:41
1867
原创 强化学习入门：奖励函数篇
在强化学习（RL）中，奖励函数的设计是决定智能体行为的关键因素。它不仅定义了任务的目标，还塑造了智能体学习的路径。本文将以导航问题为背景，深入探讨奖励函数的设计过程，从基本原理到高级技巧，全面分析如何构建有效的奖励函数。
2024-09-03 20:40:44
5338
原创 Transformer模型入门:简单而直观的解释
Transformer是人工智能领域的革命性突破,彻底改变了机器处理和理解信息的方式。其核心是创新的"注意力机制",通过QKV(查询、键、值)结构,实现了对复杂数据的高效并行处理。Transformer不仅在自然语言处理中表现卓越,还在图像生成、音乐创作等领域展现出惊人潜力。它的出现极大提升了AI的能力,为ChatGPT等先进应用奠定了基础,开启了人工智能的新纪元。了解Transformer,就是洞悉当代AI革命的关键。
2024-09-02 18:53:32
490
原创 多智能体环境设计（三）
探讨了多智能体环境的高级设计概念，包括复杂场景创建、智能体交互机制、环境动态性和适应性，以及协作与竞争平衡。通过仓库管理系统的示例，展示了如何实现异构智能体、动态环境元素、通信系统和资源竞争。这些高级特性使得多智能体环境更接近真实世界，为解决复杂问题提供了基础。
2024-09-01 15:36:32
952
原创 多智能体环境设计(一）
本文探讨多智能体环境设计的核心概念。多智能体环境特征包括交互性、自主性、复杂性和动态性。设计考虑因素涵盖智能体定义、状态空间、观察机制、动作空间、奖励机制、交互模式、环境动态和终止条件。接口设计强调标准化、灵活性、可扩展性、可观察性和效率。此类环境设计需要系统思维，平衡多种复杂因素。
2024-08-31 22:07:38
1180
原创 强化学习自定义环境（二）
本文是强化学习环境创建的进阶教程，主要内容包括：连续动作空间：从离散网格世界升级到连续2D平面，更贴近现实世界的控制问题。复杂奖励函数设计：介绍了多因素奖励函数，包括距离、速度、接近目标和边界惩罚等元素。环境随机性：通过动作噪声和随机目标位置，增加环境的不确定性和学习难度。障碍物实现：在2D世界中添加随机障碍物，提高环境的复杂度和挑战性。Gym Wrapper使用：展示如何使用Wrapper增强环境功能，例如记录智能体轨迹。
2024-08-30 11:36:32
866
1
原创 强化学习自定义环境（一）
本教程旨在指导初学者理解和创建OpenAI Gym强化学习环境。主要内容包括：OpenAI Gym基础组件介绍：环境、观察空间、动作空间、奖励函数、重置函数和步进函数。实践案例：创建一个简单的5x5网格世界环境，智能体需要从左上角移动到右下角。环境实现：逐步讲解如何定义环境类、实现各个必要的方法（如__init__、reset、step、render）。代码示例：提供完整的Python代码，展示如何使用Gym框架创建自定义环境。环境测试：演示如何初始化和使用创建的环境，模拟智能体的简单行为。
2024-08-30 11:04:57
1745
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人