DQN、Double DQN， Dueling DQN ,Noisy DQN累计奖励和最大Q值变化对比

### DQN、Double DQN、Dueling DQN 和 Noisy DQN 的累计奖励与最大 Q 值变化对比分析 #### 1. 深度 Q 网络 (DQN) DQN 是深度强化学习的基础算法，其核心思想是通过神经网络近似 Q 函数，并结合经验回放和目标网络来稳定训练过程。然而，DQN 在估计 Q 值时容易出现高估问题，因为其目标值基于当前策略下的最大 Q 值计算[^2]。 公式如下： \[ Q(s_t, a_t) \leftarrow r_t + \gamma \max_a Q(s_{t+1}, a) \] 这种高估会导致模型在训练过程中不稳定，从而影响累计奖励的提升。 #### 2. 双深度 Q 网络 (Double DQN) Double DQN 引入了一种改进机制，通过分离动作选择和价值评估来减少 Q 值的高估问题。具体来说，它使用在线网络选择动作，而目标网络则用于评估该动作的价值[^1]。 公式如下： \[ Q(s_t, a_t) \leftarrow r_t + \gamma Q'(s_{t+1}, \arg\max_a Q(s_{t+1}, a)) \] 这种方法显著降低了 Q 值的高估程度，使得累计奖励更加接近最优解。 #### 3. 竞争深度 Q 网络 (Dueling DQN) Dueling DQN 进一步优化了 Q 值的估计方式，将网络输出分为两个部分：状态价值 \( V(s) \) 和动作优势 \( A(s, a) \)[^4]。最终的 Q 值由这两部分组合而成： \[ Q(s, a) = V(s) + A(s, a) - \frac{1}{|A|} \sum_{a'} A(s, a') \] 通过这种方式，Dueling DQN 能够更高效地利用样本信息，特别是在某些状态下所有动作的效果相近时，能够更快收敛到最优策略。 #### 4. 噪声网络 (Noisy DQN) Noisy DQN 在网络权重中引入随机噪声，以替代传统的 ε-greedy 探索策略[^3]。这种机制不仅提高了探索效率，还保证了在同一回合内参数固定，从而避免了不必要的波动。 噪声网络的核心思想是在网络层中加入随机变量，使得每个状态的动作选择具有一定的随机性，同时保持整体策略的一致性。 --- ### 累计奖励与最大 Q 值变化对比分析 | 算法 | 累计奖励趋势 | 最大 Q 值变化趋势 | 主要特点 | |--------------|--------------------------|---------------------------|--------------------------------------------------------------------------| | **DQN** | 收敛速度较慢，波动较大 | 易高估，导致不稳定 | 使用单一网络估计 Q 值，目标值为当前策略下的最大 Q 值[^2] | | **Double DQN** | 收敛速度较快，波动较小 | 高估问题显著降低 | 分离动作选择和价值评估，减少 Q 值高估[^1] | | **Dueling DQN** | 收敛速度最快，稳定性高 | 更准确地估计 Q 值 | 将 Q 值分解为状态价值和动作优势，提高样本利用率[^4] | | **Noisy DQN** | 探索效率更高，收敛平稳 | 避免过度依赖 ε-greedy 探索 | 在网络权重中加入噪声，增强探索能力，同时保持策略一致性[^3] | 从上述对比可以看出： - **累计奖励**：Dueling DQN 和 Noisy DQN 表现最佳，能够在较短时间内达到较高的累计奖励。 - **最大 Q 值变化**：Double DQN 和 Dueling DQN 的 Q 值估计更加准确，减少了高估问题带来的负面影响。 --- ```python import matplotlib.pyplot as plt # 示例数据 cumulative_rewards = { "DQN": [100, 200, 300, 400], "Double DQN": [150, 250, 350, 450], "Dueling DQN": [200, 300, 400, 500], "Noisy DQN": [180, 280, 380, 480] } max_q_values = { "DQN": [1000, 1200, 1500, 1800], "Double DQN": [900, 1100, 1300, 1500], "Dueling DQN": [800, 1000, 1200, 1400], "Noisy DQN": [950, 1150, 1350, 1550] } # 绘制累计奖励对比图 plt.figure(figsize=(10, 6)) for algo, rewards in cumulative_rewards.items(): plt.plot(rewards, label=algo) plt.title("Cumulative Rewards Comparison") plt.xlabel("Episode") plt.ylabel("Cumulative Reward") plt.legend() plt.show() # 绘制最大 Q 值变化对比图 plt.figure(figsize=(10, 6)) for algo, q_values in max_q_values.items(): plt.plot(q_values, label=algo) plt.title("Max Q-Value Changes Comparison") plt.xlabel("Episode") plt.ylabel("Max Q-Value") plt.legend() plt.show() ``` ---