dqn代码

### 关于深度 Q 网络 (DQN) 的实现代码 以下是基于所提供的参考资料以及专业知识构建的一个完整的 DQN 实现示例。此代码展示了如何创建两个神经网络（`DQNetwork` 和 `TargetNetwork`），并定期更新目标网络参数。 ```python import torch import torch.nn as nn import torch.optim as optim import numpy as np class DQNetwork(nn.Module): def __init__(self, input_dim, output_dim, hidden_dim=64): super(DQNetwork, self).__init__() self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, hidden_dim) self.fc3 = nn.Linear(hidden_dim, output_dim) def forward(self, state): x = torch.relu(self.fc1(state)) x = torch.relu(self.fc2(x)) return self.fc3(x) def update_target_network(dqnet, target_net, tau=0.001): """ 更新 Target Network 参数，使其逐渐接近 DQNetwork 参数。 :param dqnet: 主网络实例 :param target_net: 目标网络实例 :param tau: 超参数，控制更新速率 """ for target_param, local_param in zip(target_net.parameters(), dqnet.parameters()): target_param.data.copy_(tau * local_param.data + (1.0 - tau) * target_param.data) # 初始化环境和模型 input_dim = 4 # 假设输入维度为 4 output_dim = 2 # 动作空间大小为 2 dqnet = DQNetwork(input_dim, output_dim) target_net = DQNetwork(input_dim, output_dim) optimizer = optim.Adam(dqnet.parameters(), lr=0.001) # 训练过程中的 TD 靶计算逻辑 state = torch.tensor(np.random.rand(1, input_dim), dtype=torch.float32) next_state = torch.tensor(np.random.rand(1, input_dim), dtype=torch.float32) reward = torch.tensor([1], dtype=torch.float32) done = False with torch.no_grad(): next_q_values = target_net(next_state) max_next_q_value = torch.max(next_q_values, dim=1)[0] td_target = reward + (1 - int(done)) * 0.99 * max_next_q_value # 折扣因子 γ 设为 0.99 # 使用主网络预测当前状态的动作价值函数 current_q_values = dqnet(state) action = torch.argmax(current_q_values).item() loss_fn = nn.MSELoss() # 反向传播优化 optimizer.zero_grad() loss = loss_fn(current_q_values[:, action].unsqueeze(0), td_target.unsqueeze(0)) loss.backward() optimizer.step() update_target_network(dqnet, target_net, tau=0.005) # 定期同步目标网络权重[^4] ``` 上述代码实现了双深度 Q 网络的核心部分，包括： - 创建主网络 (`DQNetwork`) 和目标网络 (`TargetNetwork`)； - 定义用于平滑更新目标网络的函数 `update_target_network`; - 在训练过程中通过 TD 靶值方法来调整损失函数，并利用反向传播算法完成梯度下降； - 每隔一定步数调用一次 `update_target_network` 来保持目标网络与主网络的一致性[^1]。 #### 注意事项 为了提高性能，在实际应用中可以考虑引入经验回放机制（Experience Replay Buffer）。这有助于打破数据之间的关联性，从而提升学习效率[^2]。