强化学习 之 Q-Learning & Sarsa

参考

强化学习论文汇总

Q-Table

这两种强化学习算法都使用Q表记录在每一个state下选择每一个action的值，并通过进入到下一个state’中所获得的反馈reward（可正可负）来更新Q表对应的（s，a）的值。

Q-Learning

原理分析：

实现步骤：
1.初始化Q-Table（Q表是一张二维的表格，每一行表示状态state，每一列表示行动action）
2.在每一轮训练中，首先初始化起始状态s，并在训练中的每一步进行如下操作：
（1）根据贪婪度epsilon概率选择下一步的动作action
（2）在当前状态state采用行动action后，得到下一状态state’和反馈reward
（3）更新Q(s,a)的值 = 老Q(s,a) + 学习率α · (Q真实值 - Q估计值)，其中，Q的真实值 = 反馈r + 奖励递减γ · 在下一状态s’采取行动能获得的最大值
（4）更新状态，并当