【论文阅读】保守和适应性惩罚+基于模型的安全强化学习

【论文阅读】保守和适应性惩罚+基于模型的安全强化学习

Conservative and Adaptive Penalty for Model-Based Safe Reinforcement Learning

这是今年发表在AAAI 2022关于安全强化学习的一篇文章。基于模型的RL算法使用来自自学习模型的模拟样本来合成遵守约束的策略，减少RL在现实世界不安全的行为，例如超速，超过机器所能达到的最大转矩。但是，不完美的建模还是会产生违规动作，即使动作被预测能满足约束条件。

因此，本文中提出了一种基于模型的安全RL框架（CAP），通过捕获模型的不确定性并自适应地利用它来平衡汇报和成本目标，从而解释潜在的建模错误。主要分为两个步骤：

1. 使用基于不确定的惩罚来提高预测的成本，这保证了保守性成本约束条件，使其能适应真实的环境，在RL的训练阶段中间步骤的安全性；
2. 考虑到固定惩罚项适应性较弱（过高，RL只能被迫找到次优策略；过低，可能对成本的约束力不强，造成违规动作），使用来自环境的真实成本回报来自适应地调节成本惩罚项。

最后，在基于状态和图像的环境中，评价了这种基于惩罚的保守自适应(conservative and adaptive cost penalty，CAP)安全RL方法。

具体方法步骤

首先，基于模型的安全RL学习框架
建模为有限制的马尔可夫决策过程(CMDP)，其转化为找出存在约束条件的最佳决策的优化问题：

其中，