文章目录
Offline RL
概念
与模仿学习的区别
与online和off-policy的区别
BCQ
简介
Motivation
算法流程
小结
Offline RL
最近在看一些offline RL的内容，本文主要是介绍一个offline RL的经典算法——BCQ算法。先了解一下Offline RL 的概念。
概念
Offline RL即离线强化学习。offline RL也叫batch RL，它的基础setting是：有一个强化学习环境下得到的数据集，一个这样的四元组 ( s t , a t , r t , s t + 1 ) (s_t,a_t,r_t,s_{t+1}) (st,at,rt,st+1)。我们的目标是在不与环境交互的情况下，仅通过这个数据集，学出一个最好的策略 π \pi π。
事实上所有的off-policy算法都可以用来做Offline-RL。像DQN、DDPG这样的off-policy方法，有一个用来存储之前采集的数据replay buffer。其实当这个replay buffer足够大时，我们就可以看成是Offline-RL。
与模仿学习的区别
当数据质量足够好，比如说轨迹都是专家策略生成的数据时，可以直接进行模仿学习imitation learning。offline-RL与模仿学习的区别在于，offlineRL理论上可以利用任意策略采样的离线数据学习得到最优策略，而模仿学习必须是模仿专家策略采样的数据。
与online和off-policy的区别
online RL: 每次的策略 π k + 1 \pi_{k+1} πk+1 更新时，是基于从环境中获取到的流数据（也就是序列 s i , a i , r i , s i ′ s_i,a_i,r_i,s'_i s
💡 关键要点
文章目录 Offline RL 概念 与模仿学习的区别 与online和off-policy的区别 BCQ 简介 Motivation 算法流程 小结 Offline RL 最近在看一些offline RL的内容，本文主