首页 建筑钢材 中厚 型钢 钢管 涂镀 优特 钢绞 资讯
更多
注册 登录
您当前的位置：钢材 > 钢绞线 > 市场分析
广告
热门图文
推荐文章

生意社：5月国内液化天然气市场先扬 浏览次

长江有色：29日铜价小跌 后市难觅 浏览次

长江有色：供需困境难解 29日硅价保 浏览次

长江有色：29日铝价小涨 下游刚需 浏览次

长江有色：29日氧化铝期价震荡下跌 浏览次

长江有色：29日铅价上涨 供需双弱成 浏览次

广告
随机浏览

变频空调和定频的区别和优缺点，变 浏览次

变频空调和定频空调有什么区别，变 浏览次

定频空调与变频空调有什么区别，定 浏览次

首套买房需要交多少税，买首套住房 浏览次

网传房产税征收标准，房产税税率是 浏览次

购房契税的税率，购房的契税是多少 浏览次

广告

iclr2021 openreview，iclr open review

来源:头条 作者: chanong
分享到
关注德勤钢铁网在线：

  • 扫描二维码

    关注√

    德勤钢铁网微信

在线咨询：

  • 扫描或点击关注德勤钢铁网在线客服

“若听运河清澈，流水之源便现。”学**前沿领域知识、从其他研究领域获得灵感、更清晰地理解研究问题的本质是取之不尽、用之不竭的资源。信息来源。自我完善。为此，我们特意精选文章阅读笔记，帮助您广泛深入地阅读科研文献，打造“活水之源”专栏，敬请关注。

作者：Mochen-Fan Hanchie

地址：https://www.zhihu.com/people/huang-han-chi-15

https://medium.com/@iclr_conf/ourhatata-the-reviewing-process-and-research-shaping-iclr-in-2020-ea9e53eb4c46 这是包含非强化学**论文的词云图

01 多次出现的关键词：多智能体、分层强化学**/技能发现、探索、对抗性、元强化学**、元学**、迁移/泛化、进化、图/GNN/GCN、推理、内在奖励/好奇心、生成式、模仿学**，稳健，

采样效率/估计、基于模型、离策略、课程学**、安全/约束学**

02 ICLR 202 强化学**Top 10 论文

https://analyticsindiamag.com/top-10-reinforcement-learning-papers-from-iclr-2020/

1| 图卷积强化学**

2| 衡量强化学**算法的可靠性

3| 强化学**行为套件

4| 现实世界机器人强化学**的要素

5| 网络随机化： 深度强化学**中泛化的简单技术

6| 关于神经机器翻译强化学**的弱点

7| 基于强化学**的图序列模型，用于自然问题生成

8| 对抗性策略： 对深度强化学**的攻击

9| 使用强化学**发现因果关系

10| Atari 基于模型的强化学**

03 Text 1.《Posterior sampling for multi-agent reinforcement learning: solving extensive games with imperfect information》 关键词：MARL、后采样、博弈论HIGHLIGHT: 对于非平滑、非凸函数，梯度裁剪可能会加速梯度下降。强化学**事后抽样(PSRL) 是一个帮助您在未知环境中做出决策的框架。 PSRL 维护环境的后验分布并规划从后验分布中采样的环境。尽管PSRL 对于单智能体强化学**问题表现良好，但将PSRL 应用于多智能体强化学**问题尚未得到探索。在本研究中，我们将PSRL 扩展到不完全信息的两人零和博弈（TEGI），这是一类多智能体系统。更具体地说，我们将PSRL 与Counterfactual Regret Minimization (CFR) 结合起来，这是TEGI 在已知环境中的主要算法。我们的主要贡献在于交互策略的全新设计，这为算法提供了良好的理论和实验保证。

2.《Dynamics-Aware Unsupervised Skill Discovery》 关键词：无监督学**、基于模型的学**、分层强化学**HIGHLIGHT: 我们提出了一种无监督技能发现方法，可以实现基于模型的分层强化学**规划。传统上，基于模型的强化学**（MBRL）旨在学**环境动态的全局模型。好的模型允许规划算法生成不同的行为并可能解决不同的任务。然而，学**复杂动力系统的准确模型仍然很困难，即使可以，该模型也可能无法推广到超出其训练状态分布的范围。在这项工作中，我们将基元的基于模型的学**和无模型学**结合起来，以促进基于模型的规划。我们要回答的问题是：如何找到结果容易预测的技能？为了实现这一目标，我们提出了动态感知技能发现（DADS），这是一种无监督学**算法，可以发现可预测的行为并同时学**其动态。理论上，我们的方法可以利用连续的技能空间，甚至在高维状态空间中学**无限多种行为。在学**的潜在空间中进行逐步规划显着优于标准MBRL 和无模型目标条件RL，可以处理稀疏奖励任务，并改进现有的无监督技能发现方法。我们证明了分层RL 技术可以得到显着改进。代码：https://github.com/google-research/dads

3.《Harnessing Structures for Value-Based Planning and Reinforcement Learning》 关键词：基于价值的强化学**亮点：我们提出了一个通用框架，可以在规划和深度强化学**中利用低阶结构。在本文中，我们建议开发用于规划和DRL 的状态动作价值函数（即Q 函数）基础设施。如果底层系统的动态导致Q 函数的某种全局结构，我们应该能够通过利用这种结构更好地推断该函数。具体来说，我们研究大数据矩阵中普遍存在的低秩结构，并凭经验验证低秩Q 函数在控制和DRL 任务中的存在。通过利用矩阵估计（ME）技术，我们提出了一个通用框架来利用Q 函数的底层低秩结构。这为经典控制提供了更有效的规划过程，并且还允许将简单的方案应用于基于值的RL 技术，以在“低等级”任务上始终获得更好的性能。对控制任务和Atari 游戏的广泛实验证实了我们方法的有效性。代码：https://github.com/YyzHarry/SV-RL

4.《Causal Discovery with Reinforcement Learning》 关键词：因果发现、结构化学**、强化学**、有向无环图亮点：将强化学**应用于基于分数的因果发现，在合成数据集和真实数据集上都取得了有希望的结果。在本文中，华为诺亚方舟研究院因果关系研究团队将强化学**应用于打分方法的因果发现算法中，并使用基于自注意力机制的编码器-解码器的神经网络模型来确定关系数据之间的关系进行调查并与因果结构相结合。设置条件，利用策略梯度强化学**算法训练神经网络参数，最终得到因果图结构。对于学术界常用的一些数据模型，该方法在中等大小的图上优于其他方法，例如传统的因果关系发现算法和更新的基于梯度的算法。同时，该方法非常灵活，可以与任何评分函数结合使用。

5.《SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference》 关键词：机器学**、可扩展性、分布式、DeepMind Lab、ALE、Atari-57、Google Research Football 我们提供最先进的可扩展强化学**，称为SEED（可扩展、高效深度强化学**）代理。 我是。通过有效利用现代加速器，算法不仅可以每秒数百万帧进行训练，还可以降低成本。与当前方法相比，我们通过具有集中推理和优化通信层的简单架构来实现这一目标。 SEED 采用两种现代分布式算法：IMPALA/V-trace（策略梯度）和R2D2（Q 学**），并在Atari-57、DeepMind Lab 和Google Research Football 上对其进行评估。新算法水平高、成本低。代码：https://drive.google.com/file/d/144yp7PQf486dmctE2oS2md_qmNBTFbez/view

6.《Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning》 关键词：函数逼近、下界、表达式亮点：函数逼近的基于值和基于策略的强化学**的指数下界。

7.《Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning》 关键词：多智能体RL，心智理论亮点：开发了一个简化的动作解码器，一个简单的MARL算法，在2-5人游戏中可以明显优于Hanabi的SOTA。在被他人观察的同时学会变得有用是强化学**（RL）中的一个有趣的挑战。强化学**本质上需要智能体进行探索，以便发现好的策略，但是当简单地进行探索时，其随机性本质上导致智能体在训练过程中的行为与其他智能体不同，给出的信息较少。我们提出了一种新的深度多智能体强化学**方法—— 简化动作解码器（SAD）。它通过增加强化训练阶段来解决这一矛盾。 SAD 允许其他智能体不仅可以观察自己选择的（探索性）行为，还可以观察队友在训练期间的贪婪行为。本文将这种简单的直觉与辅助任务和状态预测的多智能体学**的最佳实践相结合。代码：https://bit.ly/2mBJLyk

8.《Behaviour Suite for Reinforcement Learning》 关键词：基准、核心问题、可扩展性、可重复性亮点：Bsuite 是一系列精心设计的实验的集合，用于研究RL 智能体的核心功能。代码：https://github.com/deepmind/bsuite

9.《Model Based Reinforcement Learning for Atari》 关键词：基于模型的RL、视频预测模型、atariHIGHLIGHT：视频预测模型、基于模型的强化学**算法、每场游戏2小时的游戏时间来训练26个Atari游戏代理。在本文中，我们探讨了如何使用视频预测模型来使代理能够以比无模型方法更少的交互来解决Atari 游戏。我们尝试了几种概率视频预测技术，包括基于离散潜在变量的新模型，并利用这些视频预测技术来模拟学**模型来训练要在游戏中执行的策略。提出了一种称为模拟策略学**（SimPLe）的方法。代码：http://bit.ly/2wjgn1a

10.《Measuring the Reliability of Reinforcement Learning Algorithms》 关键词：指标、统计、可靠性亮点：用于测量强化学**算法可靠性（训练期间和学**后（基于固定策略））的一组新指标（+随附的统计测试）侧重于两者波动性）和风险）代码：https://github.com/google-research/rl-reliability-metrics

11.《The Ingredients of Real World Robotic Reinforcement Learning》 关键词：机器人亮点：通过强化学**学**现实世界机器人任务的免工具系统。本文介绍了将RL 部署到真实物理机器人系统的实际问题和解决方案，包括使用原始感官数据、创建奖励函数以及在情节结束时不重置的问题。

12.《Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning》 关键词：从演示中学**、逆向强化学**、约束推理亮点：使用最大熵原理来量化演示与预期无约束行为之间的差异、任务执行约束推理。我们根据马尔可夫决策过程（MDP）重新表述了IRL 问题。在那里，给定环境的名义模型和名义奖励函数，我们尝试估计激发代理良好行为的环境、行为和特征约束。我们的方法基于最大熵IRL 框架，这使我们能够根据我们对MDP 的了解来推断专家代理进行演示的可能性。新算法使我们能够估计哪些约束可以添加到MDP 中，以最大限度地提高观察这些演示的可能性。新算法迭代地推断出最能解释观察到的行为的最大似然约束，并使用模拟行为和人类绕过�**锏募锹际堇床馐云溆行浴４耄篽ttps://drive.google.com/drive/folders/1pJ7o4w4J0_dpldTRpFu_jWQR8CkBbXw

13.《Improving Generalization in Meta Reinforcement Learning using Neural Objectives》 关键词：元强化学**，元学**亮点：我们引入了一种新的元强化学**算法，MetaGenRL。与之前的工作不同，MetaGenRL 可以推广到与元训练完全不同的新环境。生物进化将许多学**者的经验提炼成人类通用的学**算法。我们新的元强化学**算法MetaGenRL 就是受到这个过程的启发。 MetaGenRL 提取许多复杂智能体的经验来元学**低复杂度的神经目标函数，该函数决定个人未来的学**方式。与最近的元强化学**算法不同，MetaGenRL 可以推广到与元训练完全不同的新环境。在某些情况下，它甚至可以超越手动设计的强化学**算法。 MetaGenRL 在元训练期间使用离策略二次梯度。这大大提高了采样效率。

14.《Making Sense of Reinforcement Learning and Probabilistic Inference》 关键词：概率推理、不确定性、探索亮点：“RL 作为推理”中的常见算法忽略了不确定性和探索的作用。我们强调这些问题的重要性，并提出了一个一致的强化学**和推理框架，以正确处理不确定性和探索。强化学**（RL）结合了控制问题和统计推断。智能体不知道系统的动态，但可以通过经验进行学**。最近的工作提出了一个名为“强化学**推理”的具体框架，它将强化学**问题推广到概率推理。在我们的论文中，我们揭示了这种方法的主要缺点，并解释了使RL 一致地推广到推理问题的含义。特别是，强化学**智能体必须考虑探索和利用之间的权衡。除了最简单的设置之外，在所有设置中，推理在计算上都很困难，因此真正的强化学**算法必须依赖于近似技巧。我们证明，即使对于非常基本的问题，常见的“强化学**作为推理”近似也会降低性能。然而，我们表明，只需进行少量修改，该框架就可以产生具有明显优越性能的算法，并且我们表明，新算法相当于最近提出的K-learning，它与Thompson 采样相关。

15.《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》 关键词：深度学**、图神经网络、自然语言处理、问题生成亮点：自然问题生成（QG）旨在根据句子和答案生成问题。先前关于QG 的研究（i）忽略了隐藏在文本中的丰富结构信息，（ii）仅依赖交叉熵损失，这导致了暴露偏差和训练/测试测量之间不匹配等问题。或者（iii）使大部分响应信息。为了解决这些限制，我们针对QG 问题提出了一种新的基于RL 的GrappSeq 模型。在此模型中，高效的深度对齐网络利用响应信息。我们还提出了一种新的双向GNN 来处理有向通道图。我们的两步训练策略受益于基于交叉熵和基于增强的序列训练。我们还考虑从文本构建静态和动态图，并系统地调查和分析两者之间的性能差异。代码：https://github.com/hugochan/RL-based-GrappSeq-for-NQG

16.《On the Weaknesses of Reinforcement Learning for Neural Machine Translation》 关键词：MRT、最小风险训练、强化、机器翻译、Peakkinesity、生成亮点：提高机器翻译性能的强化实践可能不会来自更好的预测。摘要：强化学**（RL）通常用于提高文本生成任务（包括机器翻译）的性能，特别是通过使用最小风险训练（MRT）和生成对抗网络（GAN）。然而，人们对这些方法在MT 背景下学**什么以及如何学**知之甚少。最常见的MT RL 技术之一并不能优化预期回报，而其他技术则被证明过于耗时。事实上，实验结果表明，只有当预训练参数已经接近产生正确翻译时，使用MT 练**RL 才可能提高性能。我们的研究结果进一步表明，观察到的增益可能是由于与训练信号无关的影响，例如分布曲线形状的变化。

17.《SQIL: Imitation Learning via Reinforcement Learning with Sparse Rewards》 关键词：模仿学**亮点：对抗性模拟学**的简单有效替代方案：通过演示初始化经验重放缓冲区，并将奖励设置为+1，将所有其他数据奖励设置为0 配置并运行Q Learning 或软件。演员和评论家培训。从模仿中学**模仿专家的行为可能很困难，特别是在高维度、连续观察和未知动态的环境中。基于行为克隆（BC）的监督学**方法存在分布转移问题。由于智能体贪婪地模仿所演示的动作并积累错误，因此它可能会偏离所演示的状态。最近基于强化学**(RL) 的方法，例如逆向RL 和生成对抗性模仿学**(GAIL)，通过训练RL 代理随着时间的推移匹配演示来克服这个问题。由于任务的真实奖励函数是未知的，这些方法通常通过使用复杂且弱的近似技术和对抗性训练的演示来学**奖励函数。我们提出了一个简单的替代方案，仍然使用强化学**，但不需要学**奖励函数。关键思想是鼓励代理在遇到新的交付状态时返回到演示状态，从而鼓励他们随着时间的推移匹配演示。为了实现这一目标，我们为代理提供恒定奖励r=+ 1 以匹配演示状态下的演示动作，并为所有其他动作提供恒定奖励r=0。新算法Soft-Q 模仿学**(SQIL) 可以通过对标准Q 学**算法或策略松弛Actor-Critic 算法进行轻微修改来实现。我们从理论上证明，SQIL 可以解释为BC 的正则化变体，它在鼓励长期模仿之前使用稀疏性。在Box2D、Atari 和MuJoCo 上的各种基于图像的低维任务上，SQIL 的性能优于BC，并且与GAIL 相比获得了有竞争力的结果。本文主要演示了具有恒定奖励的简单的基于强化学**的模仿技术如何与使用学**奖励的更复杂的技术一样有效。

18.《AutoQ: Automated Kernel-Wise Neural Network Quantization》 关键词：AutoML、kernel-wise 神经网络量化、分层深度强化学**亮点：使用分层深度强化学**实现混合精度的准确、快速、自动化的kernel-wise 神经网络量化。在本文中，我们提出了AutoQ，一种基于分层DRL 的基于内核的网络量化技术，它自动为每个权重内核搜索QBN，并为每个激活层选择不同的QBN。与最先进的基于DRL 的量化模型相比，采用AutoQ 量化的同一模型在实现相同推理精度的同时，推理延迟平均降低了54.06%，推理能耗降低了50.69%。

19.《SVQN: Sequential Variational Soft Q-Learning Networks》 关键词：POMDP、变分推理、生成模型亮点：SVQN 在统一图模型下形式化隐藏状态推理和最大熵强化学**，并联合优化两个模块。部分可观察马尔可夫决策过程(POMDP) 是一种灵活的模型，在现实世界的决策应用中很受欢迎，这些应用需要来自过去观察的信息来做出最佳决策。用于解决马尔可夫决策过程(MDP) 任务的标准强化学**算法不适合，因为它们无法推断未观察到的状态。在本文中，我们在统一图模型下形式化了隐藏状态推理和最大熵强化学**（MERL），并开发了一种新的POMDP 算法，联合优化这两个模块—— 提出了序列变分软Q 学**网络（SVQN）。此外，我们设计了深度循环神经网络来降低算法的计算复杂度。实验结果表明，SVQN 利用过去的信息来支持决策，进行有效的推理，并且在一些困难任务上优于其他基线。我们的消融研究表明，SVQN 具有随时间推移进行泛化的能力，并且对观察到的扰动具有鲁棒性。

19.《Observational Overfitting in Reinforcement Learning》 关键词：观察、过拟合、泛化、隐式、正则化、过参数化亮点：本文提出了一种分析RL 状态空间不相关部分过拟合的方法，并且我们提出了一种测量误差框架的方法。无模型强化学**(RL) 中过度拟合的主要症状：代理可能会根据马尔可夫决策过程(MDP) 生成的观察结果错误地将奖励与某些虚假特征关联起来。我们提供了一个分析这种情况的总体框架。这用于通过简单地改变MDP 的观察空间来设计多个综合基准。当代理过度模拟时

合到不同的观察空间时，即使底层的MDP动态是固定的，我们仍称之为观察过度拟合。我们的实验揭示了一些有趣属性（尤其在隐式正则化方面），并证实了以前在RL泛化和监督学**（SL）中的工作结果。 20.《Multi-agent Reinforcement Learning for Networked System Control》关键词：multi-agent reinforcement learning, decision and controlHIGHLIGHT：本文针对网络化多智能体控制问题提出了新提法和新的通信协议。本文考虑了网络系统控制中的多智能体强化学**（MARL）。具体来说，每个智能体都基于本地观察和来自相邻邻居的消息来学**分散控制策略。我们将这种网络化的MARL（NMARL）问题公式化为时空马尔可夫决策过程，并引入空间折扣因子来稳定每个本地Agent的训练。此外，我们提出了一种新的可微分通信协议，称为NeurComm，以减少NMARL中的信息丢失和非平稳性。在实际的NMARL自适应交通信号控制和协同自适应巡航控制场景下的实验基础上，适当的空间折现因子可以有效地增强非通信MARL算法的学**曲线，代码：https://github.com/cts198859/deeprl_network 21.《Learning the Arrow of Time for Problems in Reinforcement Learning》关键词：Arrow of Time, AI-SafetyHIGHLIGHT：我们研究了MDP的Arrow of Time，用它来衡量可及性，检测副作用并获得好奇心奖励信号。人类对时间的不对称发展有着天生的理解，我们可用它来高效、安全地感知和操纵环境。受此启发，我们解决了在马尔可夫（决策）过程中学**Arrow of Time的问题。我们将说明学**的Arrow of Time如何捕获有关环境的重要信息，这些信息又可以用于衡量可达性，检测副作用并获得内在的奖励信号。最后，我们提出一种简单有效的算法来参数化当前问题，并使用函数逼近器（此处为深度神经网络）学**Arrow of Time。我们的经验结果涵盖了离散和连续环境的选择，代码： https://www.sendspace.com/file/0mx0en 22.《Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives》关键词：Variational Information Bottleneck, Learning primitivesHIGHLIGHT：学**隐式的主策略，因为HRL中的主策略可能无法推广。与许多当前的分层强化学**方法相反，作者提出了一种学**低级策略的去中心化方法，这些低级策略自己决定是否在当前状态下行动，而不是由一个中心化的更高级别的元策略在低级策略之间进行选择。 分层强化学**将策略分解为较低级别的原语或option，以及将较高级别的元策略分解为针对给定情况触发适当行为的策略。但是，元策略仍必须在所有状态中做出适当的决定。在这项工作中，我们提出了一种可分解为不同原语但没有高级元策略的策略设计。每个原语可自己决定是否希望在当前状态下执行操作。我们使用信息理论机制来实现此分散决策：每个原语都会选择需要多少有关当前状态的信息来做出决定，一般来说原语会希望请求有关当前状态的最多信息。但比较信息有限嘛，有时我们需要对原语进行regularization以使用尽可能少的信息，这会导致自然竞争和专业化。我们通过实验证明，新的策略体系结构在泛化方面比flat策略和分层策略都有所改进。 23.《Exploration in Reinforcement Learning with Deep Covering Options》（poster）关键词：temporal abstraction, explorationHIGHLIGHT：我们介绍了一种可自动发现task-agnostic options，从而鼓励强化学**中的探索的方法。目前加速强化学**中的探索的方法常常是启发式的。近年来，研究者提出了covering options以发现一组可证明地减少环境覆盖时间上限的options，这是探索难度的一种度量。Covering options是使用图拉普拉斯图的特征向量计算的，但它们受制于表格任务，不适用于具有较大或连续状态空间的任务。对此，我们介绍了deep covering options，这是一种在线方法，可将覆盖范围扩展到大型状态空间，自动发现task-agnostic options以鼓励探索。 24.《Logic and the 2-Simplicial Transformer》（poster）关键词：transformer, logic, reasoningHIGHLIGHT：我们介绍了2-simplicial Transformer，它是Transformer的扩展，包括了一种泛化点积注意力的高维注意力形式，并使用这种注意力来更新实体表征与价值向量的张量积。我们表明，这种架构是深度强化学**背景下逻辑推理的一个有用的归纳偏向。Review：本文扩展了Transformer，实现了高维注意机制，将点积注意推广了。Reviewer3认为，将注意机制从二阶关系扩展到三阶关系是一个重要的提升，mathematical context具有洞察力，且可能导致进一步的潜在发展。代码：https://github.com/dmurfet/2simplicialtransformer 25.《Watch, Try, Learn: Meta-Learning from Demonstrations and Rewards》关键词：meta-learning, imitation learningHIGHLIGHT：本文提出了一种元学**方法，该方法可以从Demonstrations和后续的RL任务中学**。模仿学**使智能体可从演示中学**复杂的行为。但是，学**基于视觉的复杂任务可能需要不切实际的Demonstrations。元模仿学**是一种有前途的方法，它可使智能体通过利用学**类似任务的经验，从一个或几个Demonstrations中学**新任务。在任务模棱两可或观察不到动态的情况下，仅凭Demonstrations可能无法提供足够的信息。智能体还必须尝试执行任务以成功推断策略。在这项工作中，我们提出了一种可以从Demonstrations和反复试验的经验中学**并具有稀疏奖励反馈的方法。与元模仿相比，此方法使智能体能有效improve itself autonomously beyond the demonstration data。与元强化学**相比，由于Demonstrations减轻了探索负担，因此我们可以扩展到更广泛的任务分配。实验表明，在一系列具有挑战性的基于视觉的控制任务上，我们的方法明显优于以前的方法。代码：https://drive.google.com/open id=1f1LzO0fe1m-kINY8DTgL6JGimVGiQOuz 26.《Adversarial Policies: Attacking Deep Reinforcement Learning》关键词：adversarial examples, security, multi-agentHIGHLIGHT：DRL策略可能会受到其他智能体采取行动以创建具有对抗性的自然观察的攻击。众所周知，DRL策略容易受到其观测值的对抗性扰动，类似于分类器的对抗性例子。然而，攻击者通常无法直接修改另一个智能体的观测值。这可能会导致人们怀疑：是否有可能仅仅通过选择一个在多智能体环境中作用的对抗性策略来攻击一个RL智能体，从而创造出对抗性的自然观测值？我们证明了在具有本体观测的模拟人形机器人之间的零和游戏中存在对抗性策略，它用于对抗通过自我游戏训练成的最先进受害者，使其对对手具有鲁棒性。对抗性策略可靠地赢了受害者，但产生了看似随机和不协调的行为。我们发现，这些策略在高维环境中更成功，并在受害者策略网络中诱导出与受害者和普通对手对弈时实质不同的激活。视频见adversarialpolicies.github.io 。代码：https://github.com/humancompatibleai/adversarial-policies 27.《Population-Guided Parallel Policy Search for Reinforcement Learning》关键词：Parallel Learning, Population Based LearningHIGHLIGHT：本文提出了一种multi-actor RL的新方法，该方法通过以柔和的方式提炼表现最佳的智能体的策略并在智能体之间保持一定距离来确保角色群体的多样性和绩效。作者显示，与几种最先进的单actor算法和其他几种multi-actor RL算法相比，新算法性能有所改善。 本文提出了一种新的以Population为导向的并行学**方案，以提高off-policy强化学**（RL）的性能。在新方案中，具有相同价值函数和策略的多个相同的学**者共享一个经验重播缓冲区，并在最佳策略信息的指导下协作搜索一个好的策略。关键是通过构建用于策略更新的增强损失函数以扩大多个学**者的整体搜索范围，从而以一种**soft**的方式**融合最佳策略的信息**。通过先前最佳策略的指导和扩大范围，我们可以更快更好地进行策略搜索，并且从理论上证明所提出方案的累积回报期望的单调提高。 28.《Learning Efficient Parameter Server Synchronization Policies for Distributed SGD》关键词：Distributed SGD, Paramter-Server, Synchronization PolicyHIGHLIGHT：我们采用基于强化学**的方法来学**用于Parameter Server-based distributed training of SGD的最佳同步策略。我们应用基于强化学**的方法来学**最佳同步策略，该策略用于Parameter Server-based distributed training of SGD。通过在PS设置中使用正式的同步策略，我们能够得出状态和动作的合适且紧凑的描述，从而使用标准的现成DQN算法。结果，我们能够学**适用于不同集群环境，不同训练数据集和较小模型变化的同步策略，并且（最重要的是）与标准策略（如批量同步并行（BSP），异步并行（ASP）或陈旧的同步并行（SSP））相比，新模型大大减少了训练时间且学**到的策略普遍适用于多种unseen cases。 29.《Finding and Visualizing Weaknesses of Deep Reinforcement Learning Agents》关键词：Visualization, SafetyHIGHLIGHT：我们生成经过训练的RL算法的临界状态，以可视化潜在的缺陷。随着由视觉感知驱动的深度强化学**变得越来越广泛，我们越来越需要更好地理解和探究所学**的智能体。了解决策过程及其与视觉输入的关系对于识别学**行为中的问题非常有价值。但是，这个话题在研究界相对未被充分研究。在这项工作中，我们提出了一种为受过训练的智能体合成感兴趣的视觉输入的方法。这样的输入或状态可能是需要采取特定行动的情况。此外，能够获得非常高/低报酬的临界状态通常对于理解系统的态势感知有帮助，因为它们可对应于危险状态。为此，我们学**了环境状态空间上的生成模型，并使用其潜在空间为目标状态优化了目标函数。实验中，我们证明了这种方法可为各种环境和强化学**方法提供insights。我们在标准的Atari基准游戏以及自动驾驶模拟器中探索结果，发现新算法能够加快识别行为缺陷的效率。我们相信这种通用方法可作为AI安全的重要工具。 30.《Option Discovery using Deep Skill Chaining 》关键词：Hierarchical Reinforcement Learning, Skill Discovery, Deep LearningHIGHLIGHT：我们提出了一种新的层次强化学**算法，该算法比非层次智能体和其他最新的技能发现技术更可靠地解决了面向高维度目标的任务。自主发现在时间上扩展的动作或技能是分层强化学**的长期目标。我们提出了一种将技能链与DNN相结合的新算法，以自主发现高维连续领域中的技能。最终的算法，即深层次的技能链，可通过执行一种特性从而使智能体能够执行另一种特性来构建技能。我们证明，在挑战性的连续控制任务中，深度技能链显着优于非层次智能体和其他最新技能发现技术。代码: https://github.com/deep-skill-chaining/deep-skill-chaining 31.《Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery》关键词：semi-supervised learning, unsupervised learning, robotics, deep learningHIGHLIGHT：我们展示了如何在强化学**环境中自动学**动态距离，并使用它们来提供形状良好的奖励函数，以实现新的目标。强化学**需要手动指定奖励函数才能学**任务。虽然原则上该奖励函数仅需指定任务目标，但在实践中，强化学**可能非常耗时甚至不可行，除非奖励函数的形状能够为成功的结果提供一个平滑的梯度。我们很难手动指定此shaping，特别当从原始观察值（例如图像）中学**任务时。在本文中，我们研究了如何自动学**动态距离：衡量从任何其他状态到给定目标状态的预期时间步长的量度。这些动态距离可用于提供形状良好的奖励函数，以实现新的目标，从而有可能有效地学**复杂任务。我们表明动态距离可以用于半监督状态，其中与环境的无监督交互用于学**动态距离，而少量的偏好监督用于确定任务目标，而无需任何人工设计的奖励函数或目标示例。我们在真实世界的机器人和仿真中都评估了新方法。我们展示了新方法可以使用原始的有9个自由度的手来学**如何转动阀门（使用原始图像观察结果和十个偏好标签，而无需任何其他监督）。学**技能的视频见： https://sites.google.com/view/dynamical-distance-learning 32.《Reinforced active learning for image segmentation》关键词：semantic segmentation, active learningHIGHLIGHT：通过强化学**来学**标签策略，以减少语义分割任务的标签工作量。基于学**的语义分割方法有两个固有挑战。首先，获取element-wise的标签是昂贵和耗时的。第二，现实的分割数据集是高度不平衡的：一些类别比其他类别丰富得多，使性能偏向于最具代表性的类别。在本文中，我们感兴趣的是将人类的标签工作集中在一个更大的数据池中的小子集上，最小化标签工作所需努力，同时最大化分割模型在保持hold-out set上的性能。我们提出了一种新的基于DRL的语义分割的主动学**策略。一个agent学**一个策略，从一个未标记的数据池中选择一个小的信息图像区域子集–（与整个图像相对）–进行标记。区域选择决定是基于正在训练的分割模型的预测和不确定性做出的。新方法提出了一种新的主动学**的DQN公式的修改，使其适应语义分割问题的大规模性质。我们在CamVid中测试了概念证明，并在大规模数据集Cityscapes中提供了结果。在Cityscapes中，我们的RL region-based DQN方法比最有竞争力的基线所需的额外标记数据少了大约30%而性能相同。此外，与基线相比，我们的方法询问了更多代表性不足的类别的标签，提高了它们的性能，并有助于缓解类不平衡现象。 32.《CAQL: Continuous Action Q-Learning》关键词：DQN, Continuous control, Mixed-Integer Programming (MIP)HIGHLIGHT：用于持续控制的基于价值的强化学**的一般框架。基于价值的强化学**方法（如Q学**）已在各领域（如游戏和推荐系统）中取得了成功。当动作空间有限时，这些算法通过学**最优值函数隐式地找到策略，效果不错。但是，扩展Q学**以解决连续动作RL问题的一个主要挑战是获得最佳Bellman backup需要解决连续动作最大化（max-Q）问题。虽然为了简化max-Q问题，通常限制Q函数的参数化关于动作是凹的，但这种限制可能会导致性能下降。而且，当使用通用前馈神经网络（NN）对Q函数进行参数化时，max-Q问题可能是NP-难问题。在这项工作中我们提出了CAQL方法，该方法使用Q学**和几个即插即用的动作优化器之一来最小化Bellman残差。特别地，利用DNN中优化理论的进步，我们表明可以使用混合整数编程（MIP）来最佳解决max-Q问题-当Q函数具有足够的表示能力时，这种基于MIP的优化诱导出更好的策略，并且比近似于max-Q解决方案的对等策略（如CEM或GA）更强大。为加快CAQL的培训，我们开发了三种技术（i）动态容差，（ii）双重过滤和（iii）聚类。为加快CAQL的inference，我们引入了同时学**最优策略的action function。为证明CAQL的有效性，我们将其与最新的RL算法在具有不同程度动作约束的基准连续控制问题上进行了比较，并表明CAQL在严重受限的环境中明显优于基于策略的方法。 33.《Learning Heuristics for Quantified Boolean Formulas through Reinforcement Learning》 (Poster)关键词：Logic, QBF, Logical Reasoning, SAT, Graph, GNNHIGHLIGHT：我们使用RL在最新的QBF求解器中自动学**有关工业问题的分支启发法。我们演示了如何通过深度强化学**为量化的布尔公式的自动推理算法学**有效的启发式算法。我们专注于回溯搜索算法，该算法已经可以解决令人印象深刻的多达数十万变量的公式。主要挑战是找到这些公式的表示形式，以使其可扩展地进行预测。对于一系列具有挑战性的问题，我们学**了一种启发式算法，与现有的手写启发式算法相比，它可以解决更多的公式。（PS：这篇在RL技巧上倒没啥很亮的点，主要是把Quantified Boolean Formulas的自动推理转化为MDP尔尔~） 34.《AMRL: Aggregated Memory For Reinforcement Learning》 (Poster)关键词：deep learning, rl, memory, noise, machine learningHIGHLIGHT：在DRL中，可将order-invariant函数与标准存储模块结合使用，以改善梯度衰减和抗噪声能力。在许多部分可观察的方案中，RL智能体必须依靠长期记忆才能学**最佳策略。我们证明，由于来自环境和探索的随机性，使用来自NLP的技术和监督学**在RL任务上失败了。利用我们对RL中传统存储方法局限性的见解，我们提出了AMRL，这是一类可以学**更好的策略、具有更高的采样效率，并且对噪声输入具有弹性的模型。具体来说，我们的模型使用标准内存模块来总结短期context，然后从标准模型中汇总所有先前状态，而不考虑顺序。我们表明，这在梯度衰减和随时间变化的信噪比方面均具有优势。我们在Minecraft和迷宫环境中进行评估以测试长期记忆， 35.《CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning》关键词：multi-agent reinforcement learningHIGHLIGHT：一种用于完全协作的多目标多智能体强化学**的模块化方法，该方法基于课程学**，可进行有效的探索并为行动目标互动分配功劳。 各种合作的多智能体控制问题都要求智能体在实现个人目标的同时为集体的成功做出贡献。这种多目标多智能体的设置给最近的算法带来了困难，这些算法主要针对单一全局奖励的设置，它们面临两个新挑战：为学**个人目标的实现和为他人的成功而合作的高效探索，以及不同智能体的行动和目标间的相互作用的信用分配。为解决这两个挑战，我们将问题重构为一个新的两阶段课程，在学**多智能体合作之前，先学**单智能体目标的实现，我们推导出一个新的多目标多智能体策略梯度，并采用信用函数进行局部信用分配。我们使用函数增强方案来衔接课程中的价值和策略函数。被称为CM3的完整架构在三个具有挑战性的多目标多智能体问题上的学**速度明显快于现有算法的直接改编：困难队形中的合作导航、SUMO交通模拟器中的多车道变化协商以及跳棋环境中的战略合作。 36.《Toward Amortized Ranking-Critical Training For Collaborative Filtering》关键词：Collaborative Filtering, Recommender Systems, Actor-Critic, Learned MetricsHIGHLIGHT：我们研究了基于actor-critic强化学**来训练协作过滤模型的新方法，以更直接地最大化基于排名的目标函数且在各种潜变量模型中提高性能。具体来说，我们训练critic网络以近似基于排名的指标，然后更新actor网络以针对学**的指标直接进行优化。与传统的学**排名方法需要重新运行新列表的优化程序相比，我们基于critic的方法使用神经网络摊分评分过程，并可直接提供新列表的（近似）排名分数。我们证明了actor-critic能够显着改善各种预测模型的性能，并在三个大型数据集上达到与各种强基准相比更好或可比的性能。代码：https://github.com/samlobel/RaCT_CF 37.《Chameleon: Adaptive Code Optimization For Expedited Deep Neural Network Compilation》关键词：Learning to Optimize, Compilers, Code Optimization, Neural Networks, ML for Systems, Learning for SystemsHIGHLIGHT：强化学**和自适应采样，可优化深度神经网络的编译。以较短的编译时间实现更快的执行速度可促进神经网络的进一步多样性和创新。但是，当前执行神经网络的范例依赖于手动优化的库，传统的编译启发法或最近的遗传算法和其他随机方法。这些方法需要频繁且昂贵的硬件测量，因而不仅十分耗时而且次优。对此，我们设计了一种解决方案，它可以学**快速适应以前看不到的设计空间进行代码优化，既加快了搜索速度，又提高了输出性能。这个被称为Chameleon的方案使用了强化学**方法，方案收敛所需的步骤较少。Chameleon还开发了一种自适应采样算法，不仅关注代表性点上的昂贵样本（真实的硬件测量），还使用领域知识启发逻辑来改进样本本身。通过实际硬件的实验表明，Chameleon在优化时间上比AutoTVM提速4.45倍，同时也将现代深度网络的推理时间提高了5.6%。 38.《Graph Constrained Reinforcement Learning for Natural Language Action Spaces》(Poster)关键词：natural language generation, knowledge graphs, interactive fictionHIGHLIGHT：我们介绍了KG-A2C，这是一种强化学**智能体，可以在使用template-based的动作空间进行探索并生成自然语言的同时，构建动态知识图-在广泛的基于文本的游戏中优于所有当前智能体。交互式小说游戏是基于文本的模拟，其中的智能体完全通过自然语言与世界互动。它们是研究如何扩展强化学**智能体以满足组合语言的较大的、基于文本的动作空间中自然语言理解，部分可观察性和动作生成等挑战的理想环境。我们介绍了KG-A2C，这是一种可在探索动态知识图的同时使用template-based的动作空间生成动作的智能体。我们认为，知识图的双重使用来推理游戏状态并限制自然语言的生成是组合自然语言动作的可扩展探索的关键。各种IF游戏的结果表明，尽管动作空间大小呈指数增长，KG-A2C的表现仍优于目前的IF智能体。代码：https://github.com/rajammanabrolu/KG-A2C 39.《Composing Task-Agnostic Policies with Deep Reinforcement Learning》关键词：composition, transfer learningHIGHLIGHT：我们提出了一种新颖的基于强化学**的技能迁移和组合方法，该方法采用智能体的原始策略来解决原本未见的任务。混合搭建基本行为块以解决具有挑战性的转移学**问题是构建智能机器的关键要素之一。。迄今为止，研究者在学**特定于任务的策略或技能方面已经进行了大量工作，但几乎没有集中精力撰写与Task-Agnostic的必要技能以找到新问题的解决方案。在本文中，我们提出了一种新的基于深度强化学**的技能迁移和组合方法，该方法采用智能体的原始策略来解决原本未见的任务。我们在困难的情况下评估了新方法，在这些情况下，通过标准强化学**(RL)甚至是分层RL训练策略要么不可行，要么表现出高样本复杂度。我们表明，新方法不仅能将技能迁移到新的问题环境中，而且还能以高数据效率解决需要任务规划和运动控制的挑战性环境。代码：https://drive.google.com/file/d/1pbF9vMy5E3NLdOE5Id5zqzKlUesgStym/view usp=sharing 40.《Single episode transfer for differing environmental dynamics in reinforcement learning》关键词：transfer learningHIGHLIGHT：通过优化探测以快速推断潜变量并立即执行通用策略，在具有相关动态环境系列中进行单事件策略传输。迁移和适应新的未知环境动态是强化学**的关键挑战。更大的挑战是在测试时间的一次尝试中可能几乎无法达到最佳效果，而可能无法获得丰厚的回报，而当前的方法却无法解决这一问题，需要多次 experience rollouts才能适应。为了在具有相关动力学的环境系列中实现Single episode，我们提出了一种通用算法，该算法可优化探测器和推理模型，以快速估算测试动力学的潜在潜变量，然后将其立即用作通用控制策略的输入。这种模块化的方法可以集成最新的算法以用于variational inference或RL。而且，我们的方法不需要在测试时获得奖励，这使其能够在现有自适应方法无法实现的环境中执行。在具有Single episode测试约束的不同实验领域中，我们的方法明显优于现有的自适应方法，并且在鲁棒传输的基础上表现出良好的性能。 41.《Model-Augmented Actor-Critic: Backpropagating through Paths》关键词：model-based, actor-critic, pathwiseHIGHLIGHT：使用学**的模型和Q函数通过时间进行反向传播来实现策略梯度。当前基于模型的强化学**方法只是将模型用作学**的黑匣子模拟器，以扩充数据来进行策略优化或价值函数学**。在本文中，我们展示了如何通过利用模型的可微分性更有效地利用模型。我们构造了一个使用学**的模型和策略在未来时间步长上的路径导数的策略优化算法。通过使用terminal价值函数，以actor-critic的方式学**策略，可以防止跨多个时间步骤学**的不稳定性。此外，我们根据模型和值函数中的梯度误差提出了对目标的单调改进的推导。我们证明，与基于模型的现有算法相比，我们的方法（i）始终具有更高的采样效率，（ii）匹配无模型算法的渐近性能，并且（iii）扩展到很长的horizons（在这种情况下，过去基于模型的方法通常会遇到困难）。 42.《Robust Reinforcement Learning for Continuous Control with Model Misspecification》关键词：robustnessHIGHLIGHT：一种用于将鲁棒性建模到连续控制强化学**算法中，以将错误规范建模的框架。我们提供了一个将鲁棒性-过渡动态中的扰动（我们称其为模型错误指定）纳入连续控制强化学**（RL）算法的框架。我们特别专注于将鲁棒性结合到最新的连续控制RL算法中，新算法被称为最大后验策略优化（MPO）。我们通过学**一种针对最坏情况进行优化的策略来实现这一目标，新策略采用熵正则化的期望回报目标并得出相应的鲁棒熵正则化Bellman压缩算子。另外，我们引入了一个相对保守的，软鲁棒的，熵正则化目标以及相应的贝尔曼算子。实验结果显示，在环境扰动下，鲁棒和软鲁棒的策略在9个Mujoco域中的性能均优于非鲁棒的策略。此外，我们在具有挑战性的，模拟的，灵巧机器人手上显示出改进的鲁棒性能。视频见 sites.google.com/view/r 。 43.《Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning》关键词：off-policy estimation, importance sampling, propensity scoreHIGHLIGHT：针对infinite-horizon RL中的off-policy估计问题，我们提出了一种新颖的方法。在许多现实应用（如医疗保健和机器人技术）中，对long-horizon问题的off-policy估计很重要，在这些应用中，我们可能无法使用高保真（high-fidelity）模拟器，对策略的评估是很昂贵或不可能的。最近，\citet{liu18breaking}提出了一种方法，避免了典型的基于重要性取样的方法所遭受的horizon诅咒。虽然结果看起来promising，但此方法在实践中是有限的，因为它需要通过一个已知的行为策略来收集数据。在这项工作中，我们提出了消除此类限制的新颖方法。特别地，我们将问题的formulation化为求解“向后流动”算子的不动点，并表明不动点解给出了目标策略和行为策略之间期望的平稳分布的重要性比。我们分析其渐近一致性和有限样本推广。基准测试证明了我们提出的方法的有效性。 44.《Graph Convolutional Reinforcement Learning》关键词：GCN，GNNHIGHLIGHT：在多智能体环境中，学**合作至关重要，其中的关键是要了解智能体之间的相互影响。但是，多智能体环境是高度动态的，智能体不断移动，其邻居快速变化。这使得学**智能体之间相互作用的抽象表示变得困难。为解决这些困难，我们提出了图卷积强化学**，其中图卷积适应于多智能体环境的基础图的动力学，且关系内核通过它们的关系表示来捕获智能体间的相互作用。利用卷积层从逐渐增加的接受场中产生的潜在特征来学**合作，并且通过时间关系(temporal relation)正则化进一步改进合作以保持一致性。代码：https://github.com/PKU-AI-Edge/DGN/ 45.《Thinking While Moving: Deep Reinforcement Learning with Concurrent Control》 (Poster)关键词：continuous-time, roboticsHIGHLIGHT：强化学**的formulation允许智能体同时思考和采取行动，这在真实的机器人抓取中得到了证明。论文中的强化学**环境设置如下：智能体必须在受控系统的时间演变过程中同时从策略中采样动作，例如机器人必须在上一个动作完成之前决定下一个动作（同时思考和移动）。为了开发针对此类并发控制问题的算法框架，我们从Bellman方程的连续时间公式化开始，然后以意识到系统延迟的方式离散化它们。我们通过对现有基于值的DRL算法的简单体系结构扩展，实例化此类新的近似动态编程方法。 46.《Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning》关键词：evolutionary learning, curriculum learningHIGHLIGHT：在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数增长，因此，当智能体数众多时，学**良好的策略尤其具有挑战性。在本文中，我们介绍了进化人口课程（EPC），这是一种课程学**范例，它通过逐步增加训练智能体的数量来扩展多智能体强化学**（MARL）。此外，EPC使用进化方法来解决整个课程中的客观失调问题：在早期以少量人口成功训练的智能体不一定是适应后期人口规模扩大的最佳人选。具体来说，EPC在每个阶段都会维护多组智能体，在这些集合上执行混合匹配和微调，并以最佳适应性提升智能体到下一阶段。我们在一种流行的MARL算法MADDPG上实现了EPC，并通过经验证明，随着智能体数量呈指数增长，我们的方法始终在性能上始终优于基线。源代码和视频见https://sites.google.com/view/epciclr2020 。代码：https://github.com/qian18long/epciclr2020 47.《A Simple Randomization Technique for Generalization in Deep Reinforcement Learning》关键词：Generalization in visual domainsHIGHLIGHT：我们提出了一种简单的随机化技术，用于改善具有各种未曾见过的视觉模式的任务的深度强化学**的泛化。DRL智能体通常无法推广到未曾见过的环境，尤其当它们在高维状态空间（如图像）上进行训练时。在本文中，我们提出了一种可通过引入随机扰乱输入观测值的随机（卷积）神经网络来提高深层RL智能体泛化能力的简单技术。通过跨变化和随机环境中的learning robust features invariant，新算法使受过训练的智能体能够适应新领域。此外，我们考虑了一种基于蒙特卡洛近似的推理方法，以减少由该随机化引起的方差。我们展示了新方法在2D CoinRun，3D DeepMind Lab探索和3D机器人控制任务中的优越性：新算法明显优于各种正则化和数据增强方法。代码：https://github.com/pokaxpoka/netrand 48.《Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs》关键词：learning to optimize, combinatorial optimization, computation graphs, model parallelism, learning for systemsHIGHLIGHT：我们使用DRL来学**指导遗传算法搜索的策略，以更好地优化计算图的执行成本，并在实际的TensorFlow图上显示改进的结果。我们提出了一种深度强化学**方法，以最小化优化编译器中神经网络计算图的执行成本。与早期的基于学**的工作需要在同一图上对优化器进行训练以进行优化不同，我们提出了一种学**方法，该方法离线训练优化器，然后将其推广到以前看不见的图，而无需进一步训练。这使我们的方法可以在几秒钟（而不是几小时）内在现实世界的TensorFlow图上产生高质量的决策。我们为计算图考虑两个优化任务：最小化运行时间和峰值内存使用。在这两个任务上，我们的方法比经典方法和其他基于学**的方法取得了显着改进。 49.《Projection Based Constrained Policy Optimization》关键词：Safe reinforcement learning、constrained RLHIGHLIGHT：我们提出了一种可以学**满足约束条件的策略，并在有约束条件的强化学**背景下提供理论分析和经验证明的新算法。我们考虑了学**控制策略的问题，这些策略在优化奖励函数的同时，需要满足关于安全、公平或其他成本的约束。我们提出了一种新算法–基于投影的约束策略优化（PCPO），这是一种在两步过程中优化策略的迭代方法–第一步执行无约束更新，第二步通过将策略投射回约束集上来调节违反约束的情况。我们从理论上分析了PCPO，并为每次策略更新提供了奖励改进的下限以及约束违反的上限。我们进一步基于两个不同的指标–L2 norm和Kullback-Leibler pergence–来描述PCPO与投影的收敛性。在几个控制任务上的经验结果表明，我们的算法实现了卓越的性能，与最先进的方法相比，新算法平均减少了3.5倍以上的约束违反，并提高了约15%的奖励。代码：https://sites.google.com/view/iclr2020-pcpo 50.《Infinite-Horizon Differentiable Model Predictive Control》关键词：Model Predictive Control, Riccati Equation, Imitation Learning, Safe LearningHIGHLIGHT：本文提出了一种可微分的线性二次模型预测控制（MPC）框架，用于安全模仿学**。利用从离散时间代数Riccati方程(DARE)中得到的终端成本函数来强制执行Infinite-Horizon成本，从而可证明学**的控制器在闭环中是稳定的。论文的核心贡献之一是推导了DARE解的解析导数，从而允许使用基于微分的学**方法。另一个贡献是MPC优化问题的结构：1.增强的拉格朗日方法确保MPC优化在整个训练过程中是可行的，同时对状态和输入进行硬约束，2.预稳定化控制器确保MPC解和导数在每次迭代中都是准确的。该框架的学**能力在一组数值研究中得到了证明。 51.《Toward Evaluating Robustness of Deep Reinforcement Learning with Continuous Control》关键词：deep learning, robustness, adversarial examplesHIGHLIGHT：我们研究具有对抗性攻击的DRL中的连续控制智能体问题，并基于学**的模型动力学提出了两步算法。DRL在许多以前困难的强化学**任务中取得了巨大成功，但最近的研究表明，类似于分类任务中的DNN，DRL智能体也不可避免地容易受到对抗性干扰。先前工作主要集中在无模型的对抗攻击和具有离散动作的智能体上。在这项工作中，我们研究了具有对抗性攻击的DRL中的连续控制智能体问题，并基于学**的模型动力学提出了第一个两步算法。在各种MuJoCo域（Cartpole，Fish，Walker，Humanoid）上进行的大量实验表明，我们提出的框架在降低智能体性能以及将智能体驱动到不安全状态方面比基于无模型的攻击基准要有效得多。 52.《Meta-learning curiosity algorithms》关键词：meta-learning, exploration, curiosityHIGHLIGHT：通过搜索 a rich space of programs，元学**好奇心算法激发了很多新颖的设计，这些设计可以在非常不同的强化学**领域中通用。我们假设好奇心是一种由进化发现的机制，它鼓励智能体在其生命早期进行有意义的探索，以使其在一生中获得高回报的经验。我们将产生好奇行为的问题表述为元学**的问题：外循环将在好奇机制的空间上搜索，动态调整智能体的奖励信号，内循环将使用调整后的奖励信号进行标准的强化学**。然而，目前基于迁移神经网络权重的元RL方法只在非常相似的任务之间进行了泛化。为了扩大泛化范围，我们提出元学**算法：类似于人类在ML论文中设计的代码片段，我们丰富的程序语言将神经网络与缓冲器、最近邻模块和自定义损失函数等其他构件相结合。我们以实证的方式证明了这种方法的有效性，并发现了两种新型的好奇心算法，它们的性能与人类设计的已发表的好奇心算法相当或更好（实验：grid navigation with image inputs, acrobot, lunar lander, ant and hopper）。代码：https://github.com/mfranzs/meta-learning-curiosity-algorithms 53.《Keep Doing What Worked: Behavior Modelling Priors for Offline Reinforcement Learning》关键词：Off-policy, Multitask, Continuous ControlHIGHLIGHT：我们开发了一种从记录的数据中进行稳定的offline强化学**的方法。关键是针对学**到的数据的“优势加权”数据模型规范RL策略。Off-policy强化学**算法有望适用于只有固定的环境交互数据集(batch)且无法获得新经验的环境中。这一特性使得这些算法对机器人控制等现实世界问题很有吸引力。然而，在实践中，标准的Off-policy算法在连续控制的批处理环境中是失败的。在本文中，我们提出了一个简单算法来解决这个问题。它允许使用由任意行为策略产生的数据，并使用学**到的先验–优势加权行为模型(ABM)–将RL策略偏向于以前已经执行过的、有可能在新任务上成功的动作。我们的方法可被看作是最近批处理RL工作的扩展，它可从冲突的数据源中进行稳定的学**。实验涉及了真实世界机器人的多任务学**。 54.《Model-based reinforcement learning for biological sequence design》关键词：blackbox optimization, molecule designHIGHLIGHT：我们通过序列级智能体奖励函数和基于计数的visitation bonus来增强无模型策略学**，并证明在设计DNA和蛋白质序列时可看到的大批量，low-round的有效性。设计生物结构（如DNA或蛋白质）涉及一个具有挑战性的黑箱优化问题，其特征是由于需要进行劳动密集型的wet lab评估，因此批次大+low-round。对此，我们建议使用基于近端策略优化（PPO）的强化学**（RL）进行生物序列设计。RL为优化生成序列模型提供了灵活框架，以实现特定的标准，例如被挖掘的的高质量序列之间的多样性。我们提出了一种基于模型的PPO变体DyNA-PPO以提高样品效率，算法使用适合先前回合functional measurements的模拟器离线训练新回合的策略。为适应越来越多的跨轮次观察，算法在每个轮次中从容量不同的多种模型中自动选择模拟器模型。在设计DNA转录因子结合位点，设计抗微生物蛋白质以及基于蛋白质结构优化Ising模型的能量的任务上，我们发现DyNA-PPO在可行的建模环境中的性能明显优于现有方法，且在无法学**可靠模型的情况下，效果并没有更差。 55.《Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies》关键词：Meta reinforcement learning, subtask graphHIGHLIGHT：一种新颖的meta-RL方法，可以推断潜在的子任务结构我们提出并解决了一个新颖的few-shot RL问题，其中任务以子任务图为特征，该子任务图描述了智能体未知的一组子任务及其依赖性。智能体需要在适应阶段的几个情节中快速适应任务，以使测试阶段的收益最大化。我们没有直接学**元策略，而是开发了带有子任务图推理（MSGI）的元学**器，该子学**器通过与环境交互来推断任务的潜在参数，并在给定潜在参数的情况下最大化回报。为促进学**，我们采用了固有的奖励方式，该奖励方式受到鼓励有效探索的上限置信度（UCB）的启发。我们在两个grid-world域和StarCraft II环境上的实验结果表明，新方法能够准确推断潜在任务参数， 56.《Never Give Up: Learning Directed Exploration Strategies》关键词：exploration, intrinsic motivationHIGHLIGHT：我们提出了一种强化学**智能体，通过学**一系列的定向探索性策略来解决困难的探索游戏。我们构建了一个基于偶发性记忆的内在奖励，使用k-最近邻对智能体的最近经验进行训练定向探索性策略，从而鼓励智能体反复重访其环境中的所有状态。采用自监督的逆动力学模型来训练最近邻查找的嵌入，将新奇信号偏向于智能体可以控制的方向。我们采用通用价值函数逼近器的框架，用同一神经网络同时学**许多定向探索策略，在探索和利用之间进行不同的权衡。通过对不同程度的探索/利用使用相同的神经网络，证明了从主要的探索性策略转移到有效的利用性策略。新方法可以与现代分布式RL智能体一起运行，这些智能体可以从在不同环境实例上并行运行的许多actors那里收集大量经验。我们的方法在Atari-57 suite中的所有困难探索中的性能是基础智能体的两倍，同时在其余游戏中保持了非常高的分数。值得注意的是，新方法是第一个在不使用demonstrations 或手工制作的特征的情况下，在《Pitfall！》游戏中实现非零奖励的算法（平均分数为8400分）。 57.《Discriminative Particle Filter Reinforcement Learning for Complex Partial observations》关键词：Partial Observability, Differentiable Particle FilteringHIGHLIGHT：我们引入了DPFRL，这是一个通过重要性加权粒子滤波器在部分和复杂观测下进行强化学**的框架。DRL在诸如Atari，Go等复杂游戏的决策中是成功的。但是，现实世界中的决策通常需要推理，并从复杂的视觉观察中提取部分信息。本文介绍了判别式粒子滤波强化学**（DPFRL），这是一种用于复杂局部观测的新型强化学**框架。DPFRL对神经网络策略中的可微分粒子滤波器进行编码，以进行显式推理，并随时间进行部分观测。粒子滤波器使用学**的判别式更新来维持信念，该判别式更新经过端到端的训练以用于决策。实验表明，使用可微分更新而不是标准生成模型可以显着提高性能，尤其对于具有复杂视觉观察的任务，因为它们避免了建模与决策无关的复杂观测的困难。另外，为了从粒子信念中提取特征，我们基于矩生成函数提出了一种新型的信念特征。在现有的POMDP RL基准测试《Natural Flickering Atari》游戏中，DPFRL优于最新的POMDP RL模型；此外，DPFRL在Habitat环境中使用真实数据进行视觉导航时表现出色。 58.《Episodic Reinforcement Learning with Associative Memory》关键词：Episodic Control, Episodic Memory, Associative Memory, Non-Parametric Method, Sample EfficiencyHIGHLIGHT：样本效率一直是深度强化学**的主要挑战之一。研究者已提出非参数 episodic control，通过快速锁定先前成功的策略来加速参数强化学**。但是，以前的episodic强化学**工作忽略了状态之间的关系，仅将经验存储为不相关的项。为提高强化学**的样本效率，我们提出了一个新颖的框架——带有联想记忆的episodic强化学**（ERLAM），该框架将相关的经验轨迹关联起来，以支持推理有效的策略。我们基于状态转换在内存中的状态之上构建图形，并开发反向轨迹传播策略以允许值通过图形快速传播。我们使用非参数联想记忆作为参数强化学**模型的早期指导。Navigation domain和Atari游戏的结果表明，与最新的带有联想记忆的episodic强化学**模型相比，我们的框架实现了更高的样本效率。 59.《Sub-policy Adaptation for Hierarchical Reinforcement Learning》关键词：Hierarchical Reinforcement Learning, Transfer, Skill DiscoveryHIGHLIGHT：我们提出了HiPPO，这是一种稳定的分层强化学**算法，可以同时训练多个层次的层次结构，从而在技能发现和适应方面均具有良好的表现。分层强化学**是解决稀疏奖励的长期决策问题的一种有前途的方法。不幸的是，大多数方法仍然使较低级别的技能获取过程与控制新任务中技能的较高级别的训练脱钩。保持技能固定会导致转移设置中出现明显的次优状态。在这项工作中，我们提出了一种即使在接受新任务训练时也可不断将其与更高的水平相适应的发现一组技能的新颖算法。主要贡献：首先，我们推导了一个新的潜在依赖基线的无偏分层策略梯度，并引入了分层近端策略优化（HiPPO），这是一种有效联合训练分层结构各个级别的基于策略的方法。第二，我们提出了一种训练time-abstractions的方法，可以提高所获技能对环境变化的鲁棒性。代码和视频在 https://sites.google.com/view/hippo-rl 。代码：https://anonymous.4open.science/r/de105a6d-8f8b-405e-b90a-54ab74adcb17/本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
责任编辑：德勤钢铁网 标签：

热门搜索

三级螺纹钢有哪些型号规格？怎么挑

三级螺纹钢和三级抗震的区别是什么

x四代土影黑土腿中间

废文网李鬼分站的安安静静备胎计划

一级二级三级螺纹钢用途有什么区别

2023年新电费收费标准？公布2023年

相关文章

广告
诚聘英才|关于我们|广告服务|合作伙伴|法律声明|征稿启事|网站地图|友链申请
渝ICP备2023009091号-71

钢结构钢钢网是钢铁行业的门户网站，涵盖螺纹钢、钢管、中厚板、型钢、涂镀、优特钢、钢绞线等品种，包含今日钢材价格最新行情走势、今日螺纹钢价格、钢铁市场、钢铁行业分析等信息,为钢企提供最新的钢材价格行情资讯。
免责声明：本站部分信息来自互联网，并不带表本站观点！若侵害了您的利益，请联系我们及时删除！
德勤钢铁网 |市场分析

iclr2021 openreview，iclr open review

chanong

|

“若听运河清澈，流水之源便现。”学**前沿领域知识、从其他研究领域获得灵感、更清晰地理解研究问题的本质是取之不尽、用之不竭的资源。信息来源。自我完善。为此，我们特意精选文章阅读笔记，帮助您广泛深入地阅读科研文献，打造“活水之源”专栏，敬请关注。

作者：Mochen-Fan Hanchie

地址：https://www.zhihu.com/people/huang-han-chi-15

https://medium.com/@iclr_conf/ourhatata-the-reviewing-process-and-research-shaping-iclr-in-2020-ea9e53eb4c46 这是包含非强化学**论文的词云图

01 多次出现的关键词：多智能体、分层强化学**/技能发现、探索、对抗性、元强化学**、元学**、迁移/泛化、进化、图/GNN/GCN、推理、内在奖励/好奇心、生成式、模仿学**，稳健，

采样效率/估计、基于模型、离策略、课程学**、安全/约束学**

02 ICLR 202 强化学**Top 10 论文

https://analyticsindiamag.com/top-10-reinforcement-learning-papers-from-iclr-2020/

1| 图卷积强化学**

2| 衡量强化学**算法的可靠性

3| 强化学**行为套件

4| 现实世界机器人强化学**的要素

5| 网络随机化： 深度强化学**中泛化的简单技术

6| 关于神经机器翻译强化学**的弱点

7| 基于强化学**的图序列模型，用于自然问题生成

8| 对抗性策略： 对深度强化学**的攻击

9| 使用强化学**发现因果关系

10| Atari 基于模型的强化学**

03 Text 1.《Posterior sampling for multi-agent reinforcement learning: solving extensive games with imperfect information》 关键词：MARL、后采样、博弈论HIGHLIGHT: 对于非平滑、非凸函数，梯度裁剪可能会加速梯度下降。强化学**事后抽样(PSRL) 是一个帮助您在未知环境中做出决策的框架。 PSRL 维护环境的后验分布并规划从后验分布中采样的环境。尽管PSRL 对于单智能体强化学**问题表现良好，但将PSRL 应用于多智能体强化学**问题尚未得到探索。在本研究中，我们将PSRL 扩展到不完全信息的两人零和博弈（TEGI），这是一类多智能体系统。更具体地说，我们将PSRL 与Counterfactual Regret Minimization (CFR) 结合起来，这是TEGI 在已知环境中的主要算法。我们的主要贡献在于交互策略的全新设计，这为算法提供了良好的理论和实验保证。

2.《Dynamics-Aware Unsupervised Skill Discovery》 关键词：无监督学**、基于模型的学**、分层强化学**HIGHLIGHT: 我们提出了一种无监督技能发现方法，可以实现基于模型的分层强化学**规划。传统上，基于模型的强化学**（MBRL）旨在学**环境动态的全局模型。好的模型允许规划算法生成不同的行为并可能解决不同的任务。然而，学**复杂动力系统的准确模型仍然很困难，即使可以，该模型也可能无法推广到超出其训练状态分布的范围。在这项工作中，我们将基元的基于模型的学**和无模型学**结合起来，以促进基于模型的规划。我们要回答的问题是：如何找到结果容易预测的技能？为了实现这一目标，我们提出了动态感知技能发现（DADS），这是一种无监督学**算法，可以发现可预测的行为并同时学**其动态。理论上，我们的方法可以利用连续的技能空间，甚至在高维状态空间中学**无限多种行为。在学**的潜在空间中进行逐步规划显着优于标准MBRL 和无模型目标条件RL，可以处理稀疏奖励任务，并改进现有的无监督技能发现方法。我们证明了分层RL 技术可以得到显着改进。代码：https://github.com/google-research/dads

3.《Harnessing Structures for Value-Based Planning and Reinforcement Learning》 关键词：基于价值的强化学**亮点：我们提出了一个通用框架，可以在规划和深度强化学**中利用低阶结构。在本文中，我们建议开发用于规划和DRL 的状态动作价值函数（即Q 函数）基础设施。如果底层系统的动态导致Q 函数的某种全局结构，我们应该能够通过利用这种结构更好地推断该函数。具体来说，我们研究大数据矩阵中普遍存在的低秩结构，并凭经验验证低秩Q 函数在控制和DRL 任务中的存在。通过利用矩阵估计（ME）技术，我们提出了一个通用框架来利用Q 函数的底层低秩结构。这为经典控制提供了更有效的规划过程，并且还允许将简单的方案应用于基于值的RL 技术，以在“低等级”任务上始终获得更好的性能。对控制任务和Atari 游戏的广泛实验证实了我们方法的有效性。代码：https://github.com/YyzHarry/SV-RL

4.《Causal Discovery with Reinforcement Learning》 关键词：因果发现、结构化学**、强化学**、有向无环图亮点：将强化学**应用于基于分数的因果发现，在合成数据集和真实数据集上都取得了有希望的结果。在本文中，华为诺亚方舟研究院因果关系研究团队将强化学**应用于打分方法的因果发现算法中，并使用基于自注意力机制的编码器-解码器的神经网络模型来确定关系数据之间的关系进行调查并与因果结构相结合。设置条件，利用策略梯度强化学**算法训练神经网络参数，最终得到因果图结构。对于学术界常用的一些数据模型，该方法在中等大小的图上优于其他方法，例如传统的因果关系发现算法和更新的基于梯度的算法。同时，该方法非常灵活，可以与任何评分函数结合使用。

5.《SEED RL: Scalable and Efficient Deep-RL with Accelerated Central Inference》 关键词：机器学**、可扩展性、分布式、DeepMind Lab、ALE、Atari-57、Google Research Football 我们提供最先进的可扩展强化学**，称为SEED（可扩展、高效深度强化学**）代理。 我是。通过有效利用现代加速器，算法不仅可以每秒数百万帧进行训练，还可以降低成本。与当前方法相比，我们通过具有集中推理和优化通信层的简单架构来实现这一目标。 SEED 采用两种现代分布式算法：IMPALA/V-trace（策略梯度）和R2D2（Q 学**），并在Atari-57、DeepMind Lab 和Google Research Football 上对其进行评估。新算法水平高、成本低。代码：https://drive.google.com/file/d/144yp7PQf486dmctE2oS2md_qmNBTFbez/view

6.《Is a Good Representation Sufficient for Sample Efficient Reinforcement Learning》 关键词：函数逼近、下界、表达式亮点：函数逼近的基于值和基于策略的强化学**的指数下界。

7.《Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning》 关键词：多智能体RL，心智理论亮点：开发了一个简化的动作解码器，一个简单的MARL算法，在2-5人游戏中可以明显优于Hanabi的SOTA。在被他人观察的同时学会变得有用是强化学**（RL）中的一个有趣的挑战。强化学**本质上需要智能体进行探索，以便发现好的策略，但是当简单地进行探索时，其随机性本质上导致智能体在训练过程中的行为与其他智能体不同，给出的信息较少。我们提出了一种新的深度多智能体强化学**方法—— 简化动作解码器（SAD）。它通过增加强化训练阶段来解决这一矛盾。 SAD 允许其他智能体不仅可以观察自己选择的（探索性）行为，还可以观察队友在训练期间的贪婪行为。本文将这种简单的直觉与辅助任务和状态预测的多智能体学**的最佳实践相结合。代码：https://bit.ly/2mBJLyk

8.《Behaviour Suite for Reinforcement Learning》 关键词：基准、核心问题、可扩展性、可重复性亮点：Bsuite 是一系列精心设计的实验的集合，用于研究RL 智能体的核心功能。代码：https://github.com/deepmind/bsuite

9.《Model Based Reinforcement Learning for Atari》 关键词：基于模型的RL、视频预测模型、atariHIGHLIGHT：视频预测模型、基于模型的强化学**算法、每场游戏2小时的游戏时间来训练26个Atari游戏代理。在本文中，我们探讨了如何使用视频预测模型来使代理能够以比无模型方法更少的交互来解决Atari 游戏。我们尝试了几种概率视频预测技术，包括基于离散潜在变量的新模型，并利用这些视频预测技术来模拟学**模型来训练要在游戏中执行的策略。提出了一种称为模拟策略学**（SimPLe）的方法。代码：http://bit.ly/2wjgn1a

10.《Measuring the Reliability of Reinforcement Learning Algorithms》 关键词：指标、统计、可靠性亮点：用于测量强化学**算法可靠性（训练期间和学**后（基于固定策略））的一组新指标（+随附的统计测试）侧重于两者波动性）和风险）代码：https://github.com/google-research/rl-reliability-metrics

11.《The Ingredients of Real World Robotic Reinforcement Learning》 关键词：机器人亮点：通过强化学**学**现实世界机器人任务的免工具系统。本文介绍了将RL 部署到真实物理机器人系统的实际问题和解决方案，包括使用原始感官数据、创建奖励函数以及在情节结束时不重置的问题。

12.《Maximum Likelihood Constraint Inference for Inverse Reinforcement Learning》 关键词：从演示中学**、逆向强化学**、约束推理亮点：使用最大熵原理来量化演示与预期无约束行为之间的差异、任务执行约束推理。我们根据马尔可夫决策过程（MDP）重新表述了IRL 问题。在那里，给定环境的名义模型和名义奖励函数，我们尝试估计激发代理良好行为的环境、行为和特征约束。我们的方法基于最大熵IRL 框架，这使我们能够根据我们对MDP 的了解来推断专家代理进行演示的可能性。新算法使我们能够估计哪些约束可以添加到MDP 中，以最大限度地提高观察这些演示的可能性。新算法迭代地推断出最能解释观察到的行为的最大似然约束，并使用模拟行为和人类绕过�**锏募锹际堇床馐云溆行浴４耄篽ttps://drive.google.com/drive/folders/1pJ7o4w4J0_dpldTRpFu_jWQR8CkBbXw

13.《Improving Generalization in Meta Reinforcement Learning using Neural Objectives》 关键词：元强化学**，元学**亮点：我们引入了一种新的元强化学**算法，MetaGenRL。与之前的工作不同，MetaGenRL 可以推广到与元训练完全不同的新环境。生物进化将许多学**者的经验提炼成人类通用的学**算法。我们新的元强化学**算法MetaGenRL 就是受到这个过程的启发。 MetaGenRL 提取许多复杂智能体的经验来元学**低复杂度的神经目标函数，该函数决定个人未来的学**方式。与最近的元强化学**算法不同，MetaGenRL 可以推广到与元训练完全不同的新环境。在某些情况下，它甚至可以超越手动设计的强化学**算法。 MetaGenRL 在元训练期间使用离策略二次梯度。这大大提高了采样效率。

14.《Making Sense of Reinforcement Learning and Probabilistic Inference》 关键词：概率推理、不确定性、探索亮点：“RL 作为推理”中的常见算法忽略了不确定性和探索的作用。我们强调这些问题的重要性，并提出了一个一致的强化学**和推理框架，以正确处理不确定性和探索。强化学**（RL）结合了控制问题和统计推断。智能体不知道系统的动态，但可以通过经验进行学**。最近的工作提出了一个名为“强化学**推理”的具体框架，它将强化学**问题推广到概率推理。在我们的论文中，我们揭示了这种方法的主要缺点，并解释了使RL 一致地推广到推理问题的含义。特别是，强化学**智能体必须考虑探索和利用之间的权衡。除了最简单的设置之外，在所有设置中，推理在计算上都很困难，因此真正的强化学**算法必须依赖于近似技巧。我们证明，即使对于非常基本的问题，常见的“强化学**作为推理”近似也会降低性能。然而，我们表明，只需进行少量修改，该框架就可以产生具有明显优越性能的算法，并且我们表明，新算法相当于最近提出的K-learning，它与Thompson 采样相关。

15.《Reinforcement Learning Based Graph-to-Sequence Model for Natural Question Generation》 关键词：深度学**、图神经网络、自然语言处理、问题生成亮点：自然问题生成（QG）旨在根据句子和答案生成问题。先前关于QG 的研究（i）忽略了隐藏在文本中的丰富结构信息，（ii）仅依赖交叉熵损失，这导致了暴露偏差和训练/测试测量之间不匹配等问题。或者（iii）使大部分响应信息。为了解决这些限制，我们针对QG 问题提出了一种新的基于RL 的GrappSeq 模型。在此模型中，高效的深度对齐网络利用响应信息。我们还提出了一种新的双向GNN 来处理有向通道图。我们的两步训练策略受益于基于交叉熵和基于增强的序列训练。我们还考虑从文本构建静态和动态图，并系统地调查和分析两者之间的性能差异。代码：https://github.com/hugochan/RL-based-GrappSeq-for-NQG

16.《On the Weaknesses of Reinforcement Learning for Neural Machine Translation》 关键词：MRT、最小风险训练、强化、机器翻译、Peakkinesity、生成亮点：提高机器翻译性能的强化实践可能不会来自更好的预测。摘要：强化学**（RL）通常用于提高文本生成任务（包括机器翻译）的性能，特别是通过使用最小风险训练（MRT）和生成对抗网络（GAN）。然而，人们对这些方法在MT 背景下学**什么以及如何学**知之甚少。最常见的MT RL 技术之一并不能优化预期回报，而其他技术则被证明过于耗时。事实上，实验结果表明，只有当预训练参数已经接近产生正确翻译时，使用MT 练**RL 才可能提高性能。我们的研究结果进一步表明，观察到的增益可能是由于与训练信号无关的影响，例如分布曲线形状的变化。

17.《SQIL: Imitation Learning via Reinforcement Learning with Sparse Rewards》 关键词：模仿学**亮点：对抗性模拟学**的简单有效替代方案：通过演示初始化经验重放缓冲区，并将奖励设置为+1，将所有其他数据奖励设置为0 配置并运行Q Learning 或软件。演员和评论家培训。从模仿中学**模仿专家的行为可能很困难，特别是在高维度、连续观察和未知动态的环境中。基于行为克隆（BC）的监督学**方法存在分布转移问题。由于智能体贪婪地模仿所演示的动作并积累错误，因此它可能会偏离所演示的状态。最近基于强化学**(RL) 的方法，例如逆向RL 和生成对抗性模仿学**(GAIL)，通过训练RL 代理随着时间的推移匹配演示来克服这个问题。由于任务的真实奖励函数是未知的，这些方法通常通过使用复杂且弱的近似技术和对抗性训练的演示来学**奖励函数。我们提出了一个简单的替代方案，仍然使用强化学**，但不需要学**奖励函数。关键思想是鼓励代理在遇到新的交付状态时返回到演示状态，从而鼓励他们随着时间的推移匹配演示。为了实现这一目标，我们为代理提供恒定奖励r=+ 1 以匹配演示状态下的演示动作，并为所有其他动作提供恒定奖励r=0。新算法Soft-Q 模仿学**(SQIL) 可以通过对标准Q 学**算法或策略松弛Actor-Critic 算法进行轻微修改来实现。我们从理论上证明，SQIL 可以解释为BC 的正则化变体，它在鼓励长期模仿之前使用稀疏性。在Box2D、Atari 和MuJoCo 上的各种基于图像的低维任务上，SQIL 的性能优于BC，并且与GAIL 相比获得了有竞争力的结果。本文主要演示了具有恒定奖励的简单的基于强化学**的模仿技术如何与使用学**奖励的更复杂的技术一样有效。

18.《AutoQ: Automated Kernel-Wise Neural Network Quantization》 关键词：AutoML、kernel-wise 神经网络量化、分层深度强化学**亮点：使用分层深度强化学**实现混合精度的准确、快速、自动化的kernel-wise 神经网络量化。在本文中，我们提出了AutoQ，一种基于分层DRL 的基于内核的网络量化技术，它自动为每个权重内核搜索QBN，并为每个激活层选择不同的QBN。与最先进的基于DRL 的量化模型相比，采用AutoQ 量化的同一模型在实现相同推理精度的同时，推理延迟平均降低了54.06%，推理能耗降低了50.69%。

19.《SVQN: Sequential Variational Soft Q-Learning Networks》 关键词：POMDP、变分推理、生成模型亮点：SVQN 在统一图模型下形式化隐藏状态推理和最大熵强化学**，并联合优化两个模块。部分可观察马尔可夫决策过程(POMDP) 是一种灵活的模型，在现实世界的决策应用中很受欢迎，这些应用需要来自过去观察的信息来做出最佳决策。用于解决马尔可夫决策过程(MDP) 任务的标准强化学**算法不适合，因为它们无法推断未观察到的状态。在本文中，我们在统一图模型下形式化了隐藏状态推理和最大熵强化学**（MERL），并开发了一种新的POMDP 算法，联合优化这两个模块—— 提出了序列变分软Q 学**网络（SVQN）。此外，我们设计了深度循环神经网络来降低算法的计算复杂度。实验结果表明，SVQN 利用过去的信息来支持决策，进行有效的推理，并且在一些困难任务上优于其他基线。我们的消融研究表明，SVQN 具有随时间推移进行泛化的能力，并且对观察到的扰动具有鲁棒性。

19.《Observational Overfitting in Reinforcement Learning》 关键词：观察、过拟合、泛化、隐式、正则化、过参数化亮点：本文提出了一种分析RL 状态空间不相关部分过拟合的方法，并且我们提出了一种测量误差框架的方法。无模型强化学**(RL) 中过度拟合的主要症状：代理可能会根据马尔可夫决策过程(MDP) 生成的观察结果错误地将奖励与某些虚假特征关联起来。我们提供了一个分析这种情况的总体框架。这用于通过简单地改变MDP 的观察空间来设计多个综合基准。当代理过度模拟时

合到不同的观察空间时，即使底层的MDP动态是固定的，我们仍称之为观察过度拟合。我们的实验揭示了一些有趣属性（尤其在隐式正则化方面），并证实了以前在RL泛化和监督学**（SL）中的工作结果。 20.《Multi-agent Reinforcement Learning for Networked System Control》关键词：multi-agent reinforcement learning, decision and controlHIGHLIGHT：本文针对网络化多智能体控制问题提出了新提法和新的通信协议。本文考虑了网络系统控制中的多智能体强化学**（MARL）。具体来说，每个智能体都基于本地观察和来自相邻邻居的消息来学**分散控制策略。我们将这种网络化的MARL（NMARL）问题公式化为时空马尔可夫决策过程，并引入空间折扣因子来稳定每个本地Agent的训练。此外，我们提出了一种新的可微分通信协议，称为NeurComm，以减少NMARL中的信息丢失和非平稳性。在实际的NMARL自适应交通信号控制和协同自适应巡航控制场景下的实验基础上，适当的空间折现因子可以有效地增强非通信MARL算法的学**曲线，代码：https://github.com/cts198859/deeprl_network 21.《Learning the Arrow of Time for Problems in Reinforcement Learning》关键词：Arrow of Time, AI-SafetyHIGHLIGHT：我们研究了MDP的Arrow of Time，用它来衡量可及性，检测副作用并获得好奇心奖励信号。人类对时间的不对称发展有着天生的理解，我们可用它来高效、安全地感知和操纵环境。受此启发，我们解决了在马尔可夫（决策）过程中学**Arrow of Time的问题。我们将说明学**的Arrow of Time如何捕获有关环境的重要信息，这些信息又可以用于衡量可达性，检测副作用并获得内在的奖励信号。最后，我们提出一种简单有效的算法来参数化当前问题，并使用函数逼近器（此处为深度神经网络）学**Arrow of Time。我们的经验结果涵盖了离散和连续环境的选择，代码： https://www.sendspace.com/file/0mx0en 22.《Reinforcement Learning with Competitive Ensembles of Information-Constrained Primitives》关键词：Variational Information Bottleneck, Learning primitivesHIGHLIGHT：学**隐式的主策略，因为HRL中的主策略可能无法推广。与许多当前的分层强化学**方法相反，作者提出了一种学**低级策略的去中心化方法，这些低级策略自己决定是否在当前状态下行动，而不是由一个中心化的更高级别的元策略在低级策略之间进行选择。 分层强化学**将策略分解为较低级别的原语或option，以及将较高级别的元策略分解为针对给定情况触发适当行为的策略。但是，元策略仍必须在所有状态中做出适当的决定。在这项工作中，我们提出了一种可分解为不同原语但没有高级元策略的策略设计。每个原语可自己决定是否希望在当前状态下执行操作。我们使用信息理论机制来实现此分散决策：每个原语都会选择需要多少有关当前状态的信息来做出决定，一般来说原语会希望请求有关当前状态的最多信息。但比较信息有限嘛，有时我们需要对原语进行regularization以使用尽可能少的信息，这会导致自然竞争和专业化。我们通过实验证明，新的策略体系结构在泛化方面比flat策略和分层策略都有所改进。 23.《Exploration in Reinforcement Learning with Deep Covering Options》（poster）关键词：temporal abstraction, explorationHIGHLIGHT：我们介绍了一种可自动发现task-agnostic options，从而鼓励强化学**中的探索的方法。目前加速强化学**中的探索的方法常常是启发式的。近年来，研究者提出了covering options以发现一组可证明地减少环境覆盖时间上限的options，这是探索难度的一种度量。Covering options是使用图拉普拉斯图的特征向量计算的，但它们受制于表格任务，不适用于具有较大或连续状态空间的任务。对此，我们介绍了deep covering options，这是一种在线方法，可将覆盖范围扩展到大型状态空间，自动发现task-agnostic options以鼓励探索。 24.《Logic and the 2-Simplicial Transformer》（poster）关键词：transformer, logic, reasoningHIGHLIGHT：我们介绍了2-simplicial Transformer，它是Transformer的扩展，包括了一种泛化点积注意力的高维注意力形式，并使用这种注意力来更新实体表征与价值向量的张量积。我们表明，这种架构是深度强化学**背景下逻辑推理的一个有用的归纳偏向。Review：本文扩展了Transformer，实现了高维注意机制，将点积注意推广了。Reviewer3认为，将注意机制从二阶关系扩展到三阶关系是一个重要的提升，mathematical context具有洞察力，且可能导致进一步的潜在发展。代码：https://github.com/dmurfet/2simplicialtransformer 25.《Watch, Try, Learn: Meta-Learning from Demonstrations and Rewards》关键词：meta-learning, imitation learningHIGHLIGHT：本文提出了一种元学**方法，该方法可以从Demonstrations和后续的RL任务中学**。模仿学**使智能体可从演示中学**复杂的行为。但是，学**基于视觉的复杂任务可能需要不切实际的Demonstrations。元模仿学**是一种有前途的方法，它可使智能体通过利用学**类似任务的经验，从一个或几个Demonstrations中学**新任务。在任务模棱两可或观察不到动态的情况下，仅凭Demonstrations可能无法提供足够的信息。智能体还必须尝试执行任务以成功推断策略。在这项工作中，我们提出了一种可以从Demonstrations和反复试验的经验中学**并具有稀疏奖励反馈的方法。与元模仿相比，此方法使智能体能有效improve itself autonomously beyond the demonstration data。与元强化学**相比，由于Demonstrations减轻了探索负担，因此我们可以扩展到更广泛的任务分配。实验表明，在一系列具有挑战性的基于视觉的控制任务上，我们的方法明显优于以前的方法。代码：https://drive.google.com/open id=1f1LzO0fe1m-kINY8DTgL6JGimVGiQOuz 26.《Adversarial Policies: Attacking Deep Reinforcement Learning》关键词：adversarial examples, security, multi-agentHIGHLIGHT：DRL策略可能会受到其他智能体采取行动以创建具有对抗性的自然观察的攻击。众所周知，DRL策略容易受到其观测值的对抗性扰动，类似于分类器的对抗性例子。然而，攻击者通常无法直接修改另一个智能体的观测值。这可能会导致人们怀疑：是否有可能仅仅通过选择一个在多智能体环境中作用的对抗性策略来攻击一个RL智能体，从而创造出对抗性的自然观测值？我们证明了在具有本体观测的模拟人形机器人之间的零和游戏中存在对抗性策略，它用于对抗通过自我游戏训练成的最先进受害者，使其对对手具有鲁棒性。对抗性策略可靠地赢了受害者，但产生了看似随机和不协调的行为。我们发现，这些策略在高维环境中更成功，并在受害者策略网络中诱导出与受害者和普通对手对弈时实质不同的激活。视频见adversarialpolicies.github.io 。代码：https://github.com/humancompatibleai/adversarial-policies 27.《Population-Guided Parallel Policy Search for Reinforcement Learning》关键词：Parallel Learning, Population Based LearningHIGHLIGHT：本文提出了一种multi-actor RL的新方法，该方法通过以柔和的方式提炼表现最佳的智能体的策略并在智能体之间保持一定距离来确保角色群体的多样性和绩效。作者显示，与几种最先进的单actor算法和其他几种multi-actor RL算法相比，新算法性能有所改善。 本文提出了一种新的以Population为导向的并行学**方案，以提高off-policy强化学**（RL）的性能。在新方案中，具有相同价值函数和策略的多个相同的学**者共享一个经验重播缓冲区，并在最佳策略信息的指导下协作搜索一个好的策略。关键是通过构建用于策略更新的增强损失函数以扩大多个学**者的整体搜索范围，从而以一种**soft**的方式**融合最佳策略的信息**。通过先前最佳策略的指导和扩大范围，我们可以更快更好地进行策略搜索，并且从理论上证明所提出方案的累积回报期望的单调提高。 28.《Learning Efficient Parameter Server Synchronization Policies for Distributed SGD》关键词：Distributed SGD, Paramter-Server, Synchronization PolicyHIGHLIGHT：我们采用基于强化学**的方法来学**用于Parameter Server-based distributed training of SGD的最佳同步策略。我们应用基于强化学**的方法来学**最佳同步策略，该策略用于Parameter Server-based distributed training of SGD。通过在PS设置中使用正式的同步策略，我们能够得出状态和动作的合适且紧凑的描述，从而使用标准的现成DQN算法。结果，我们能够学**适用于不同集群环境，不同训练数据集和较小模型变化的同步策略，并且（最重要的是）与标准策略（如批量同步并行（BSP），异步并行（ASP）或陈旧的同步并行（SSP））相比，新模型大大减少了训练时间且学**到的策略普遍适用于多种unseen cases。 29.《Finding and Visualizing Weaknesses of Deep Reinforcement Learning Agents》关键词：Visualization, SafetyHIGHLIGHT：我们生成经过训练的RL算法的临界状态，以可视化潜在的缺陷。随着由视觉感知驱动的深度强化学**变得越来越广泛，我们越来越需要更好地理解和探究所学**的智能体。了解决策过程及其与视觉输入的关系对于识别学**行为中的问题非常有价值。但是，这个话题在研究界相对未被充分研究。在这项工作中，我们提出了一种为受过训练的智能体合成感兴趣的视觉输入的方法。这样的输入或状态可能是需要采取特定行动的情况。此外，能够获得非常高/低报酬的临界状态通常对于理解系统的态势感知有帮助，因为它们可对应于危险状态。为此，我们学**了环境状态空间上的生成模型，并使用其潜在空间为目标状态优化了目标函数。实验中，我们证明了这种方法可为各种环境和强化学**方法提供insights。我们在标准的Atari基准游戏以及自动驾驶模拟器中探索结果，发现新算法能够加快识别行为缺陷的效率。我们相信这种通用方法可作为AI安全的重要工具。 30.《Option Discovery using Deep Skill Chaining 》关键词：Hierarchical Reinforcement Learning, Skill Discovery, Deep LearningHIGHLIGHT：我们提出了一种新的层次强化学**算法，该算法比非层次智能体和其他最新的技能发现技术更可靠地解决了面向高维度目标的任务。自主发现在时间上扩展的动作或技能是分层强化学**的长期目标。我们提出了一种将技能链与DNN相结合的新算法，以自主发现高维连续领域中的技能。最终的算法，即深层次的技能链，可通过执行一种特性从而使智能体能够执行另一种特性来构建技能。我们证明，在挑战性的连续控制任务中，深度技能链显着优于非层次智能体和其他最新技能发现技术。代码: https://github.com/deep-skill-chaining/deep-skill-chaining 31.《Dynamical Distance Learning for Semi-Supervised and Unsupervised Skill Discovery》关键词：semi-supervised learning, unsupervised learning, robotics, deep learningHIGHLIGHT：我们展示了如何在强化学**环境中自动学**动态距离，并使用它们来提供形状良好的奖励函数，以实现新的目标。强化学**需要手动指定奖励函数才能学**任务。虽然原则上该奖励函数仅需指定任务目标，但在实践中，强化学**可能非常耗时甚至不可行，除非奖励函数的形状能够为成功的结果提供一个平滑的梯度。我们很难手动指定此shaping，特别当从原始观察值（例如图像）中学**任务时。在本文中，我们研究了如何自动学**动态距离：衡量从任何其他状态到给定目标状态的预期时间步长的量度。这些动态距离可用于提供形状良好的奖励函数，以实现新的目标，从而有可能有效地学**复杂任务。我们表明动态距离可以用于半监督状态，其中与环境的无监督交互用于学**动态距离，而少量的偏好监督用于确定任务目标，而无需任何人工设计的奖励函数或目标示例。我们在真实世界的机器人和仿真中都评估了新方法。我们展示了新方法可以使用原始的有9个自由度的手来学**如何转动阀门（使用原始图像观察结果和十个偏好标签，而无需任何其他监督）。学**技能的视频见： https://sites.google.com/view/dynamical-distance-learning 32.《Reinforced active learning for image segmentation》关键词：semantic segmentation, active learningHIGHLIGHT：通过强化学**来学**标签策略，以减少语义分割任务的标签工作量。基于学**的语义分割方法有两个固有挑战。首先，获取element-wise的标签是昂贵和耗时的。第二，现实的分割数据集是高度不平衡的：一些类别比其他类别丰富得多，使性能偏向于最具代表性的类别。在本文中，我们感兴趣的是将人类的标签工作集中在一个更大的数据池中的小子集上，最小化标签工作所需努力，同时最大化分割模型在保持hold-out set上的性能。我们提出了一种新的基于DRL的语义分割的主动学**策略。一个agent学**一个策略，从一个未标记的数据池中选择一个小的信息图像区域子集–（与整个图像相对）–进行标记。区域选择决定是基于正在训练的分割模型的预测和不确定性做出的。新方法提出了一种新的主动学**的DQN公式的修改，使其适应语义分割问题的大规模性质。我们在CamVid中测试了概念证明，并在大规模数据集Cityscapes中提供了结果。在Cityscapes中，我们的RL region-based DQN方法比最有竞争力的基线所需的额外标记数据少了大约30%而性能相同。此外，与基线相比，我们的方法询问了更多代表性不足的类别的标签，提高了它们的性能，并有助于缓解类不平衡现象。 32.《CAQL: Continuous Action Q-Learning》关键词：DQN, Continuous control, Mixed-Integer Programming (MIP)HIGHLIGHT：用于持续控制的基于价值的强化学**的一般框架。基于价值的强化学**方法（如Q学**）已在各领域（如游戏和推荐系统）中取得了成功。当动作空间有限时，这些算法通过学**最优值函数隐式地找到策略，效果不错。但是，扩展Q学**以解决连续动作RL问题的一个主要挑战是获得最佳Bellman backup需要解决连续动作最大化（max-Q）问题。虽然为了简化max-Q问题，通常限制Q函数的参数化关于动作是凹的，但这种限制可能会导致性能下降。而且，当使用通用前馈神经网络（NN）对Q函数进行参数化时，max-Q问题可能是NP-难问题。在这项工作中我们提出了CAQL方法，该方法使用Q学**和几个即插即用的动作优化器之一来最小化Bellman残差。特别地，利用DNN中优化理论的进步，我们表明可以使用混合整数编程（MIP）来最佳解决max-Q问题-当Q函数具有足够的表示能力时，这种基于MIP的优化诱导出更好的策略，并且比近似于max-Q解决方案的对等策略（如CEM或GA）更强大。为加快CAQL的培训，我们开发了三种技术（i）动态容差，（ii）双重过滤和（iii）聚类。为加快CAQL的inference，我们引入了同时学**最优策略的action function。为证明CAQL的有效性，我们将其与最新的RL算法在具有不同程度动作约束的基准连续控制问题上进行了比较，并表明CAQL在严重受限的环境中明显优于基于策略的方法。 33.《Learning Heuristics for Quantified Boolean Formulas through Reinforcement Learning》 (Poster)关键词：Logic, QBF, Logical Reasoning, SAT, Graph, GNNHIGHLIGHT：我们使用RL在最新的QBF求解器中自动学**有关工业问题的分支启发法。我们演示了如何通过深度强化学**为量化的布尔公式的自动推理算法学**有效的启发式算法。我们专注于回溯搜索算法，该算法已经可以解决令人印象深刻的多达数十万变量的公式。主要挑战是找到这些公式的表示形式，以使其可扩展地进行预测。对于一系列具有挑战性的问题，我们学**了一种启发式算法，与现有的手写启发式算法相比，它可以解决更多的公式。（PS：这篇在RL技巧上倒没啥很亮的点，主要是把Quantified Boolean Formulas的自动推理转化为MDP尔尔~） 34.《AMRL: Aggregated Memory For Reinforcement Learning》 (Poster)关键词：deep learning, rl, memory, noise, machine learningHIGHLIGHT：在DRL中，可将order-invariant函数与标准存储模块结合使用，以改善梯度衰减和抗噪声能力。在许多部分可观察的方案中，RL智能体必须依靠长期记忆才能学**最佳策略。我们证明，由于来自环境和探索的随机性，使用来自NLP的技术和监督学**在RL任务上失败了。利用我们对RL中传统存储方法局限性的见解，我们提出了AMRL，这是一类可以学**更好的策略、具有更高的采样效率，并且对噪声输入具有弹性的模型。具体来说，我们的模型使用标准内存模块来总结短期context，然后从标准模型中汇总所有先前状态，而不考虑顺序。我们表明，这在梯度衰减和随时间变化的信噪比方面均具有优势。我们在Minecraft和迷宫环境中进行评估以测试长期记忆， 35.《CM3: Cooperative Multi-goal Multi-stage Multi-agent Reinforcement Learning》关键词：multi-agent reinforcement learningHIGHLIGHT：一种用于完全协作的多目标多智能体强化学**的模块化方法，该方法基于课程学**，可进行有效的探索并为行动目标互动分配功劳。 各种合作的多智能体控制问题都要求智能体在实现个人目标的同时为集体的成功做出贡献。这种多目标多智能体的设置给最近的算法带来了困难，这些算法主要针对单一全局奖励的设置，它们面临两个新挑战：为学**个人目标的实现和为他人的成功而合作的高效探索，以及不同智能体的行动和目标间的相互作用的信用分配。为解决这两个挑战，我们将问题重构为一个新的两阶段课程，在学**多智能体合作之前，先学**单智能体目标的实现，我们推导出一个新的多目标多智能体策略梯度，并采用信用函数进行局部信用分配。我们使用函数增强方案来衔接课程中的价值和策略函数。被称为CM3的完整架构在三个具有挑战性的多目标多智能体问题上的学**速度明显快于现有算法的直接改编：困难队形中的合作导航、SUMO交通模拟器中的多车道变化协商以及跳棋环境中的战略合作。 36.《Toward Amortized Ranking-Critical Training For Collaborative Filtering》关键词：Collaborative Filtering, Recommender Systems, Actor-Critic, Learned MetricsHIGHLIGHT：我们研究了基于actor-critic强化学**来训练协作过滤模型的新方法，以更直接地最大化基于排名的目标函数且在各种潜变量模型中提高性能。具体来说，我们训练critic网络以近似基于排名的指标，然后更新actor网络以针对学**的指标直接进行优化。与传统的学**排名方法需要重新运行新列表的优化程序相比，我们基于critic的方法使用神经网络摊分评分过程，并可直接提供新列表的（近似）排名分数。我们证明了actor-critic能够显着改善各种预测模型的性能，并在三个大型数据集上达到与各种强基准相比更好或可比的性能。代码：https://github.com/samlobel/RaCT_CF 37.《Chameleon: Adaptive Code Optimization For Expedited Deep Neural Network Compilation》关键词：Learning to Optimize, Compilers, Code Optimization, Neural Networks, ML for Systems, Learning for SystemsHIGHLIGHT：强化学**和自适应采样，可优化深度神经网络的编译。以较短的编译时间实现更快的执行速度可促进神经网络的进一步多样性和创新。但是，当前执行神经网络的范例依赖于手动优化的库，传统的编译启发法或最近的遗传算法和其他随机方法。这些方法需要频繁且昂贵的硬件测量，因而不仅十分耗时而且次优。对此，我们设计了一种解决方案，它可以学**快速适应以前看不到的设计空间进行代码优化，既加快了搜索速度，又提高了输出性能。这个被称为Chameleon的方案使用了强化学**方法，方案收敛所需的步骤较少。Chameleon还开发了一种自适应采样算法，不仅关注代表性点上的昂贵样本（真实的硬件测量），还使用领域知识启发逻辑来改进样本本身。通过实际硬件的实验表明，Chameleon在优化时间上比AutoTVM提速4.45倍，同时也将现代深度网络的推理时间提高了5.6%。 38.《Graph Constrained Reinforcement Learning for Natural Language Action Spaces》(Poster)关键词：natural language generation, knowledge graphs, interactive fictionHIGHLIGHT：我们介绍了KG-A2C，这是一种强化学**智能体，可以在使用template-based的动作空间进行探索并生成自然语言的同时，构建动态知识图-在广泛的基于文本的游戏中优于所有当前智能体。交互式小说游戏是基于文本的模拟，其中的智能体完全通过自然语言与世界互动。它们是研究如何扩展强化学**智能体以满足组合语言的较大的、基于文本的动作空间中自然语言理解，部分可观察性和动作生成等挑战的理想环境。我们介绍了KG-A2C，这是一种可在探索动态知识图的同时使用template-based的动作空间生成动作的智能体。我们认为，知识图的双重使用来推理游戏状态并限制自然语言的生成是组合自然语言动作的可扩展探索的关键。各种IF游戏的结果表明，尽管动作空间大小呈指数增长，KG-A2C的表现仍优于目前的IF智能体。代码：https://github.com/rajammanabrolu/KG-A2C 39.《Composing Task-Agnostic Policies with Deep Reinforcement Learning》关键词：composition, transfer learningHIGHLIGHT：我们提出了一种新颖的基于强化学**的技能迁移和组合方法，该方法采用智能体的原始策略来解决原本未见的任务。混合搭建基本行为块以解决具有挑战性的转移学**问题是构建智能机器的关键要素之一。。迄今为止，研究者在学**特定于任务的策略或技能方面已经进行了大量工作，但几乎没有集中精力撰写与Task-Agnostic的必要技能以找到新问题的解决方案。在本文中，我们提出了一种新的基于深度强化学**的技能迁移和组合方法，该方法采用智能体的原始策略来解决原本未见的任务。我们在困难的情况下评估了新方法，在这些情况下，通过标准强化学**(RL)甚至是分层RL训练策略要么不可行，要么表现出高样本复杂度。我们表明，新方法不仅能将技能迁移到新的问题环境中，而且还能以高数据效率解决需要任务规划和运动控制的挑战性环境。代码：https://drive.google.com/file/d/1pbF9vMy5E3NLdOE5Id5zqzKlUesgStym/view usp=sharing 40.《Single episode transfer for differing environmental dynamics in reinforcement learning》关键词：transfer learningHIGHLIGHT：通过优化探测以快速推断潜变量并立即执行通用策略，在具有相关动态环境系列中进行单事件策略传输。迁移和适应新的未知环境动态是强化学**的关键挑战。更大的挑战是在测试时间的一次尝试中可能几乎无法达到最佳效果，而可能无法获得丰厚的回报，而当前的方法却无法解决这一问题，需要多次 experience rollouts才能适应。为了在具有相关动力学的环境系列中实现Single episode，我们提出了一种通用算法，该算法可优化探测器和推理模型，以快速估算测试动力学的潜在潜变量，然后将其立即用作通用控制策略的输入。这种模块化的方法可以集成最新的算法以用于variational inference或RL。而且，我们的方法不需要在测试时获得奖励，这使其能够在现有自适应方法无法实现的环境中执行。在具有Single episode测试约束的不同实验领域中，我们的方法明显优于现有的自适应方法，并且在鲁棒传输的基础上表现出良好的性能。 41.《Model-Augmented Actor-Critic: Backpropagating through Paths》关键词：model-based, actor-critic, pathwiseHIGHLIGHT：使用学**的模型和Q函数通过时间进行反向传播来实现策略梯度。当前基于模型的强化学**方法只是将模型用作学**的黑匣子模拟器，以扩充数据来进行策略优化或价值函数学**。在本文中，我们展示了如何通过利用模型的可微分性更有效地利用模型。我们构造了一个使用学**的模型和策略在未来时间步长上的路径导数的策略优化算法。通过使用terminal价值函数，以actor-critic的方式学**策略，可以防止跨多个时间步骤学**的不稳定性。此外，我们根据模型和值函数中的梯度误差提出了对目标的单调改进的推导。我们证明，与基于模型的现有算法相比，我们的方法（i）始终具有更高的采样效率，（ii）匹配无模型算法的渐近性能，并且（iii）扩展到很长的horizons（在这种情况下，过去基于模型的方法通常会遇到困难）。 42.《Robust Reinforcement Learning for Continuous Control with Model Misspecification》关键词：robustnessHIGHLIGHT：一种用于将鲁棒性建模到连续控制强化学**算法中，以将错误规范建模的框架。我们提供了一个将鲁棒性-过渡动态中的扰动（我们称其为模型错误指定）纳入连续控制强化学**（RL）算法的框架。我们特别专注于将鲁棒性结合到最新的连续控制RL算法中，新算法被称为最大后验策略优化（MPO）。我们通过学**一种针对最坏情况进行优化的策略来实现这一目标，新策略采用熵正则化的期望回报目标并得出相应的鲁棒熵正则化Bellman压缩算子。另外，我们引入了一个相对保守的，软鲁棒的，熵正则化目标以及相应的贝尔曼算子。实验结果显示，在环境扰动下，鲁棒和软鲁棒的策略在9个Mujoco域中的性能均优于非鲁棒的策略。此外，我们在具有挑战性的，模拟的，灵巧机器人手上显示出改进的鲁棒性能。视频见 sites.google.com/view/r 。 43.《Black-box Off-policy Estimation for Infinite-Horizon Reinforcement Learning》关键词：off-policy estimation, importance sampling, propensity scoreHIGHLIGHT：针对infinite-horizon RL中的off-policy估计问题，我们提出了一种新颖的方法。在许多现实应用（如医疗保健和机器人技术）中，对long-horizon问题的off-policy估计很重要，在这些应用中，我们可能无法使用高保真（high-fidelity）模拟器，对策略的评估是很昂贵或不可能的。最近，\citet{liu18breaking}提出了一种方法，避免了典型的基于重要性取样的方法所遭受的horizon诅咒。虽然结果看起来promising，但此方法在实践中是有限的，因为它需要通过一个已知的行为策略来收集数据。在这项工作中，我们提出了消除此类限制的新颖方法。特别地，我们将问题的formulation化为求解“向后流动”算子的不动点，并表明不动点解给出了目标策略和行为策略之间期望的平稳分布的重要性比。我们分析其渐近一致性和有限样本推广。基准测试证明了我们提出的方法的有效性。 44.《Graph Convolutional Reinforcement Learning》关键词：GCN，GNNHIGHLIGHT：在多智能体环境中，学**合作至关重要，其中的关键是要了解智能体之间的相互影响。但是，多智能体环境是高度动态的，智能体不断移动，其邻居快速变化。这使得学**智能体之间相互作用的抽象表示变得困难。为解决这些困难，我们提出了图卷积强化学**，其中图卷积适应于多智能体环境的基础图的动力学，且关系内核通过它们的关系表示来捕获智能体间的相互作用。利用卷积层从逐渐增加的接受场中产生的潜在特征来学**合作，并且通过时间关系(temporal relation)正则化进一步改进合作以保持一致性。代码：https://github.com/PKU-AI-Edge/DGN/ 45.《Thinking While Moving: Deep Reinforcement Learning with Concurrent Control》 (Poster)关键词：continuous-time, roboticsHIGHLIGHT：强化学**的formulation允许智能体同时思考和采取行动，这在真实的机器人抓取中得到了证明。论文中的强化学**环境设置如下：智能体必须在受控系统的时间演变过程中同时从策略中采样动作，例如机器人必须在上一个动作完成之前决定下一个动作（同时思考和移动）。为了开发针对此类并发控制问题的算法框架，我们从Bellman方程的连续时间公式化开始，然后以意识到系统延迟的方式离散化它们。我们通过对现有基于值的DRL算法的简单体系结构扩展，实例化此类新的近似动态编程方法。 46.《Evolutionary Population Curriculum for Scaling Multi-Agent Reinforcement Learning》关键词：evolutionary learning, curriculum learningHIGHLIGHT：在多智能体游戏中，环境的复杂性会随着智能体数量的增加而呈指数增长，因此，当智能体数众多时，学**良好的策略尤其具有挑战性。在本文中，我们介绍了进化人口课程（EPC），这是一种课程学**范例，它通过逐步增加训练智能体的数量来扩展多智能体强化学**（MARL）。此外，EPC使用进化方法来解决整个课程中的客观失调问题：在早期以少量人口成功训练的智能体不一定是适应后期人口规模扩大的最佳人选。具体来说，EPC在每个阶段都会维护多组智能体，在这些集合上执行混合匹配和微调，并以最佳适应性提升智能体到下一阶段。我们在一种流行的MARL算法MADDPG上实现了EPC，并通过经验证明，随着智能体数量呈指数增长，我们的方法始终在性能上始终优于基线。源代码和视频见https://sites.google.com/view/epciclr2020 。代码：https://github.com/qian18long/epciclr2020 47.《A Simple Randomization Technique for Generalization in Deep Reinforcement Learning》关键词：Generalization in visual domainsHIGHLIGHT：我们提出了一种简单的随机化技术，用于改善具有各种未曾见过的视觉模式的任务的深度强化学**的泛化。DRL智能体通常无法推广到未曾见过的环境，尤其当它们在高维状态空间（如图像）上进行训练时。在本文中，我们提出了一种可通过引入随机扰乱输入观测值的随机（卷积）神经网络来提高深层RL智能体泛化能力的简单技术。通过跨变化和随机环境中的learning robust features invariant，新算法使受过训练的智能体能够适应新领域。此外，我们考虑了一种基于蒙特卡洛近似的推理方法，以减少由该随机化引起的方差。我们展示了新方法在2D CoinRun，3D DeepMind Lab探索和3D机器人控制任务中的优越性：新算法明显优于各种正则化和数据增强方法。代码：https://github.com/pokaxpoka/netrand 48.《Reinforced Genetic Algorithm Learning for Optimizing Computation Graphs》关键词：learning to optimize, combinatorial optimization, computation graphs, model parallelism, learning for systemsHIGHLIGHT：我们使用DRL来学**指导遗传算法搜索的策略，以更好地优化计算图的执行成本，并在实际的TensorFlow图上显示改进的结果。我们提出了一种深度强化学**方法，以最小化优化编译器中神经网络计算图的执行成本。与早期的基于学**的工作需要在同一图上对优化器进行训练以进行优化不同，我们提出了一种学**方法，该方法离线训练优化器，然后将其推广到以前看不见的图，而无需进一步训练。这使我们的方法可以在几秒钟（而不是几小时）内在现实世界的TensorFlow图上产生高质量的决策。我们为计算图考虑两个优化任务：最小化运行时间和峰值内存使用。在这两个任务上，我们的方法比经典方法和其他基于学**的方法取得了显着改进。 49.《Projection Based Constrained Policy Optimization》关键词：Safe reinforcement learning、constrained RLHIGHLIGHT：我们提出了一种可以学**满足约束条件的策略，并在有约束条件的强化学**背景下提供理论分析和经验证明的新算法。我们考虑了学**控制策略的问题，这些策略在优化奖励函数的同时，需要满足关于安全、公平或其他成本的约束。我们提出了一种新算法–基于投影的约束策略优化（PCPO），这是一种在两步过程中优化策略的迭代方法–第一步执行无约束更新，第二步通过将策略投射回约束集上来调节违反约束的情况。我们从理论上分析了PCPO，并为每次策略更新提供了奖励改进的下限以及约束违反的上限。我们进一步基于两个不同的指标–L2 norm和Kullback-Leibler pergence–来描述PCPO与投影的收敛性。在几个控制任务上的经验结果表明，我们的算法实现了卓越的性能，与最先进的方法相比，新算法平均减少了3.5倍以上的约束违反，并提高了约15%的奖励。代码：https://sites.google.com/view/iclr2020-pcpo 50.《Infinite-Horizon Differentiable Model Predictive Control》关键词：Model Predictive Control, Riccati Equation, Imitation Learning, Safe LearningHIGHLIGHT：本文提出了一种可微分的线性二次模型预测控制（MPC）框架，用于安全模仿学**。利用从离散时间代数Riccati方程(DARE)中得到的终端成本函数来强制执行Infinite-Horizon成本，从而可证明学**的控制器在闭环中是稳定的。论文的核心贡献之一是推导了DARE解的解析导数，从而允许使用基于微分的学**方法。另一个贡献是MPC优化问题的结构：1.增强的拉格朗日方法确保MPC优化在整个训练过程中是可行的，同时对状态和输入进行硬约束，2.预稳定化控制器确保MPC解和导数在每次迭代中都是准确的。该框架的学**能力在一组数值研究中得到了证明。 51.《Toward Evaluating Robustness of Deep Reinforcement Learning with Continuous Control》关键词：deep learning, robustness, adversarial examplesHIGHLIGHT：我们研究具有对抗性攻击的DRL中的连续控制智能体问题，并基于学**的模型动力学提出了两步算法。DRL在许多以前困难的强化学**任务中取得了巨大成功，但最近的研究表明，类似于分类任务中的DNN，DRL智能体也不可避免地容易受到对抗性干扰。先前工作主要集中在无模型的对抗攻击和具有离散动作的智能体上。在这项工作中，我们研究了具有对抗性攻击的DRL中的连续控制智能体问题，并基于学**的模型动力学提出了第一个两步算法。在各种MuJoCo域（Cartpole，Fish，Walker，Humanoid）上进行的大量实验表明，我们提出的框架在降低智能体性能以及将智能体驱动到不安全状态方面比基于无模型的攻击基准要有效得多。 52.《Meta-learning curiosity algorithms》关键词：meta-learning, exploration, curiosityHIGHLIGHT：通过搜索 a rich space of programs，元学**好奇心算法激发了很多新颖的设计，这些设计可以在非常不同的强化学**领域中通用。我们假设好奇心是一种由进化发现的机制，它鼓励智能体在其生命早期进行有意义的探索，以使其在一生中获得高回报的经验。我们将产生好奇行为的问题表述为元学**的问题：外循环将在好奇机制的空间上搜索，动态调整智能体的奖励信号，内循环将使用调整后的奖励信号进行标准的强化学**。然而，目前基于迁移神经网络权重的元RL方法只在非常相似的任务之间进行了泛化。为了扩大泛化范围，我们提出元学**算法：类似于人类在ML论文中设计的代码片段，我们丰富的程序语言将神经网络与缓冲器、最近邻模块和自定义损失函数等其他构件相结合。我们以实证的方式证明了这种方法的有效性，并发现了两种新型的好奇心算法，它们的性能与人类设计的已发表的好奇心算法相当或更好（实验：grid navigation with image inputs, acrobot, lunar lander, ant and hopper）。代码：https://github.com/mfranzs/meta-learning-curiosity-algorithms 53.《Keep Doing What Worked: Behavior Modelling Priors for Offline Reinforcement Learning》关键词：Off-policy, Multitask, Continuous ControlHIGHLIGHT：我们开发了一种从记录的数据中进行稳定的offline强化学**的方法。关键是针对学**到的数据的“优势加权”数据模型规范RL策略。Off-policy强化学**算法有望适用于只有固定的环境交互数据集(batch)且无法获得新经验的环境中。这一特性使得这些算法对机器人控制等现实世界问题很有吸引力。然而，在实践中，标准的Off-policy算法在连续控制的批处理环境中是失败的。在本文中，我们提出了一个简单算法来解决这个问题。它允许使用由任意行为策略产生的数据，并使用学**到的先验–优势加权行为模型(ABM)–将RL策略偏向于以前已经执行过的、有可能在新任务上成功的动作。我们的方法可被看作是最近批处理RL工作的扩展，它可从冲突的数据源中进行稳定的学**。实验涉及了真实世界机器人的多任务学**。 54.《Model-based reinforcement learning for biological sequence design》关键词：blackbox optimization, molecule designHIGHLIGHT：我们通过序列级智能体奖励函数和基于计数的visitation bonus来增强无模型策略学**，并证明在设计DNA和蛋白质序列时可看到的大批量，low-round的有效性。设计生物结构（如DNA或蛋白质）涉及一个具有挑战性的黑箱优化问题，其特征是由于需要进行劳动密集型的wet lab评估，因此批次大+low-round。对此，我们建议使用基于近端策略优化（PPO）的强化学**（RL）进行生物序列设计。RL为优化生成序列模型提供了灵活框架，以实现特定的标准，例如被挖掘的的高质量序列之间的多样性。我们提出了一种基于模型的PPO变体DyNA-PPO以提高样品效率，算法使用适合先前回合functional measurements的模拟器离线训练新回合的策略。为适应越来越多的跨轮次观察，算法在每个轮次中从容量不同的多种模型中自动选择模拟器模型。在设计DNA转录因子结合位点，设计抗微生物蛋白质以及基于蛋白质结构优化Ising模型的能量的任务上，我们发现DyNA-PPO在可行的建模环境中的性能明显优于现有方法，且在无法学**可靠模型的情况下，效果并没有更差。 55.《Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies》关键词：Meta reinforcement learning, subtask graphHIGHLIGHT：一种新颖的meta-RL方法，可以推断潜在的子任务结构我们提出并解决了一个新颖的few-shot RL问题，其中任务以子任务图为特征，该子任务图描述了智能体未知的一组子任务及其依赖性。智能体需要在适应阶段的几个情节中快速适应任务，以使测试阶段的收益最大化。我们没有直接学**元策略，而是开发了带有子任务图推理（MSGI）的元学**器，该子学**器通过与环境交互来推断任务的潜在参数，并在给定潜在参数的情况下最大化回报。为促进学**，我们采用了固有的奖励方式，该奖励方式受到鼓励有效探索的上限置信度（UCB）的启发。我们在两个grid-world域和StarCraft II环境上的实验结果表明，新方法能够准确推断潜在任务参数， 56.《Never Give Up: Learning Directed Exploration Strategies》关键词：exploration, intrinsic motivationHIGHLIGHT：我们提出了一种强化学**智能体，通过学**一系列的定向探索性策略来解决困难的探索游戏。我们构建了一个基于偶发性记忆的内在奖励，使用k-最近邻对智能体的最近经验进行训练定向探索性策略，从而鼓励智能体反复重访其环境中的所有状态。采用自监督的逆动力学模型来训练最近邻查找的嵌入，将新奇信号偏向于智能体可以控制的方向。我们采用通用价值函数逼近器的框架，用同一神经网络同时学**许多定向探索策略，在探索和利用之间进行不同的权衡。通过对不同程度的探索/利用使用相同的神经网络，证明了从主要的探索性策略转移到有效的利用性策略。新方法可以与现代分布式RL智能体一起运行，这些智能体可以从在不同环境实例上并行运行的许多actors那里收集大量经验。我们的方法在Atari-57 suite中的所有困难探索中的性能是基础智能体的两倍，同时在其余游戏中保持了非常高的分数。值得注意的是，新方法是第一个在不使用demonstrations 或手工制作的特征的情况下，在《Pitfall！》游戏中实现非零奖励的算法（平均分数为8400分）。 57.《Discriminative Particle Filter Reinforcement Learning for Complex Partial observations》关键词：Partial Observability, Differentiable Particle FilteringHIGHLIGHT：我们引入了DPFRL，这是一个通过重要性加权粒子滤波器在部分和复杂观测下进行强化学**的框架。DRL在诸如Atari，Go等复杂游戏的决策中是成功的。但是，现实世界中的决策通常需要推理，并从复杂的视觉观察中提取部分信息。本文介绍了判别式粒子滤波强化学**（DPFRL），这是一种用于复杂局部观测的新型强化学**框架。DPFRL对神经网络策略中的可微分粒子滤波器进行编码，以进行显式推理，并随时间进行部分观测。粒子滤波器使用学**的判别式更新来维持信念，该判别式更新经过端到端的训练以用于决策。实验表明，使用可微分更新而不是标准生成模型可以显着提高性能，尤其对于具有复杂视觉观察的任务，因为它们避免了建模与决策无关的复杂观测的困难。另外，为了从粒子信念中提取特征，我们基于矩生成函数提出了一种新型的信念特征。在现有的POMDP RL基准测试《Natural Flickering Atari》游戏中，DPFRL优于最新的POMDP RL模型；此外，DPFRL在Habitat环境中使用真实数据进行视觉导航时表现出色。 58.《Episodic Reinforcement Learning with Associative Memory》关键词：Episodic Control, Episodic Memory, Associative Memory, Non-Parametric Method, Sample EfficiencyHIGHLIGHT：样本效率一直是深度强化学**的主要挑战之一。研究者已提出非参数 episodic control，通过快速锁定先前成功的策略来加速参数强化学**。但是，以前的episodic强化学**工作忽略了状态之间的关系，仅将经验存储为不相关的项。为提高强化学**的样本效率，我们提出了一个新颖的框架——带有联想记忆的episodic强化学**（ERLAM），该框架将相关的经验轨迹关联起来，以支持推理有效的策略。我们基于状态转换在内存中的状态之上构建图形，并开发反向轨迹传播策略以允许值通过图形快速传播。我们使用非参数联想记忆作为参数强化学**模型的早期指导。Navigation domain和Atari游戏的结果表明，与最新的带有联想记忆的episodic强化学**模型相比，我们的框架实现了更高的样本效率。 59.《Sub-policy Adaptation for Hierarchical Reinforcement Learning》关键词：Hierarchical Reinforcement Learning, Transfer, Skill DiscoveryHIGHLIGHT：我们提出了HiPPO，这是一种稳定的分层强化学**算法，可以同时训练多个层次的层次结构，从而在技能发现和适应方面均具有良好的表现。分层强化学**是解决稀疏奖励的长期决策问题的一种有前途的方法。不幸的是，大多数方法仍然使较低级别的技能获取过程与控制新任务中技能的较高级别的训练脱钩。保持技能固定会导致转移设置中出现明显的次优状态。在这项工作中，我们提出了一种即使在接受新任务训练时也可不断将其与更高的水平相适应的发现一组技能的新颖算法。主要贡献：首先，我们推导了一个新的潜在依赖基线的无偏分层策略梯度，并引入了分层近端策略优化（HiPPO），这是一种有效联合训练分层结构各个级别的基于策略的方法。第二，我们提出了一种训练time-abstractions的方法，可以提高所获技能对环境变化的鲁棒性。代码和视频在 https://sites.google.com/view/hippo-rl 。代码：https://anonymous.4open.science/r/de105a6d-8f8b-405e-b90a-54ab74adcb17/本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。
市场分析