Nothing Special   »   [go: up one dir, main page]

CN108701252B - 使用优先化经验存储器训练神经网络 - Google Patents

使用优先化经验存储器训练神经网络 Download PDF

Info

Publication number
CN108701252B
CN108701252B CN201680066410.3A CN201680066410A CN108701252B CN 108701252 B CN108701252 B CN 108701252B CN 201680066410 A CN201680066410 A CN 201680066410A CN 108701252 B CN108701252 B CN 108701252B
Authority
CN
China
Prior art keywords
neural network
empirical data
data block
training
experience
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680066410.3A
Other languages
English (en)
Other versions
CN108701252A (zh
Inventor
汤姆·绍尔
关小龙
大卫·西尔韦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DeepMind Technologies Ltd
Original Assignee
DeepMind Technologies Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepMind Technologies Ltd filed Critical DeepMind Technologies Ltd
Priority to CN202410032334.0A priority Critical patent/CN117910543A/zh
Priority to CN202410037883.7A priority patent/CN117910545A/zh
Priority to CN202410035947.XA priority patent/CN117910544A/zh
Publication of CN108701252A publication Critical patent/CN108701252A/zh
Application granted granted Critical
Publication of CN108701252B publication Critical patent/CN108701252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

用于对用于选择由与环境交互的强化学习代理执行的动作的神经网络进行训练的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面中，一种方法包括维持重放存储器，其中所述重放存储器存储作为所述强化学习代理与所述环境交互的结果而生成的经验数据块。每个经验数据块与相应的预期学习进展量度相关联，所述预期学习进展量度是如果在所述经验数据块上对所述神经网络进行训练则在所述神经网络的训练中进行的预期进展量的量度。所述方法还包括通过对具有相对较高的预期学习进展量度的经验数据块进行优先级排序以供选择来从所述重放存储器中选择经验数据块，并且在所选择的经验数据块上对所述神经网络进行训练。

Description

使用优先化经验存储器训练神经网络
技术领域
本说明书涉及一种强化学习。
背景技术
在强化学习系统中，代理通过执行由强化学习系统响应于接收到表征环境的当前状态的观察结果而选择的动作来与环境交互。
一些强化学习系统根据神经网络的输出来选择要由代理响应于接收到给定观察结果而执行的动作。
神经网络是采用非线性单元的一个或多个层针对接收到的输入来预测输出的机器学习模型。一些神经网络是除了输出层之外还包括一个或多个隐藏层的深度神经网络。每个隐藏层的输出被用作到网络中的下一层(即，下一个隐藏层或输出层)的输入。网络的每个层根据相应的一组参数的当前值从接收到的输入来生成输出。
发明内容
一般而言，本说明书中描述的主题的一个创新方面能够以用于对神经网络进行训练的方法加以实施，所述神经网络用于选择由与环境交互的强化学习代理通过执行使所述环境转变状态的动作而执行的动作，其中所述方法包括以下步骤的动作：维持重放存储器(replay memory)，所述重放存储器存储作为所述强化学习代理与所述环境交互的结果而生成的经验数据块，其中，所述经验数据块各自具有相应的预期学习进展量度(measure)，所述预期学习进展量度是如果在所述经验数据块上对所述神经网络进行训练则在所述神经网络的训练中进行的预期进展量的量度；通过对具有相对较高的预期学习进展量度的经验数据块进行优先级排序以供选择来从所述重放存储器中选择经验数据块；以及在所选择的经验数据块上对所述神经网络进行训练。
这个方面的其它实施例包括相对应的计算机系统、装置以及在一个或多个计算机存储设备上记录的计算机程序，它们各自被配置成执行所述方法的动作。一个或多个计算机的系统能够被配置为借助于在该系统上安装的软件、固件、硬件或其任何组合来执行特定操作或动作，所述特定操作或动作在操作中可以使系统执行动作。一个或多个计算机程序能够被配置为借助于包括指令来执行特定操作或动作，所述指令在由数据处理装置执行时使该装置执行动作。
实施方式能够包括以下特征中的一个或多个。在一些实施方式中，选择经验数据块包括：(i)确定用于每个经验数据块的相应的概率，使得与具有相对较低的预期学习进展量度的经验数据块相比，具有较高的预期学习进展量度的经验数据块具有较高的概率；以及(ii)根据所确定的概率来对经验数据块进行采样。
在一些实施方式中，经验数据块i的概率P(i)满足：
其中，α是预定常数，k的范围跨越所述重放存储器中的所述经验数据块，并且pi是从针对所述经验数据块i的所述预期学习进展量度取得的用于所述经验数据块i的优先级。
在一些实施方式中，所述优先级是所述预期学习量度加上常数值。在一些实施方式中，所述优先级是具有预定正值作为分子以及所述经验数据块i的排名作为分母的分数，所述排名在根据其预期学习进展量度对所述重放存储器中的所述经验数据块的排名中。在一些实施方式中，所述优先级对于仍然未被用在训练中的经验数据块被设置为最大值。
在一些实施方式中，每个经验数据块是经验元组，所述经验元组包括表征所述环境的相应的当前状态的相应的当前观察结果、由所述代理响应于所述当前观察结果而执行的相应的当前动作、表征所述环境的相应的下一个状态的相应的下一状态以及响应于所述代理执行所述当前动作而接收到的奖励。
在一些实施方式中，在所选择的经验数据块上对所述神经网络进行训练包括：针对所选择的经验元组确定时间差学习误差；以及在调整所述神经网络的参数的值中使用所述时间差学习误差。
在一些实施方式中，在调整所述参数的值中使用所述时间差学习误差包括：使用针对所选择的经验元组的所述预期学习进展量度来确定用于所述时间差学习误差的权重；使用所述权重来调整所述时间差学习误差；以及使用调整后的时间差学习误差作为用于调整所述神经网络的参数的值的目标误差。
在一些实施方式中，所述方法还包括在所述神经网络的训练期间使在计算所述权重时使用的指数退火。
在一些实施方式中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是在对所述神经网络进行训练中使用所述经验元组的在前时间针对所述经验元组确定的时间差学习误差的绝对值。
在一些实施方式中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是在对所述神经网络进行训练中使用所述经验元组的在前时间针对所述经验元组确定的时间差学习误差的绝对值的导数。
在一些实施方式中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是通过使用所述经验元组来对所述神经网络进行训练的诱发权重变化的范数。
在一些实施方式中，所述方法还包括使用所述预期学习进展量度来确定何时从所述重放存储器中删除经验数据块。
本说明书中描述的主题能够被实现在特定实施例中以便实现以下优点中的一个或多个。能够以增加为了对神经网络进行训练而选择的数据的值的方式选择来自重放存储器的训练数据。这进而能够提高在选择要由代理执行的动作中使用的神经网络的训练的速度并且减少有效地对那些神经网络进行训练所需的训练数据的量。因此，能够减少对神经网络的训练所必需的计算资源的量。例如，能够减少对存储训练数据所需要的存储器的量，能够减少由训练过程使用的处理资源的量，或者兼而有之。对于比较难以训练的复杂神经网络或者为了对神经网络进行训练以选择要由执行复杂强化学习任务的代理执行的动作，增加神经网络的训练的速度可能是特别显著的。
在下面的附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。主题的其它特征、方面和优点将根据本说明书、附图和权利要求书变得显而易见。
附图说明
图1示出示例强化学习系统。
图2是用于使用重放存储器来对神经网络进行训练的示例过程的流程图。
图3是用于基于经验数据的确定的概率来对经验数据进行采样的示例过程的流程图。
图4是用于在经验元组上对神经网络进行训练的示例过程的流程图。
在各个附图中，相似的附图标记和名称指示相似的元件。
具体实施方式
本说明书一般地描述强化学习系统，所述强化学习系统选择要由与环境交互的强化学习代理执行的动作。为了让代理与环境交互，系统接收表征环境的当前状态的数据并且从要由代理响应于所接收到的数据而执行的预定的一组动作中选择动作。表征环境的状态的数据将在本说明书中被称为观察结果。
在一些实施方式中，环境是模拟环境并且代理被实现为与该模拟环境交互的一个或多个计算机程序。例如，所模拟的环境可以是视频游戏并且代理可以是玩该视频游戏的模拟用户。作为另一示例，模拟环境可以是运动模拟环境，例如，驾驶模拟或飞行模拟，并且代理是通过运动模拟来导航的模拟交通工具。在这些实施方式中，动作可以是用于控制模拟用户或模拟交通工具的控制输入。
在其它一些实施方式中，环境是真实世界环境并且代理是与该真实世界环境交互的机械代理。例如，代理可以是与环境交互以实现特定任务的机器人。作为另一示例，代理可以是通过环境来导航的自主或半自主交通工具。在这些实施方式中，动作可以是用于控制机器人或自主交通工具的控制输入。
图1示出示例强化学习系统100。该强化学习系统100是在一个或多个位置中的一个或多个计算机上实现为计算机程序的系统的示例，其中实现了在下面所描述的系统、组件、和技术。
强化学习系统100选择要由与环境104交互的强化学习代理102执行的动作。也就是说，强化学习系统100接收观察结果，其中每个观察结果表征环境104的相应的状态，并且，响应于每个观察结果，从要由强化学习代理102响应于该观察结果而执行的预定一组动作中选择动作。响应于由代理102执行的动作中的一些或全部，强化学习系统100接收奖励。每个奖励是作为代理的执行动作的结果而从环境104接收到的数值，即，奖励作为代理102执行动作的结果将根据结果环境104转变成的状态而不同。特别地，强化学习系统100使用动作选择神经网络110和训练引擎120来选择要由代理102执行的动作。
动作选择神经网络110是接收关于环境104的状态的观察结果作为输入并且生成针对每个动作的相应的Q值(即，由代理102响应于观察结果而执行动作来产生的预期返回的预测)作为输出的神经网络。
为了允许代理102与环境104有效地交互，强化学习系统100包括对动作选择神经网络110进行训练，以确定动作选择神经网络110的参数的训练值的训练引擎120。
为了协助动作选择神经网络的训练，训练引擎120维持重放存储器130。
重放存储器130存储作为代理102或另一代理的与环境104或者与该环境的另一实例的交互的结果而生成的经验数据块，用于在对动作选择网络110进行训练中使用。
训练引擎120通过从重放存储器130中反复地选择经验数据块并且在所选择的经验数据块上对动作选择神经网络110进行训练来对动作选择神经网络110进行训练。在下面参考图2和图3更详细地描述使用重放存储器130中的经验数据来对动作选择神经网络110进行训练。
图2是用于使用重放存储器来对神经网络进行训练的示例过程200的流程图。为了方便起见，过程200将被描述为由位于一个或多个位置中的一个或多个计算机的系统被执行。例如，根据本说明书适当地编程的强化学习系统(例如，图1的强化学习系统100)能够执行过程200。
系统维持重放存储器(202)。重放存储器存储作为代理的与环境交互的结果而生成的经验数据块。每个经验数据块表示关于代理的与环境的交互的信息。
在一些实施方式中，每个经验数据块是经验元组，其包括：(1)表征环境的在一个时间的当前状态的当前观察结果；(2)由代理响应于当前观察结果而执行的当前动作；(3)表征环境的在代理执行当前动作之后的下一个状态的下一个观察结果，即，作为代理的执行当前动作的结果的环境转变成的状态；以及(4)响应于代理执行当前动作而接收到的奖励。
系统也维持(在重放存储器中或者在单独的存储组件中)针对经验数据块中的一些或全部的预期学习进展量度。如果使用该经验数据块来对神经网络进行训练，则与经验数据块相关联的预期学习进展量度是在神经网络的训练中进行的预期进展量的量度。换句话说，预期学习进展量度是神经网络能够预期从经验数据块中学习到多少的指示。
在一些实施方式中，系统基于经验元组的先前计算出的时间差误差(即，与在对神经网络进行训练中使用经验元组的在前时间的时间差误差)来确定与经验元组相关联的预期学习进展量度。在下面参考图3更详细地描述确定针对经验元组的时间差误差。
在一些实施方式中，预期学习进展量度是对神经网络进行训练中使用经验元组的在前时间来针对经验元组确定的时间差学习误差的绝对值。在一些实施方式中，预期学习进展量度是在对神经网络进行训练中使用经验元组的在前时间针对经验元组确定的时间差学习误差的绝对值的导数。
在一些实施方式中，与经验元组相关联的预期学习进展量度是针对经验元组的先前计算出的时间差学习误差的绝对值的调整后的量度。时间差误差的调整被配置为使得对于其先前计算出的时间差学习误差的绝对值是相等的两个经验元组，其时间差学习误差具有正值的元组将具有较高的预期学习进展量度。
在一些实施方式中，针对重放存储器中的每个经验元组的预期学习进展量度是由使用该经验元组来对神经网络进行训练产生的诱发权重变化的范数。
系统从重放存储器(204)中选择经验数据块。在选择经验数据块中，系统对相对于重放存储器中的其它经验数据块具有相对较高的预期学习进展量度的经验数据块的选择进行优先级排序。
在一些实施方式中，系统使用预期学习进展量度来确定针对每个经验数据块的相应的概率并且根据所确定的概率来对经验数据块进行采样。在下面参考图3更详细地描述根据确定的概率对经验数据进行采样。
系统在所选择的经验数据块上对神经网络进行训练(206)。在一些实施方式中，系统使用所选择的经验数据块来调整神经网络的参数的值。在下面参考图4进一步详细地描述在经验数据上对神经网络进行训练。
在一些实施方式中，在神经网络的训练期间，系统使用预期学习进展量度来确定何时从重放存储器中删除经验数据块。
在这些实施方式中的一些中，当与经验数据块相关联的相应的预期学习量度下降至阈值以下时，系统确定要删除经验数据块。阈值可以是预定常数值或存储器重放中的经验数据块的预期学习量度的集中趋势的量度的函数，例如，均值或中值。
在这些实施方式中的其它实施方式中，当至少部分地从经验数据的预期学习进展量度取得的值(例如，用于经验数据块的概率或优先级)下降至阈值以下时，系统确定删除经验数据块。
图3是用于基于经验数据的确定的概率对经验数据进行采样的示例过程300的流程图。为了方便，过程300将被描述为由位于一个或多个位置中的一个或多个计算机的系统执行。例如，根据本说明书适当地编程的强化学习系统(例如，图1的强化学习系统100)能够执行过程300。
系统确定用于每个经验数据块的相应的优先级(302)。特别地，系统基于经验数据块的预期学习量度来确定用于每个经验数据块的优先级。
在一些实施方式中，用于经验数据块的优先级是经验数据块的预期学习量度加上常数值。
在其它一些实施方式中，用于经验数据块的优先级是具有预定正值作为分子以及经验数据块的排名作为分母的分数，该排名在根据其预期学习进展量度对重放存储器中的经验数据块的排名中。
在一些实施方式中，当将不具有时间差学习误差的先验量度的新经验元组添加到重放存储器时，系统向该元组指派最大优先级的量度，即，给该经验元组指派作为能够根据系统如何确定优先级来为任何经验元组确定的最大可能的优先级。这增加系统在训练中使用所有经验元组至少一次的可能性。
系统确定用于每个经验数据块的概率(304)。系统设置用于经验数据块的概率，使得与具有相对较低的预期学习进展量度的经验数据块相比，具有较高的预期学习进展量度的经验数据块具有较高的概率。特别地，系统基于用于该经验数据块的优先级确定用于每个经验数据块的概率。
在一些实施方式中，用于经验数据块i的概率P(i)满足：
其中α是预定常数，k的范围跨越重放存储器中的经验数据块，以及pi是用于经验数据块i的优先级。
在一些实施方式中，常数α是应当在对经验数据块进行采样中使用经验数据块的多少优先化的量度。因此，当α＝0时，不实现优先化。随着α增加，用于经验数据块i的优先级pi成为确定用于该经验数据块的概率P(i)中的一个更重要的因素。
系统从重放存储器中对经验数据块进行采样(306)。系统根据经验数据块的已确定的概率来执行采样。在一些实施方式中，系统对具有最高确定的概率的一个或多个经验数据块进行采样。在一些其它实施方式中，该系统对具有等于用于经验数据块的所确定的概率的概率的每个经验数据块进行采样。
图4是用于在经验元组上对神经网络进行训练的示例过程400的流程图。为了方便起见，过程400将被描述为由位于一个或多个位置中的一个或多个计算机的系统执行。例如，根据本说明书适当地编程的强化学习系统(例如，图1的强化学习系统100)能够执行过程400。
系统针对经验元组确定时间差学习误差(402)。与当前经验元组相关联的时间差误差能够是以下(i)与(ii)之间的差：(i)如由神经网络在响应于元组中的当前观察结果而执行元组中的当前动作的条件下所确定的当前预期返回；以及(ii)以下各项之和：(a)在响应于元组中的下一个观察结果而执行下一个动作的条件下的时间折扣下一个预期返回和(b)元组中的奖励。
其中系统选择下一个动作并且确定下一个预期返回的方式是根据正在用于对神经网络进行训练的强化学习算法。例如，在深度Q学习技术中，系统选择动作作为下一个动作，该动作当被作为输入与下一个观察结果相结合地提供给目标神经网络时而导致该目标神经网络输出最高Q值，并且使用Q值作为下一个返回，该Q值是针对由该目标神经网络生成的下一个动作。作为另一示例，在双深度Q学习技术中，系统选择动作作为下一个动作，该动作当被作为输入与下一个观察结果相结合地提供神经网络时而导致该目标神经网络输出最高Q值，并且使用Q值作为下一个返回，该Q值通过将下一个动作和下一个观察结果作为输入提供给该目标神经网络而生成。作为又一个示例，在Sarsa学习技术中，下一个动作是由代理响应于下一个观察结果而实际地执行的动作，并且下一个返回是通过将下一个动作和下一个观察结果作为输入提供给目标神经网络而生成的Q值。目标神经网络是具有与动作选择神经网络相同的架构但是它可以具有不同的参数的神经网络。
系统确定用于时间差学习误差的权重(404)。在一些实施方式中，用于经验元组i的时间差学习误差的权重wi满足：
其中N是重放存储器中的经验元组的数目，P(i)是针对经验元组i的概率，以及β是偏差因子。
在一些实施方式中，偏差因子是预定常数值。在其它一些实施方式中，系统在神经网络的训练期间使在计算权重中使用的指数(例如，偏差因子β)退火。在一些实施方式中，系统在神经网络的训练期间使指数从其预定初始值线性地退火到1。
系统使用权重来调整时间差学习误差(406)。在一些实施方式中，系统通过将误差乘以权重来调整时间差学习误差。
系统在调整神经网络的参数值中使用调整后的时间差学习误差(408)。在一些实施方式中，作为传统强化学习技术(例如，Sarsa、深度Q学习、或双深度Q学习)的部分，系统使用调整后的时间差学习误差作为用于调整神经网络的参数的值的目标误差。
在一些实施方式中，系统仅在从重放存储器中选择经验数据时使用时间差学习误差，而不在训练期间对时间差学习误差进行加权。也就是说，在一些实施方式中，不是像上面随着图4所描述的那样使用调整后的时间差学习误差，而是系统替代地直接使用时间差学习误差来调整参数值。
本说明书中描述的主题和功能操作的实施例能够以数字电子电路、以有形地实施的计算机软件或固件、以计算机硬件(包括本说明书中公开的结构及其结构等同物)、或者以它们中的一个或多个的组合加以实现。本说明书中描述的主题的实施例能够作为一个或多个计算机程序(即，在有形非暂时性程序载体上编码以供由数据处理装置执行或者以控制数据处理装置的操作的计算机程序指令的一个或多个模块)被实现。可替选地或此外，程序指令能够被编码在人工生成的传播信号上，所述传播信号例如为机器生成的电、光、或电磁信号，该信号被生成以对信息进行编码，用于发送到适合的接收器装置以供由数据处理装置执行。计算机存储介质能够是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。然而，计算机存储介质不是传播信号。
术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，作为示例包括可编程处理器、计算机、或多个处理器或计算机。该装置能够包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。该装置除了包括硬件之外，还能够包括为所述计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、或它们中的一个或多个的组合的代码。
计算机程序(其也可以被称为或者描述为程序、软件、软件应用、模块、软件模块、脚本、或代码)能够以任何形式的编程语言来编写，所述编程语言包括编译或解释语言或声明性或过程语言，并且它能够被以任何形式部署，包括作为独立程序或者作为适合于在计算环境中使用的模块、组件、子例行程序、或其它单元。计算机程序可以但未必与文件系统中的文件相对应。能够在保持其它程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的部分中、在专用于所述程序的单个文件中、或者在多个协调文件(例如，存储一个或多个模块、子程序、或代码的部分的文件)中存储程序。能够将计算机程序部署成在一个计算机上或者在位于一个站点处或者跨越多个站点分布并且通过通信网络互连的多个计算机上执行。
如本说明书中所使用的，“引擎”或“软件引擎”指代提供与输入不同的输出的软件实现的输入/输出系统。引擎能够是功能性的编码块，诸如库、平台、软件开发工具包(“SDK”)、或对象。每个引擎能够被实现在包括一个或多个处理器和计算机可读介质的任何适当类型的计算设备上，所述计算设备例如服务器、移动电话、平板计算机、笔记本计算机、音乐播放器、电子书阅读器、膝上型或台式计算机、PDA、智能电话、或其它固定或便携式设备。附加地，这些引擎中的两个或更多个可以被实现在相同的计算设备上或在不同的计算设备上。
本说明书中描述的过程和逻辑流程能够通过一个或多个可编程计算机执行一个或多个计算机程序来执行，以通过对输入数据进行操作并生成输出来执行功能。这些过程和逻辑流程也能够由专用逻辑电路执行，并且装置也能够作为专用逻辑电路被实现，所述专用逻辑电路例如为FPGA(现场可编程门阵列)或ASIC(专用集成电路)。
作为示例，适合于执行计算机程序的计算机包括能够基于通用微处理器或专用微处理器或两者，或任何其它种类的中央处理单元。一般地，中央处理单元将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的必要元件是用于执行或施行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。一般地，计算机也将包括或者可操作地被耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘、或光盘)接收数据，或者将数据转移到一个或多个大容量存储设备，或者兼而有之。然而，计算机不必具有此类设备。此外，能够将计算机嵌入在另一设备中，所述另一设备例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或便携式存储设备，例如，通用串行总线(USB)闪速驱动器等。
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器设备，作为示例包括半导体存储器设备，例如，EPROM、EEPROM、和闪速存储器设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；以及CD ROM和DVD-ROM盘。处理器和存储器能够由专用逻辑电路来补充，或者并入在专用逻辑电路中。
为了提供与用户的交互，能够在计算机上实现本说明书中描述的主题的实施例，所述计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)以及用户能够用来向该计算机提供输入的键盘和指点设备(例如，鼠标或轨迹球)。其它种类的设备也能够用于提供用于与用户的交互；例如，提供给用户的反馈能够是任何形式的感觉性反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且能够以任何形式接收来自用户的输入，所述任何形式包括声、语音、或触觉输入。此外，计算机能够通过向由用户使用的设备发送文档并且从由用户使用的设备接收文档来与用户交互；例如，通过响应于从web浏览器接收到的请求而向用户的客户端设备上的web浏览器发送web页面。
能够在计算系统中实现本说明书中描述的主题的实施例，所述计算系统包括后端组件，例如，作为数据服务器，或者包括中间件组件，例如，应用服务器，或者包括前端组件，例如，具有用户能够用来与本说明书中描述的主题的实施方式交互的图形用户界面或Web浏览器的客户端计算机，或者包括一个或多个此类后端、中间件、或前端组件的任何组合。本系统的组件能够通过任何形式或介质的数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“LAN”)和广域网(“WAN”)，例如，互联网。
该计算系统能够包括客户端和服务器。客户端和服务器一般地彼此远离并且通常通过通信网络来交互。客户端和服务器的关系借助于在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序而产生。
虽然本说明书包含许多具体实施方式细节，但是这些不应当被解释为对任何发明的或可以要求保护的范围构成限制，而是相反被解释为可能特定于特定发明的特定实施例的特征的描述。也能够在单个实施例中相结合地实现在本说明书中在单独的实施例的上下文中描述的某些特征。相反地，也能够在多个实施例中单独地或者按照任何适合的子组合实现在单个实施例的上下文中描述的各种特征。此外，尽管特征可以在上面被描述为按照某些组合起作用并且甚至最初如此要求保护，然而来自要求保护的组合的一个或多个特征能够在一些情况下被从该组合中删去，并且所要求保护的组合可以针对子组合或子组合的变化。
类似地，虽然在附图中以特定次序描绘操作，但是这不应当被理解为要求以所示的特定次序或者以顺序次序执行此类操作，或者要求所有图示的操作被执行以实现所希望的结果。在某些情况下，多任务处理和并行处理可以是有利的。此外，上述实施例中的各种系统模块和组件的分离不应当被理解为在所有实施例中要求这种分离，并且应当理解的是，所描述的程序组件和系统一般地能够被一起集成在单个软件产品中或者包装到多个软件产品中。
已经对主题的特定实施例进行了描述。其它实施例在以下权利要求书的范围内。例如，权利要求书中记载的动作能够被以不同的次序执行并仍然实现所希望的结果。作为一个示例，附图中描绘的过程不一定要求所示的特定次序或顺序次序以实现所希望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

Claims (15)

1.一种使用优先化经验存储器训练神经网络的方法，所训练的神经网络用于选择由强化学习代理执行的动作，所述强化学习代理通过执行使环境转变状态的动作与所述环境交互，所述方法包括：
维持重放存储器，所述重放存储器存储经验数据块以在训练所述神经网络时使用，其中：
每个经验数据块已作为所述强化学习代理与所述环境交互的结果而生成，并且
多个所述经验数据块中的每一个与相应的预期学习进展量度相关联，所述预期学习进展量度(i)是如果在所述经验数据块上对所述神经网络进行训练则在所述神经网络的训练中将进行的预期进展量的量度，并且(ii)是从所述经验数据块在训练所述神经网络时被使用的在前时间的结果取得的，其中，当与一经验数据块相关联的相应的预期学习进展量度下降至阈值以下时，该经验数据块被从所述重放存储器中移除；
通过对具有相对较高的预期学习进展量度的经验数据块进行优先级排序以供选择来从所述重放存储器中选择经验数据块；以及
在所选择的经验数据块上对所述神经网络进行训练。
2.根据权利要求1所述的方法，其中，选择所述经验数据块包括：
确定用于每个经验数据块的相应的概率，使得与具有相对较低的预期学习进展量度的经验数据块相比，具有较高的预期学习进展量度的经验数据块具有较高的概率；以及
根据所确定的概率来对经验数据块进行采样。
3.根据权利要求2所述的方法，其中，经验数据块i的概率P(i)满足：
其中，α是预定常数，k的范围跨越所述重放存储器中的所述经验数据块，并且pi是从针对所述经验数据块i的所述预期学习进展量度取得的用于所述经验数据块i的优先级。
4.根据权利要求3所述的方法，其中，所述优先级是所述预期学习进展量度加上常数值。
5.根据权利要求3所述的方法，其中，所述优先级是具有预定正值作为分子以及所述经验数据块i的排名作为分母的分数，所述排名在根据其预期学习进展量度对所述重放存储器中的所述经验数据块的排名中。
6.根据权利要求3所述的方法，其中，所述优先级对于仍然未被用在训练中的经验数据块被设置为最大值。
7.根据权利要求1所述的方法，其中，每个经验数据块是经验元组，所述经验元组包括表征所述环境的相应的当前状态的相应的当前观察结果、由所述代理响应于所述当前观察结果而执行的相应的当前动作、表征所述环境的相应的下一个状态的相应的下一状态以及响应于所述代理执行所述当前动作而接收到的奖励。
8.根据权利要求7所述的方法，其中，在所选择的经验数据块上对所述神经网络进行训练包括：
针对所选择的经验元组确定时间差学习误差；以及
在调整所述神经网络的参数的值中使用所述时间差学习误差。
9.根据权利要求8所述的方法，其中，在调整所述参数的值中使用所述时间差学习误差包括：
使用针对所选择的经验元组的所述预期学习进展量度来确定用于所述时间差学习误差的权重；
使用所述权重来调整所述时间差学习误差；以及
使用调整后的时间差学习误差作为用于调整所述神经网络的参数的值的目标误差。
10.根据权利要求8所述的方法，其中，在所选择的经验数据块上对所述神经网络进行训练还包括：
在所述神经网络的训练期间使在计算权重中使用的指数退火。
11.根据权利要求7至10中的任一项所述的方法，其中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是在对所述神经网络进行训练中使用所述经验元组的在前时间针对所述经验元组确定的时间差学习误差的绝对值。
12.根据权利要求7至10中的任一项所述的方法，其中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是在对所述神经网络进行训练中使用所述经验元组的在前时间针对所述经验元组确定的时间差学习误差的绝对值的导数。
13.根据权利要求7至10中的任一项所述的方法，其中，针对所述重放存储器中的每个经验元组的所述预期学习进展量度是通过使用所述经验元组来对所述神经网络进行训练进行的诱发权重变化的范数。
14.一种使用优先化经验存储器训练神经网络的系统，所述系统包括一个或多个计算机和存储指令的一个或多个存储设备，所述指令在由所述一个或多个计算机执行时可操作为使所述一个或多个计算机执行权利要求1至13中的任一项的相应的方法的操作。
15.一种编码有指令的非暂时性计算机可读存储介质，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行权利要求1至13中的任一项的相应的方法的操作。
CN201680066410.3A 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络 Active CN108701252B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202410032334.0A CN117910543A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410037883.7A CN117910545A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410035947.XA CN117910544A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562254610P 2015-11-12 2015-11-12
US62/254,610 2015-11-12
PCT/US2016/061693 WO2017083767A1 (en) 2015-11-12 2016-11-11 Training neural networks using a prioritized experience memory

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202410037883.7A Division CN117910545A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410032334.0A Division CN117910543A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410035947.XA Division CN117910544A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络

Publications (2)

Publication Number Publication Date
CN108701252A CN108701252A (zh) 2018-10-23
CN108701252B true CN108701252B (zh) 2024-02-02

Family

ID=57485888

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201680066410.3A Active CN108701252B (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410032334.0A Pending CN117910543A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410037883.7A Pending CN117910545A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410035947.XA Pending CN117910544A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202410032334.0A Pending CN117910543A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410037883.7A Pending CN117910545A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络
CN202410035947.XA Pending CN117910544A (zh) 2015-11-12 2016-11-11 使用优先化经验存储器训练神经网络

Country Status (6)

Country Link
US (5) US10650310B2 (zh)
EP (2) EP4492282A2 (zh)
JP (2) JP6621923B2 (zh)
KR (1) KR102191444B1 (zh)
CN (4) CN108701252B (zh)
WO (1) WO2017083767A1 (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102191444B1 (ko) * 2015-11-12 2020-12-15 딥마인드 테크놀로지스 리미티드 우선순위화된 경험 메모리를 사용한 신경 네트워크의 트레이닝
WO2017189859A1 (en) * 2016-04-27 2017-11-02 Neurala, Inc. Methods and apparatus for pruning experience memories for deep neural network-based q-learning
EP3523760B1 (en) * 2016-11-04 2024-01-24 DeepMind Technologies Limited Reinforcement learning systems
KR102399535B1 (ko) * 2017-03-23 2022-05-19 삼성전자주식회사 음성 인식을 위한 학습 방법 및 장치
US20180314925A1 (en) * 2017-04-27 2018-11-01 Facebook, Inc. Systems and methods for sending notifications based on predicted effectiveness
CN107292392B (zh) * 2017-05-11 2019-11-22 苏州大学 基于深度带权双q学习的大范围监控方法及监控机器人
KR102391452B1 (ko) * 2017-06-02 2022-04-27 에스케이텔레콤 주식회사 신경망에 복수의 태스크를 순차 학습시키는 방법
US11604941B1 (en) * 2017-10-27 2023-03-14 Deepmind Technologies Limited Training action-selection neural networks from demonstrations using multiple losses
US11037056B2 (en) * 2017-11-21 2021-06-15 Distech Controls Inc. Computing device and method for inferring a predicted number of data chunks writable on a flash memory before wear out
US20190311042A1 (en) * 2018-04-04 2019-10-10 Didi Research America, Llc Intelligent incentive distribution
JP6970949B2 (ja) * 2018-06-11 2021-11-24 Ｎｅｃソリューションイノベータ株式会社 行動学習装置
CN112567395B (zh) 2018-06-12 2024-09-13 鹰图公司 计算机辅助调度系统的人工智能应用
US11397888B2 (en) 2018-06-14 2022-07-26 Accenture Global Solutions Limited Virtual agent with a dialogue management system and method of training a dialogue management system
US10679613B2 (en) 2018-06-14 2020-06-09 Accenture Global Solutions Limited Spoken language understanding system and method using recurrent neural networks
JP7016295B2 (ja) * 2018-06-28 2022-02-04 三菱重工業株式会社 意思決定装置、無人システム、意思決定方法、及びプログラム
US11132211B1 (en) * 2018-09-24 2021-09-28 Apple Inc. Neural finite state machines
US12026610B2 (en) * 2018-09-25 2024-07-02 International Business Machines Corporation Reinforcement learning by sharing individual data within dynamic groups
EP3834138B1 (en) * 2018-09-27 2024-06-26 DeepMind Technologies Limited Reinforcement learning neural networks grounded in learned visual entities
FR3087922A1 (fr) * 2018-10-31 2020-05-01 Amadeus S.A.S. Procédés et systèmes d'apprentissage de renforcement pour le contrôle d'inventaire et l'optimisation
US11199846B2 (en) * 2018-11-29 2021-12-14 Baidu Usa Llc Learning-based dynamic modeling methods for autonomous driving vehicles
US20200241542A1 (en) * 2019-01-25 2020-07-30 Bayerische Motoren Werke Aktiengesellschaft Vehicle Equipped with Accelerated Actor-Critic Reinforcement Learning and Method for Accelerating Actor-Critic Reinforcement Learning
KR102576157B1 (ko) 2019-02-22 2023-09-07 한국전자통신연구원 인공 신경망을 이용한 고속 객체 검출 방법 및 장치
CN110308873B (zh) * 2019-06-24 2023-04-07 浙江大华技术股份有限公司 一种数据存储方法、装置、设备及介质
CN114051444B (zh) * 2019-07-01 2024-04-26 库卡德国有限公司 借助于至少一个机器人执行应用
CN110414618B (zh) * 2019-08-05 2023-07-14 上海图趣信息科技有限公司 一种动态平衡分类数据的神经网络训练系统、方法及存储介质
US11574244B2 (en) 2019-09-12 2023-02-07 International Business Machines Corporation States simulator for reinforcement learning models
CN110738860B (zh) * 2019-09-18 2021-11-23 平安科技（深圳）有限公司 基于强化学习模型的信息控制方法、装置和计算机设备
KR102272501B1 (ko) * 2020-04-24 2021-07-01 연세대학교 산학협력단 분산 강화 학습 장치 및 방법
US20220012309A1 (en) * 2020-07-10 2022-01-13 Nice Ltd. Systems and methods for applying semi-discrete calculus to meta machine learning
EP3961507A1 (en) * 2020-08-28 2022-03-02 Tata Consultancy Services Limited Optimal policy learning and recommendation for distribution task using deep reinforcement learning model
US20220101064A1 (en) 2020-09-29 2022-03-31 Sony Corporation Task prioritized experience replay algorithm for reinforcement learning
US20240104388A1 (en) * 2021-02-04 2024-03-28 Deepmind Technologies Limited Temporal difference scaling when controlling agents using reinforcement learning
CN113190542B (zh) * 2021-05-19 2023-02-24 西安图迹信息科技有限公司 一种电网用大数据清洗去噪方法、系统和计算机存储介质
US11385925B1 (en) * 2021-07-06 2022-07-12 Bank Of America Corporation System and method for provisioning hosted virtual desktop resources to remote users
WO2023212260A1 (en) * 2022-04-28 2023-11-02 Theai, Inc. Agent-based training of artificial intelligence character models
WO2023212808A1 (en) * 2022-05-06 2023-11-09 Ai Redefined Inc. Systems and methods for managing interaction records between ai agents and human evaluators

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003158B1 (en) * 2002-02-14 2006-02-21 Microsoft Corporation Handwriting recognition with mixtures of Bayesian networks

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473851B1 (en) * 1999-03-11 2002-10-29 Mark E Plutowski System for combining plurality of input control policies to provide a compositional output control policy
US9679258B2 (en) * 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US10095718B2 (en) * 2013-10-16 2018-10-09 University Of Tennessee Research Foundation Method and apparatus for constructing a dynamic adaptive neural network array (DANNA)
KR102191444B1 (ko) * 2015-11-12 2020-12-15 딥마인드 테크놀로지스 리미티드 우선순위화된 경험 메모리를 사용한 신경 네트워크의 트레이닝
WO2018083671A1 (en) * 2016-11-04 2018-05-11 Deepmind Technologies Limited Reinforcement learning with auxiliary tasks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003158B1 (en) * 2002-02-14 2006-02-21 Microsoft Corporation Handwriting recognition with mixtures of Bayesian networks

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Multi-Agent的动态在线议价模型;张虹;邱玉辉;;计算机科学(第12期);85-87+109 *
多标签数据挖掘技术:研究综述;李思男;李宁;李战怀;;计算机科学(第04期);20-27 *

Also Published As

Publication number Publication date
CN108701252A (zh) 2018-10-23
CN117910543A (zh) 2024-04-19
US20250045583A1 (en) 2025-02-06
EP3360086A1 (en) 2018-08-15
US20180260707A1 (en) 2018-09-13
US12086714B2 (en) 2024-09-10
EP4492282A2 (en) 2025-01-15
US20200265312A1 (en) 2020-08-20
US11568250B2 (en) 2023-01-31
JP2020047285A (ja) 2020-03-26
WO2017083767A1 (en) 2017-05-18
JP6621923B2 (ja) 2019-12-18
CN117910545A (zh) 2024-04-19
JP2018537775A (ja) 2018-12-20
US10282662B2 (en) 2019-05-07
KR102191444B1 (ko) 2020-12-15
US10650310B2 (en) 2020-05-12
CN117910544A (zh) 2024-04-19
JP6828121B2 (ja) 2021-02-10
EP3360086B1 (en) 2024-10-23
US20170140269A1 (en) 2017-05-18
KR20180091842A (ko) 2018-08-16
US20230244933A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
CN108701252B (zh) 使用优先化经验存储器训练神经网络
US11783182B2 (en) Asynchronous deep reinforcement learning
US11803750B2 (en) Continuous control with deep reinforcement learning
CN109690576B (zh) 在多个机器学习任务上训练机器学习模型
CN110235148B (zh) 训练动作选择神经网络
CN106462803B (zh) 增强具有外部存储器的神经网络
JP2018537773A (ja) デュエリングディープニューラルネットワーク
JP2019517075A (ja) 比較セットを使用する入力例の分類
US11720796B2 (en) Neural episodic control
US11893480B1 (en) Reinforcement learning with scheduled auxiliary control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant