CN113847419A - 车辆用控制装置、车辆用控制系统、车辆用学习装置及车辆用学习方法 - Google Patents

Abstract

本发明公开车辆用控制装置、车辆用控制系统、车辆用学习装置及车辆用学习方法。车辆用控制装置具备执行装置和存储装置。在所述存储装置中，存储有关系规定数据，该关系规定数据用于规定车辆的状态与作为与搭载于所述车辆的变速装置的操作有关的变量的行动变量的关系。所述执行装置构成为执行获取处理、操作处理、报酬计算处理、更新处理、计数处理以及限制处理。所述执行装置构成为根据更新映射，输出以使依照所述关系规定数据而操作所述变速装置的情况下的期待收益增加的方式更新后的所述关系规定数据。

Description

车辆用控制装置、车辆用控制系统、车辆用学习装置及车辆用 学习方法

技术领域

本发明涉及车辆用控制装置、车辆用控制系统、车辆用学习装置以及车辆用学习方法。

背景技术

例如，在下述日本特开2000-250602中，记载有通过强化学习来决定与车辆的状态相应的适当的变速比。

发明内容

发明者研究了通过强化学习来学习用于变速比的切换的操作量。但是，在即使学习进展也无法缩小搜索范围的情况下，直至搜索到最佳值为止的时间有可能会变长。

本发明的第一方式提供一种车辆用控制装置，具备执行装置以及存储装置，在所述存储装置中存储有关系规定数据，该关系规定数据用于规定车辆的状态与行动变量的关系，所述行动变量是与搭载于所述车辆的变速装置的操作有关的变量，所述执行装置构成为执行：获取处理，获取基于传感器的检测值的所述车辆的状态；操作处理，基于根据通过所述获取处理而获取到的所述车辆的状态和所述关系规定数据确定的所述行动变量的值来操作所述变速装置；报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下，提供比所述车辆的特性不满足基准的情况大的报酬；更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据；计数处理，对基于所述更新处理的更新次数进行计数；以及限制处理，在所述更新次数大的情况下，与所述更新次数小的情况相比，将所述关系规定数据所表示的所述行动变量的值中的除了使关于所述报酬的期待收益最大化的值以外的值被所述操作处理采用的范围限制在缩小的一侧，所述执行装置构成为根据更新映射，输出以使依照所述关系规定数据而操作所述变速装置的情况下的所述期待收益增加的方式更新后的所述关系规定数据。

当将强化学习持续某种程度时，使关系规定数据所表示的期待收益最大化的行动接近于实际地使收益增大的行动。因此，当在关系规定数据的更新次数变大某种程度时，采用从使关系规定数据所表示的期待收益最大化的行动大幅偏离的行动而过度地持续进行搜索的情况下，在将使关系规定数据所表示的期待收益增大的行动接近于实际地使收益增大的行动方面，有可能会成为不需要的工时。因而，在上述结构中，在更新次数大的情况下，与更新次数小的情况相比，将使关系规定数据所表示的期待收益最大化的值以外的值被采用的范围限制在缩小的一侧。换言之，将搜索范围限制在缩小的一侧。由此，能够将使关系规定数据所表示的期待收益最大化的行动提前接近于实际地使收益增大的行动。

在上述方式中，所述限制处理也可以包括：在所述更新次数大的情况下，与所述更新次数小的情况相比，将基于所述更新处理的更新量限制在小的一侧的处理。在将基于通过一次的搜索而得到的报酬的关系规定数据的更新量设为恒定的情况下，使关系规定数据所表示的期待收益最大化的行动发生变动的期间有可能会变长。因而，在上述结构中，在更新次数大的情况下将更新量限制在小的一侧，从而抑制在强化学习进展之后进行一次搜索的结果关系规定数据被更新得大的现象。由此，能够将使关系规定数据所表示的期待收益最大化的行动提前接近于实际地使收益增大的行动。

在上述方式中，所述报酬计算处理也可以包括：在变速比的切换期间中的发热量小的情况下提供比变速比的切换期间中的发热量大的情况大的报酬的处理和即使是相同的发热量也根据变速的种类来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为变速的种类不同而不同。因此，关于作为这些所需要素之一的发热量，当在相同的发热量的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据变速的种类，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，关于作为这些所需要素之一的发热量，当在相同的发热量的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据变速的种类来变更对相同的发热量提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述方式中，所述报酬计算处理也可以包括：在作为变速比的切换所需的时间的变速时间小的情况下提供比变速时间大的情况大的报酬的处理和即使是相同的变速时间也根据变速的种类来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为变速的种类不同而不同。因此，关于作为这些所需要素之一的变速时间，当在相同的变速时间的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据变速的种类，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，关于作为这些所需要素之一的变速时间，当在相同的变速时间的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据变速的种类来变更对相同的变速时间提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述方式中，所述报酬计算处理也可以包括：在变速比的切换期间中的所述变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下提供比所述超过量大的情况大的报酬的处理和即使所述超过量相同也根据变速的种类来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为变速的种类不同而不同。因此，当在作为这些所需要素之一的超过量相同的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据变速的种类，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，当在作为这些所需要素之一的超过量相同的情况下不论变速的种类如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据变速的种类来变更在超过量相同的情况下提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述方式中，所述报酬计算处理也可以包括：在变速比的切换期间中的发热量小的情况下提供比变速比的切换期间中的发热量大的情况大的报酬的处理和即使是相同的发热量也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为加速器操作量的大小不同而不同。因此，关于作为这些所需要素之一的发热量，当在相同的发热量的情况下不论加速器操作量的大小如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据加速器操作量，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，关于作为这些所需要素之一的发热量，当在相同的发热量的情况下不论加速器操作量如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据加速器操作量的大小来变更对相同的发热量提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述方式中，所述报酬计算处理也可以包括：在作为变速比的切换所需的时间的变速时间小的情况下提供比变速时间大的情况大的报酬的处理和即使是相同的变速时间也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为加速器操作量的大小不同而不同。因此，关于作为这些所需要素之一的变速时间，当在相同的变速时间的情况下不论加速器操作量的大小如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据加速器操作量，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，关于作为这些所需要素之一的变速时间，当在相同的变速时间的情况下不论加速器操作量如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据加速器操作量的大小来变更对相同的变速时间提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

在上述方式中，所述报酬计算处理也可以包括：在变速比的切换期间中的所述变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下提供比所述超过量大的情况大的报酬的处理和即使所述超过量相同也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

在变速比的切换时所需的事项各种各样，关于这些多个所需要素彼此的优先级，也可能因为加速器操作量的大小不同而不同。因此，在作为这些所需要素之一的超过量相同的情况下不论加速器操作量的大小如何都将报酬的大小设为相同的情况下，有可能会难以得到满足优先级高的所需要素的学习结果。另外，根据加速器操作量，按照预定的基准分别满足多个所需要素的困难度可能不同。因此，在作为这些所需要素之一的超过量相同的情况下不论加速器操作量如何都将报酬的大小设为相同的情况下，有可能会难以满足所需要素。因而，在上述结构中，根据加速器操作量的大小来变更在超过量相同的情况下提供的报酬，从而能够提高得到满足优先级高的所需要素的学习结果的可靠性，或者顺利地推进学习。

本发明的第二方式提供一种车辆用控制系统，具备上述第一方式的车辆用控制装置中的所述执行装置以及所述存储装置，所述执行装置包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置，所述第1执行装置构成为至少执行所述获取处理以及所述操作处理，所述第2执行装置构成为至少执行所述更新处理。

在上述结构中，由第2执行装置执行更新处理，从而与第1执行装置执行更新处理的情况相比，能够减轻第1执行装置的运算负荷。此外，第2执行装置是与车载装置不同的装置意味着第2执行装置不是车载装置。

本发明的第三方式提供一种车辆用控制装置，具备上述方式的车辆用控制系统中的第1执行装置。

本发明的第四方式提供一种车辆用学习装置，具备上述方式的车辆用控制系统中的第2执行装置。

本发明的第五方式提供一种车辆用学习方法，使计算机执行上述方式中的所述获取处理、所述操作处理、所述报酬计算处理、所述更新处理、所述计数处理以及所述限制处理。

根据上述方法，起到与上述方式同样的效果。

附图说明

下面将参照附图说明本发明的示例性实施例的特征、优点以及技术和工业上的意义，其中相同的符号表示相同的元件，其中：

图1是示出第1实施方式的控制装置及其驱动系统的图。

图2是示出该实施方式的控制装置执行的处理的次序的流程图。

图3是示出该实施方式的控制装置执行的处理的一部分的详细的次序的流程图。

图4是示出该实施方式的控制装置执行的处理的次序的流程图。

图5是示出第2实施方式的控制装置执行的处理的次序的流程图。

图6是示出第3实施方式的车辆用控制系统的结构的图。

图7的(a)部分以及(b)部分是示出车辆用控制系统执行的处理的次序的流程图。

具体实施方式

<第1实施方式>

如图1所示，动力分割装置20机械性地连结于内燃机10的曲轴12。动力分割装置20将内燃机10、第1电动发电机22以及第2电动发电机24的动力进行分割。动力分割装置20具备行星齿轮机构，对行星齿轮机构的行星轮架C机械性地连结有曲轴12，对太阳齿轮S机械性地连结有第1电动发电机22的旋转轴22a，对齿圈R机械性地连结有第2电动发电机24的旋转轴24a。此外，第1逆变器23的输出电压被施加到第1电动发电机22的端子。另外，第2逆变器25的输出电压被施加到第2电动发电机24的端子。

对动力分割装置20的齿圈R除了连结有第2电动发电机24的旋转轴24a以外，进而，经由变速装置26机械性地连结有驱动轮30。另外，对行星轮架C机械性地连结有油泵32的从动轴32a。油泵32是吸入油盘34内的油并作为工作油排出到变速装置26的泵。此外，从油泵32排出的工作油通过变速装置26内的油压控制电路28而其压力被调整而用作工作油。油压控制电路28具备多个电磁阀28a，是通过这些各电磁阀28a的通电来控制工作油的流动状态、工作油的油压的电路。

控制装置40将内燃机10作为控制对象，为了控制作为其控制量的转矩、排气成分比率等，对内燃机10的各种操作部进行操作。另外，控制装置40将第1电动发电机22作为控制对象，为了控制作为其控制量的转矩、转速等，对第1逆变器23进行操作。另外，控制装置40将第2电动发电机24作为控制对象，为了控制作为其控制量的转矩、转速等，对第2逆变器25进行操作。

控制装置40在控制上述控制量时，参照曲柄角传感器50的输出信号Scr、探测第1电动发电机22的旋转轴22a的旋转角的第1旋转角传感器52的输出信号Sm1、探测第2电动发电机24的旋转轴24a的旋转角的第2旋转角传感器54的输出信号Sm2。另外，控制装置40参照由油温传感器56检测的油的温度即油温Toil、由车速传感器58检测的车速SPD、由加速器传感器62检测的加速器踏板60的踩踏量即加速器操作量ACCP。

控制装置40具备CPU42、ROM44、作为能够电改写的非易失性存储器的存储装置46以及周边电路48，它们能够经由局域网49进行通信。在此，周边电路48包括生成规定内部的动作的时钟信号的电路、电源电路、复位电路等。控制装置40通过由CPU42执行存储于ROM44的程序，从而对控制量进行控制。

图2示出控制装置40执行的处理的次序。图2所示的处理是通过由CPU42例如以预定周期反复执行存储于ROM44的学习程序DPL而实现的。此外，以下，通过在前头赋予有“S”的数字来表达各处理的步骤编号。

在图2所示的一连串的处理中，CPU42首先判定当前是否是进行变速比的切换的期间，换言之是否是变速期间(S10)。CPU42在判定为是变速期间的情况下(S10：是)，获取作为状态s的加速器操作量ACCP、变速变量ΔVsft、油温Toil、阶段(phase)变量Vpase以及第2电动发电机24的转速Nm2(S12)。在此，变速变量ΔVsft是确定是从1档向2档的变速还是从2档向1档的变速等的、变速比的切换前和切换后的变量。换言之，是确定变速的种类的变量。另外，阶段变量Vpase是确定决定变速期间中的变速的等级的3个阶段中的哪个阶段的变量。

即，在本实施方式中，将变速期间划分为阶段1、阶段2以及阶段3。在此，阶段1是从变速比的切换控制的开始时至经过预先决定的时间为止的期间。阶段2是从阶段1的结束时至转矩相的结束时为止的期间。换言之，是由于变速比的切换而从接合状态切换到释放状态的摩擦卡合元件的转矩传递率成为零为止的期间。CPU42根据实际的输入轴的转速相对于根据变速装置26的输出轴的转速和变速比的切换前的变速比确定的输入轴的转速的偏差，判定阶段2的终点。此外，将输入轴的转速设为转速Nm2即可。另外CPU42根据车速SPD来计算输出轴的转速。阶段3是从阶段2的结束时至变速完成为止的期间。顺便说一下，上述转速Nm2是由CPU42根据输出信号Sm2来计算出的。

状态s是由存储于图1所示的存储装置46的关系规定数据DR规定与行动变量的关系的变量的值。在此，在本实施方式中，作为行动变量，例示驱动与变速比的切换相关的摩擦卡合元件的工作油的油压指令值。详细而言，关于阶段1以及阶段2，在相应期间设为恒定的油压指令值，关于阶段3，设为以恒定速度上升的油压指令值。此外，关系规定数据DR实际所包含的阶段3的行动变量可以是压力上升速度。

具体而言，关系规定数据DR包含行动价值函数Q。行动价值函数Q是将状态s以及行动a作为独立变量，将对这些状态s以及行动a期待的收益作为从属变量的函数。在本实施方式中，将行动价值函数Q设为表格形式的函数。

接下来，CPU42根据由关系规定数据DR规定的策略π，计算行动变量的值(S14)。在本实施方式中，作为策略例示ε贪婪策略。即，例示决定如下规则的策略：在提供了状态s时，优先地选择独立变量成为所提供的状态s的行动价值函数Q中的最大的行动(以下，称为贪婪行动ag)，但以预定的概率选择除此以外的行动。具体而言，在用“|A|”表示行动可取的值的总数的情况下，将采取贪婪行动以外的行动的概率分别设为“ε/|A|”。

顺便说一下，在本实施方式中，鉴于将行动价值函数Q设为表格形式的数据，作为独立变量的状态s具有一定的宽度。即，例如，关于加速器操作量ACCP，在以10％间隔定义行动价值函数Q的情况下，在加速器操作量ACCP是“3％”的情况和是“6％”的情况下不会仅根据其而被设为不同的状态s。

接下来，CPU42以使电磁阀28a的通电电流I成为根据油压指令值P＊确定的值的方式对通电电流I进行操作(S16)。然后，CPU42计算激增量ΔNm2以及发热量CV(S18)。

激增量ΔNm2是对变速期间中的变速装置26的输入轴的转速的跳涨量进行定量化而成的，被计算为转速Nm2相对于作为预先决定的基准的转速Nm2＊的超过量。在此，CPU42根据加速器操作量ACCP、车速SPD以及变速变量ΔVsft来设定作为基准的转速Nm2＊。该处理是能够通过在将加速器操作量ACCP、车速SPD以及变速变量ΔVsft作为输入变量，将作为基准的转速Nm2＊作为输出变量的映像数据预先存储于ROM44的状态下由CPU42对作为基准的转速Nm2＊进行映像运算而实现的。此外，映像数据是指输入变量的离散值和与输入变量的值分别对应的输出变量的值的组数据。另外，映像运算例如为如下处理即可：在输入变量的值与映像数据的输入变量的值中的任意值一致的情况下，将对应的映像数据的输出变量的值作为运算结果，相对于此，在不一致的情况下，将通过映像数据中包含的多个输出变量的值的插值而得到的值作为运算结果。

另一方面，在本实施方式中，发热量CV计算为与从释放状态以及接合状态这两个状态的一方转移到另一方时的摩擦卡合元件的一对的转速差与对它们施加的转矩之积成比例的量。详细而言，CPU42根据作为变速装置26的输入轴的转速的转速Nm2、从车速SPD掌握的变速装置26的输出轴的转速以及从加速器操作量ACCP掌握的转矩，计算发热量CV。具体而言，在将输入轴的转速、输出轴的转速以及加速器操作量ACCP作为输入变量并将发热量CV作为输出变量的映像数据预先存储于ROM44的状态下，由CPU42对发热量CV进行映像运算。

CPU42执行S16、S18的处理直至当前的阶段的完成为止(S20：否)。然后，CPU42在判定为当前的阶段完成的情况下(S20：是)，通过强化学习来更新关系规定数据DR(S22)。

此外，CPU42在完成S22的处理的情况、在S10的处理中做出否定判定的情况下，暂且结束图2所示的一连串的处理。图3示出S22的处理的详细内容。

在图3所示的一连串的处理中，CPU42首先判定阶段变量Vpase是否是“3”(S30)。然后，CPU42在判定为是“3”的情况下(S30：是)，变速完成，所以计算作为变速所需的时间的变速时间Tsft(S32)。然后，CPU42计算与变速时间Tsft相应的报酬r1(S34)。详细而言，CPU42在变速时间Tsft小的情况下，与变速时间Tsft大的情况相比，将报酬r1计算为大的值。

接下来，CPU42将通过S18的处理而以预定周期反复计算出的激增量ΔNm2中的最大值代入到激增量最大值ΔNm2max(S36)。接下来，CPU42计算与激增量最大值ΔNm2max相应的报酬r2(S38)。详细而言，CPU42在激增量最大值ΔNm2max小的情况下，与激增量最大值ΔNm2max大的情况相比，将报酬r2计算为大的值。

接下来，CPU42计算通过S18的处理而以预定周期反复计算出的发热量CV的累计值即发热量InCV(S40)。接下来，CPU42计算与发热量InCV相应的报酬r3(S42)。详细而言，CPU42在发热量InCV小的情况下，与发热量InCV大的情况相比，将报酬r3计算为大的值。

然后，CPU42将报酬r1、报酬r2以及报酬r3之和代入到针对在S16的处理中使用的行动的报酬r(S44)。另一方面，CPU42在判定为阶段变量Vpase是“1”或者“2”的情况下(S30：否)，将“0”代入到报酬r(S46)。

CPU42在S44、S46的处理完成的情况下，根据报酬r来更新在S14的处理中使用的行动价值函数Q(s，a)(S48)。此外，在S14的处理中使用的行动价值函数Q(s，a)是指将通过S12的处理而获取到的状态s和通过S14的处理而设定的行动a作为独立变量的行动价值函数Q(s，a)。

在本实施方式中，通过作为策略离线(policy-off)型的TD法的所谓的Q学习来更新行动价值函数Q(s，a)。具体而言，通过以下的式(c1)来更新行动价值函数Q(s，a)。

Q(s，a)←Q+α·{r+γ·maxQ(s+1，A)－Q(s，a)}…(c1)

在此，对行动价值函数Q(s，a)的更新量“α·{r+γ·maxQ(s+1，A)－Q(s，a)}”使用打折率γ以及学习率α。此外，打折率γ以及学习率α都是比“0”大且为“1”以下的常数。另外，在当前的阶段是阶段1、2的情况下，“maxQ(s+1，a)”意味着将阶段完成时的状态变量，即通过图2所示的一连串的处理的下次的S12的处理而应获取的状态s+1作为独立变量的行动价值函数Q中的最大值。此外，只要当前的阶段不是阶段3，就将通过图2所示的一连串的处理的下次的S12的处理而获取的状态s设为由S48的处理使用的状态s+1。另外，在当前的阶段是阶段3的情况下，将通过图2所示的一连串的处理的本次的S12的处理而获取到的状态s设为状态s+1。

接下来，CPU42使关系规定数据DR的更新次数N递增(S50)。此外，CPU42在S50的处理完成的情况下，暂且结束图3所示的一连串的处理。顺便说一下，车辆VC出厂时的关系规定数据DR是在与车辆VC相同的规格的试制车等中通过与图2的处理同样的处理进行了学习的数据。即，图2的处理是用于通过强化学习将在车辆VC出厂前设定的油压指令值P＊更新为车辆VC实际地在道路上行驶时的适当的值的处理。

图4示出与搜索范围以及学习率α的设定有关的处理的次序。图4所示的处理是通过由CPU42例如以预定周期反复执行存储于ROM44的程序而实现的。

在图4所示的一连串的处理中，CPU42首先判定更新次数N是否为第1预定值N1以下(S60)。第1预定值N1被设定为设想为在车辆VC出厂之后与该车辆VC的个体差异等相应的学习被进展某种程度的次数。

CPU42在判定为第1预定值N1以下的情况下(S60：是)，将初始值α0代入到学习率α(S62)。另外，CPU42将用于搜索的行动的范围A设定为最宽的初始范围A0(S64)。初始范围A0在排除如促进变速装置26的劣化那样的异常的行动的条件下容许尽可能多的行动。

另一方面，CPU42在判定为比第1预定值N1大的情况下(S60：否)，判定是否为第2预定值N2以下(S66)。第2预定值N2被设定为比第1预定值N1大的值。CPU42在判定为第2预定值N2以下的情况下(S66：是)，将对初始值α0乘以校正系数k1而得到的值代入到学习率α(S68)。在此，校正系数k1是比“0”大且比“1”小的值。另外，CPU42将用于搜索的行动的范围A限制在与当前时间点下的贪婪行动ag之差为第1规定值δ1以下的范围(S70)。但是，设为该范围是包含于初始范围A0的范围。

另一方面，CPU42在判定为比第2预定值N2大的情况下(S66：否)，判定是否为第3预定值N3以下(S72)。第3预定值N3被设定为比第2预定值N2大的值。CPU42在判定为第3预定值N3以下的情况下(S72：是)，将对初始值α0乘以校正系数k2而得到的值代入到学习率α(S74)。在此，校正系数k2是比“0”大且比校正系数k1小的值。另外，CPU42将用于搜索的行动的范围A限制在与当前时间点下的贪婪行动ag之差为第2规定值δ2以下的范围(S76)。其中，第2规定值δ2比第1规定值δ1小。另外，设为该范围是包含于初始范围A0的范围。

另一方面，CPU42在判定为比第3预定值N3大的情况下(S72：否)，将对初始值α0乘以校正系数k3而得到的值代入到学习率α(S78)。在此，校正系数k3是比“0”大且比校正系数k2小的值。另外，CPU42将用于搜索的行动的范围A限制在与当前时间点下的贪婪行动ag之差为第3规定值δ3以下的范围(S80)。但是，第3规定值δ3比第2规定值δ2小。另外，设为该范围是包含于初始范围A0的范围。

此外，CPU42在S64、S70、S76、S80的处理完成的情况下，暂且结束图4所示的一连串的处理。在此，说明本实施方式的作用以及效果。

CPU42在变速期间，选择贪婪行动ag来操作电磁阀28a的通电电流，但以预定的概率使用贪婪行动以外的行动来搜索更好的油压指令值P＊。然后，CPU42通过Q学习来更新为了决定油压指令值P＊而利用的行动价值函数Q。由此，能够通过强化学习来学习车辆VC实际地行驶时的适当的油压指令值P＊。

另外，CPU42随着关系规定数据DR的更新次数N变大，将搜索的行动a的范围缩小到从该时间点的贪婪行动ag不太脱离的范围。在此，在更新次数N变大的情况下，认为关系规定数据DR所表示的贪婪行动ag近似于使收益实际增大的行动。因而，通过缩小搜索范围，能够抑制进行实际地采用不可能成为最佳的值的行动的搜索。因此，能够将关系规定数据DR所表示的贪婪行动ag提前接近于使收益实际地增大的行动。

根据以上说明的本实施方式，进而能够得到以下记载的作用以及效果。(1)随着更新次数N变大，将学习率α变更为小的值。由此，能够随着更新次数N变大，将关系规定数据DR的更新量限制在小的一侧。而且，由此，能够抑制在强化学习进展之后进行一次搜索的结果关系规定数据DR被更新为大的现象。由此，能够将关系规定数据DR所表示的贪婪行动ag提前接近于实际地使收益增大的行动。

<第2实施方式>

以下，以与第1实施方式的不同点为中心，参照附图说明第2实施方式。

图5示出本实施方式的S22的处理的详细的次序。图5所示的处理是通过由CPU42执行存储于ROM44的学习程序DPL而实现是。

在图5所示的一连串的处理中，CPU42对与变速时间Tsft相应的报酬r1的计算处理(S34a)、与激增量最大值ΔNm2max相应的报酬r2的计算处理(S38a)、与发热量InCV相应的报酬r3的计算处理(S42a)使用加速器操作量ACCP以及变速变量ΔVsft。

在此，根据加速器操作量ACCP、变速的种类来提供报酬r1、r2、r3是基于以下的理由。第1是用于根据加速器操作量ACCP以及变速变量ΔVsft，以使针对与变速时间Tsft具有强相关的加速器响应、与激增量最大值ΔNm2max具有强相关的驾驶性、发热量InCV这3个所需要素的优先级不同的方式学习贪婪行动ag的设定。

即，例如与从1档向2档的切换时相比，在从2档向1档的切换时设为加速器响应的优先级高的情况下，与从1档向2档的切换时相比，在从2档向1档的切换时，增大针对相同的变速时间Tsft的报酬的绝对值。而且，在该情况下，例如，针对从1档向2档的切换，提高发热量InCV的优先级，由此与从2档向1档的切换时相比，增大针对相同的发热量InCV的报酬r3的绝对值即可。

第2是因为由于根据加速器操作量ACCP、变速的种类而被施加到变速装置26的转矩、转速不同等，所以激增量最大值ΔNm2max、变速时间Tsft以及发热量InCV可取的值根据加速器操作量ACCP、变速的种类而不同。因此，如果不论加速器操作量ACCP、变速的种类如何都对变速时间Tsft等一律提供相同的报酬r1，则有可能难以进行学习。

这样，在本实施方式中，根据加速器操作量ACCP以及变速变量ΔVsft而使报酬r1、r2、r3成为可变，从而能够进行反映了针对变速时间Tsft、激增量ΔNm2以及发热量InCV的优先级根据加速器操作量ACCP、变速的种类而不同的学习。另外，鉴于根据加速器操作量ACCP而激增量最大值ΔNm2max、变速时间Tsft以及发热量InCV可取的值不同，能够提供报酬r1～r3，进而能够顺利地推进学习。

<第3实施方式>

以下，以与第1实施方式的不同点为中心，参照附图说明第3实施方式。

图6示出本实施方式的系统的结构。此外，关于在图6中与图1所示的构件对应的构件，为了方便附加相同的符号，省略其说明。如图6所示，车辆VC(1)的控制装置40具备通信机47，能够利用通信机47，经由外部的网络80而与数据解析中心90进行通信。

数据解析中心90对从多个车辆VC(1)、VC(2)、…发送的数据进行解析。数据解析中心90具备CPU92、ROM94、存储装置96以及通信机97，它们能够经由局域网99进行通信。此外，存储装置96是能够电改写的非易失性的装置，存储有关系规定数据DR。

图7示出本实施方式的强化学习的处理次序。图7的(a)部分所示的处理是通过由CPU42执行存储于图6所示的ROM44的学习子程序DPLa而实现的。另外，图7的(b)部分所示的处理是通过由CPU92执行存储于ROM94的学习主程序DPLb而实现的。此外，关于在图7中与图2所示的处理对应的处理，为了方便附加有相同的步骤编号。以下，按照强化学习的时间序列，说明图7所示的处理。

在图7的(a)部分所示的一连串的处理中，控制装置40的CPU42首先当执行S10～S18的处理时，判定变速是否完成(S80)。然后，CPU42在判定为变速完成的情况下(S80：是)，操作通信机97，将在基于关系规定数据DR的强化学习的更新中使用的数据与车辆VC(1)的识别记号一起发送(S82)。在该数据中，包含状态s、行动a、激增量ΔNm2、发热量CV等。

相对于此，如图7的(b)部分所示，数据解析中心90的CPU92接收用于更新关系规定数据DR的数据(S90)。然后，CPU92根据接收到的数据，执行S22的处理。然后，CPU92通过操作通信机97，将用于更新关系规定数据DR的数据发送到通过S90的处理而接收到的数据的发送源(S92)。此外，CPU92在完成S92的处理的情况下，暂且结束图7的(b)部分所示的一连串的处理。

相对于此，如图7的(a)部分所示，CPU42接收更新用的数据(S84)。然后，CPU42根据接收到的数据，更新在S14的处理中利用的关系规定数据DR(S86)。此外，CPU42在完成S86的处理的情况、在S10、S80的处理中做出否定判定的情况下，暂且结束图7的(a)部分所示的一连串的处理。顺便说一下，CPU42在当在S80的处理中做出否定判定之后再次执行图7的(a)部分所示的一连串的处理的情况下，除了是阶段的起始点的情况之外，不会通过S12～S16的处理来新更新行动a。即，在该情况下，仅新执行S18的处理。

这样，根据本实施方式，在车辆VC1的外部进行关系规定数据DR的更新处理，所以能够减轻控制装置40的运算负荷。进而，例如在S90的处理中，要是接收来自多个车辆VC(1)、VC(2)、…的数据而进行S22的处理，就能够容易地增大用于学习的数据数。

<对应关系>

上述实施方式中的事项与本发明的对应关系如下。在本发明中，执行装置对应于CPU42以及ROM44，存储装置对应于存储装置46。获取处理对应于S12、S32、S36、S40的处理，操作处理对应于S16的处理。报酬计算处理对应于图3中的S34、S38、S42的处理、图5中的S34a、S38a、S42a的处理。更新处理对应于S48的处理。计数处理对应于S50的处理，限制处理对应于S64、S70、S76、S80的处理。更新映射对应于根据执行学习程序DPL中的S48的处理的指令而规定的映射。换言之，更新映射对应于通过上述式(c1)规定的映射。在本发明中，限制处理对应于S62、S68、S74、S78的处理。在本发明中，第1执行装置对应于CPU42以及ROM44，第2执行装置对应于CPU92以及ROM94。在本发明中，计算机对应于图1的CPU42、图6的CPU42、92。

<其它实施方式>

此外，本实施方式能够以如下方式进行变更而实施。本实施方式以及以下的变更例能够在技术上不矛盾的范围相互组合实施。

“关于在基于关系规定数据的行动变量的值的选择中利用的状态”

·作为在基于关系规定数据的行动变量的值的选择中利用的状态，不限于在上述实施方式中例示出的状态。例如，作为关于阶段2、阶段3取决于此前的行动变量的值的状态变量，不限于转速Nm2，例如可以是激增量ΔNm2。另外，例如，也可以设为发热量。可是，例如在如“关于更新映射”这栏所记载那样使用利润分享(profit-sharing)的算法的情况等下，也可以使关于阶段2、阶段3取决于此前的行动变量的值的状态变量不包含于在行动变量的值的选择中利用的状态。

使加速操作量ACCP包含于状态变量不是必须的。使油温Toil包含于状态变量不是必须的。使阶段变量Vpase包含于状态变量不是必须的。例如也可以使从变速开始起的时间、输入轴的转速、变速变量ΔVsft包含于状态变量，构成指定每次的行动的行动价值函数Q，使用该行动价值函数来进行强化学习。在该情况下，将变速期间不预先指定为3个阶段。

“关于行动变量”

在上述实施方式中，将阶段3的行动变量设为压力上升速度，但不限于此，例如也可以对阶段3进一步进行细分化而设为这些各等级下的压力指令值。

在上述实施方式中，将压力指令值、压力上升速度设为行动变量，但不限于此，例如也可以设为向电磁阀28a的通电电流的指令值、指令值的变化速度。

“关于关系规定数据”

在上述实施方式中，将行动价值函数Q设为表格形式的函数，但不限于此。例如，也可以使用函数近似器。

例如，也可以代替使用行动价值函数Q，而利用将状态s以及行动a作为独立变量并将采取行动a的概率作为从属变量的函数近似器表达策略π，根据报酬r来更新决定函数近似器的参数。

在如“关于操作处理”以及“关于关系规定数据”这栏所记载那样将行动价值函数Q设为函数近似器的情况下，对于关于上述实施方式中的作为表格形式的函数的独立变量的行动的离散值的各个离散值，与状态s一起输入到行动价值函数Q，从而选择使行动价值函数Q最大化的行动a即可。

在如“关于关系规定数据”这栏所记载那样将策略π设为将状态s以及行动a作为独立变量并将采取行动a的概率作为从属变量的函数近似器的情况下，根据由策略π表示的概率来选择行动a即可。

“关于更新映射”

在S48的处理中，例示出作为策略离线型TD法的所谓的Q学习，但不限于此。例如，也可以采用作为策略在线型TD法的所谓的SARSA法。然而，不限于采用TD法，例如，也可以使用蒙特卡洛法，或者使用资格追踪法。

作为基于报酬的关系规定数据的更新映射，例如也可以使用遵循利润分享的算法的映射。详细而言，例如，在将使用遵循利润分享的算法的映射的例子作为图2所例示出的处理的变更例的情况下，设为如下那样即可。即，在变速完成的阶段执行报酬的计算。然后，依照强化函数将计算出的报酬分配给决定与变速相关的各状态行动对的规则。在此作为强化函数例如也可以使用公知的等比减少函数。特别是，变速时间Tsft与阶段3的行动变量的值具有强的相关，所以在分配与变速时间Tsft相应的报酬的情况下，有效的是使用等比减少函数作为强化函数。然而，不限于等比减少函数。例如，在根据发热量来提供报酬的情况下，鉴于发热量与阶段1的行动变量的值具有强的相关，也可以使与向阶段1的发热量相应的报酬的分配变得最大。

例如在如“关于关系规定数据”这栏所记载那样，使用函数近似器来表达策略π，根据报酬r来直接更新策略π的情况下，使用策略梯度法等来构成更新映射即可。

不限于仅将行动价值函数Q和策略π中的任意一方作为基于报酬r的直接的更新对象。例如，也可以如控制评价法(actor-critic method)那样分别更新行动价值函数Q以及策略π。另外，在控制评价法中，不限于此，例如也可以代替行动价值函数Q而将价值函数V作为更新对象。

“关于报酬计算处理”

在上述实施方式中，在阶段1、阶段2，将报酬r设为零，但不限于此。例如在阶段1，在阶段1中的发热量CV小的情况下，也可以提供比与阶段1中的发热量CV大的情况大的报酬。另外，例如，在阶段2，在阶段2中的发热量CV小的情况下，也可以提供比与阶段2中的发热量CV大的情况大的报酬。另外，例如，在阶段2，在阶段2中的激增量ΔNm2小的情况下，也可以提供比与阶段2中的激增量ΔNm2大的情况大的报酬。

作为在发热量小的情况下提供比发热量大的情况大的报酬的处理，不限于在发热量InCV小的情况下提供比发热量InCV大的情况大的报酬的处理。例如，也可以在变速期间内的每单位时间的发热量CV的最大值小的情况下，提供比变速期间内的每单位时间的发热量CV的最大值大的情况大的报酬。

作为表示变速装置的输入轴的转速超过作为基准的转速的超过量的变量，不限于激增量最大值ΔNm2max，例如也可以是变速期间中的激增量ΔNm2的平均值。另外，例如，也可以是对将发出变速指令时的输入轴的转速设为作为基准的转速而超过的量进行定量化的变量。

在上述实施方式中，执行在变速时间Tsft短的情况下提供比变速时间Tsft长的情况大的报酬的处理、在超过的量小的情况下提供比超过的量大的情况大的报酬的处理以及在发热量InCV小的情况下提供比发热量InCV大的情况大的报酬的处理，但不限于此。例如，关于这3个处理，也可以仅执行它们中的任意一个处理，或者例如仅执行两个。

在图5的处理中，即使变速时间Tsft相同，也根据加速器操作量ACCP和变速的种类而变更报酬r1的大小，但不限于此。例如，也可以不根据加速器操作量ACCP进行变更，而根据变速的种类进行变更。另外，例如，也可以不根据变速的种类进行变更，而根据加速器操作量ACCP进行变更。

在图5的处理中，即使激增量最大值ΔNm2max相同，也根据加速器操作量ACCP和变速的种类而变更报酬r2的大小，但不限于此。例如，也可以不根据加速器操作量ACCP进行变更，而根据变速的种类进行变更。另外，例如，也可以不根据变速的种类进行变更，而根据加速器操作量ACCP进行变更。

在图5的处理中，即使发热量InCV相同，也根据加速器操作量ACCP和变速的种类而变更报酬r3的大小，但不限于此。例如，也可以不根据加速器操作量ACCP进行变更，而根据变速的种类进行变更。另外，例如，也可以不根据变速的种类进行变更，而根据加速器操作量ACCP进行变更。

“关于车辆用控制系统”

在图7所示的例子中，在车辆侧执行了决定基于策略π的行动的处理(S14的处理)，但不限于此。例如，也可以从车辆VC1发送通过S12的处理而获取到的数据，由数据解析中心90发送而使用数据来决定行动a，将所决定的行动发送到车辆VC1。

作为车辆用控制系统，不限于由控制装置40以及数据解析中心90构成。例如，也可以代替数据解析中心90而使用用户的便携终端。另外，也可以由控制装置40以及数据解析中心90和便携终端构成车辆用控制系统。这例如能够通过由便携终端执行S14的处理而实现。

“关于执行装置”

作为执行装置，不限于具备CPU42(92)和ROM44(94)来执行软件处理。例如，也可以具备对在上述实施方式中进行软件处理的部分中的至少一部分进行硬件处理的例如ASIC等专用的硬件电路。即，执行装置是以下的(a)～(c)中的任意结构即可。(a)具备依照程序执行上述处理的全部处理的处理装置和存储程序的ROM等程序保存装置。(b)具备依照程序执行上述处理的一部分的处理装置以及程序保存装置和执行剩余的处理的专用的硬件电路。(c)具备执行上述处理的全部处理的专用的硬件电路。在此，具备处理装置以及程序保存装置的软件执行装置、专用的硬件电路也可以是多个。

“关于计算机”

作为计算机，不限于图1的CPU42、图6的CPU42、92。例如，也可以是用于生成车辆VC1出厂前的关系规定数据DR的计算机和搭载于车辆VC1的CPU42。在该情况下，关于出厂后的搜索范围，与由用于生成关系规定数据DR的计算机执行的强化学习中的搜索相比，期望行动变量可取的值的范围小。顺便说一下，在车辆出厂前的关系规定数据DR的生成处理中，也可以不存在车辆，而在测试台使内燃机10等运行而对车辆的行驶进行模拟，从而模拟地生成车辆的状态，一边掌握由传感器的检测值等模拟地生成的车辆的状态，一边用于强化学习。在该情况下，将模拟地生成的车辆的状态视为基于传感器的检测值的车辆的状态。

“关于存储装置”

在上述实施方式中，将存储关系规定数据DR的存储装置和存储学习程序DPL、学习子程序DPLa、学习主程序DPLb的存储装置(ROM44、94)设为分开的存储装置，但不限于此。

“关于车辆”

作为车辆，不限于串并联混合动力车。例如也可以是串联混合动力车、并联混合动力车。此外，作为车载旋转机械，也不限于具备内燃机和电动发电机。例如既可以是具备内燃机但不具备电动发电机的车辆，另外，例如也可以是具备电动发电机但不具备内燃机的车辆。

Claims (12)

1.一种车辆用控制装置，其特征在于，

所述车辆用控制装置具备执行装置和存储装置，

在所述存储装置中，存储有关系规定数据，该关系规定数据用于规定车辆的状态与行动变量的关系，所述行动变量是与搭载于所述车辆的变速装置的操作有关的变量，

所述执行装置构成为执行：

获取处理，获取基于传感器的检测值的所述车辆的状态；

操作处理，基于根据通过所述获取处理而获取到的所述车辆的状态和所述关系规定数据确定的所述行动变量的值来操作所述变速装置；

报酬计算处理，根据通过所述获取处理而获取到的所述车辆的状态，在所述车辆的特性满足基准的情况下，提供比所述车辆的特性不满足基准的情况大的报酬；

更新处理，将通过所述获取处理而获取到的所述车辆的状态、在所述变速装置的操作中利用的所述行动变量的值以及与该操作对应的所述报酬作为向预先决定的更新映射的输入，更新所述关系规定数据；

计数处理，对基于所述更新处理的更新次数进行计数；以及

限制处理，在所述更新次数大的情况下，与所述更新次数小的情况相比，将所述关系规定数据所表示的所述行动变量的值中的除了使关于所述报酬的期待收益最大化的值以外的值被所述操作处理采用的范围限制在缩小的一侧，

所述执行装置构成为根据更新映射，输出以使依照所述关系规定数据而操作所述变速装置的情况下的所述期待收益增加的方式更新后的所述关系规定数据。

2.根据权利要求1所述的车辆用控制装置，其特征在于，

所述限制处理包括：在所述更新次数大的情况下，与所述更新次数小的情况相比，将基于所述更新处理的更新量限制在小的一侧的处理。

3.根据权利要求1或者2所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在变速比的切换期间中的发热量小的情况下提供比变速比的切换期间中的发热量大的情况大的报酬的处理和即使是相同的发热量也根据变速的种类来变更所提供的报酬的大小的处理。

4.根据权利要求1～3中的任意一项所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在作为变速比的切换所需的时间的变速时间小的情况下提供比所述变速时间大的情况大的报酬的处理和即使是相同的变速时间也根据变速的种类来变更所提供的报酬的大小的处理。

5.根据权利要求1～4中的任意一项所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在变速比的切换期间中的所述变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下提供比所述超过量大的情况大的报酬的处理和即使所述超过量相同也根据变速的种类来变更所提供的报酬的大小的处理。

6.根据权利要求1～5中的任意一项所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在变速比的切换期间中的发热量小的情况下提供比变速比的切换期间中的发热量大的情况大的报酬的处理和即使是相同的发热量也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

7.根据权利要求1～6中的任意一项所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在作为变速比的切换所需的时间的变速时间小的情况下提供比变速时间大的情况大的报酬的处理和即使是相同的变速时间也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

8.根据权利要求1～7中的任意一项所述的车辆用控制装置，其特征在于，

所述报酬计算处理包括：在变速比的切换期间中的所述变速装置的输入轴的转速超过作为基准的转速的超过量小的情况下提供比所述超过量大的情况大的报酬的处理和即使所述超过量相同也根据加速器操作量的大小来变更所提供的报酬的大小的处理。

9.一种车辆用控制系统，其特征在于，

所述车辆用控制系统具备权利要求1～8中的任意一项所述的车辆用控制装置中的所述执行装置以及所述存储装置，

所述执行装置包括搭载于所述车辆的第1执行装置和与车载装置不同的第2执行装置，

所述第1执行装置构成为至少执行所述获取处理以及所述操作处理，所述第2执行装置构成为至少执行所述更新处理。

10.一种车辆用控制装置，其特征在于，

所述车辆用控制装置具备权利要求9所述的车辆用控制系统中的第1执行装置。

11.一种车辆用学习装置，其特征在于，

所述车辆用学习装置具备权利要求9所述的车辆用控制系统中的第2执行装置。

12.一种车辆用学习方法，其特征在于，

所述车辆用学习方法使计算机执行权利要求1～8中的任意一项所述的车辆用控制装置中的所述获取处理、所述操作处理、所述报酬计算处理、所述更新处理、所述计数处理以及所述限制处理。

Images