JP7331789B2 - 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法 - Google Patents

Description

本発明は、車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法に関する。

たとえば下記特許文献１には、車両の状態に応じた適切な変速比を強化学習によって定めることが記載されている。

特開２０００－２５０６０２号公報

発明者は、変速比の切り替えのための操作量を強化学習によって学習することを検討した。しかし、学習が進行しても探索範囲を絞らない場合には、最適値を探り当てるまでの時間が長くなるおそれがある。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置および記憶装置を備え、前記記憶装置には、車両の状態と前記車両に搭載される変速装置の操作に関する変数である行動変数との関係を規定するための関係規定データが記憶されており、前記実行装置は、センサの検出値に基づく前記車両の状態を取得する取得処理と、前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記変速装置を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記変速装置の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、前記更新処理による更新回数をカウントするカウント処理と、前記更新回数が大きい場合に小さい場合と比較して、前記関係規定データが示す前記行動変数の値のうちの前記報酬についての期待収益を最大化する値以外の値が前記操作処理によって採用される範囲を縮小する側に制限する制限処理と、を実行し、前記更新写像は、前記関係規定データに従って前記変速装置が操作される場合の前記期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御装置である。

強化学習をある程度継続すると、関係規定データが示す期待収益を最大化する行動が、実際に収益を大きくする行動に近づいていく。そのため、関係規定データの更新回数がある程度大きくなっているときに、関係規定データが示す期待収益を最大化する行動から大きく離れた行動を採用してむやみに探索を継続する場合には、関係規定データが示す期待収益を大きくする行動を、実際に収益を大きくする行動に近づけるうえで、不要な工数となるおそれがある。そこで上記構成では、学習回数が大きい場合に小さい場合よりも、関係規定データが示す期待収益を最大化する値以外の値が採用される範囲を縮小する側に制限する。換言すれば、探索範囲を縮小する側に制限する。これにより、関係規定データが示す期待収益を最大化する行動を、実際に収益を大きくする行動に早期に近づけることができる。

２．前記制限処理は、前記更新回数が大きい場合、小さい場合と比較して、前記更新処理による更新量を小さい側に制限する処理を含む上記１記載の車両用制御装置である。
一度の探索によって得られた報酬に基づく関係規定データの更新量を一定とする場合、関係規定データが示す期待収益を最大化する行動が変動する期間が長くなるおそれがある。そこで上記構成では、更新回数が大きい場合に更新量を小さい側に制限することにより、強化学習が進行した後に一度の探索の結果、関係規定データが大きく更新されることを抑制する。これにより、関係規定データが示す期待収益を最大化する行動を、実際に収益を大きくする行動に早期に近づけることができる。

３．前記報酬算出処理は、変速比の切り替え期間における発熱量が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の発熱量であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む上記１または２記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、変速の種類が異なることで異なったものとなりうる。そのため、それら要求要素の１つである発熱量について、同一の発熱量の場合に変速の種類によらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。また変速の種類に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである発熱量について、同一の発熱量の場合に変速の種類によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、変速の種類に応じて同一の発熱量に対して与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

４．前記報酬算出処理は、変速比の切り替えに要する時間である変速時間が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の変速時間であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む上記１～３のいずれか１つに記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、変速の種類が異なることで異なったものとなりうる。そのため、それら要求要素の１つである変速時間について、同一の変速時間の場合に変速の種類によらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。また変速の種類に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである変速時間について、同一の変速時間の場合に変速の種類によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、変速の種類に応じて同一の変速時間に対して与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

５．前記報酬算出処理は、変速比の切り替え期間における前記変速装置の入力軸の回転速度が基準となる回転速度を上回る量が小さい場合に大きい場合よりも大きい報酬を与える処理と、前記上回る量が同一であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む上記１～４のいずれか１つに記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、変速の種類が異なることで異なったものとなりうる。そのため、それら要求要素の１つである上回る量が同一の場合に変速の種類によらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。また変速の種類に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである上回る量が同一の場合に変速の種類によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、変速の種類に応じて上回る量が同一の場合に与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

６．前記報酬算出処理は、変速比の切り替え期間における発熱量が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の発熱量であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む上記１～５のいずれか１つに記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、アクセル操作量の大きさが異なることで異なったものとなりうる。そのため、それら要求要素の１つである発熱量について、同一の発熱量の場合にアクセル操作量の大きさによらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。またアクセル操作量に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである発熱量について、同一の発熱量の場合にアクセル操作量によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、アクセル操作量の大きさに応じて同一の発熱量に対して与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

７．前記報酬算出処理は、変速比の切り替えに要する時間である変速時間が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の変速時間であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む上記１～６のいずれか１つに記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、アクセル操作量の大きさが異なることで異なったものとなりうる。そのため、それら要求要素の１つである変速時間について、同一の変速時間の場合にアクセル操作量の大きさによらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。またアクセル操作量に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである変速時間について、同一の変速時間の場合にアクセル操作量によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、アクセル操作量の大きさに応じて同一の変速時間に対して与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

８．前記報酬算出処理は、変速比の切り替え期間における前記変速装置の入力軸の回転速度が基準となる回転速度を上回る量が小さい場合に大きい場合よりも大きい報酬を与える処理と、前記上回る量が同一であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む上記１～７のいずれか１つに記載の車両用制御装置である。

変速比の切り替え時に要求される事項はさまざまであり、それら複数の要求要素同士の優先度についても、アクセル操作量の大きさが異なることで異なったものとなりうる。そのため、それら要求要素の１つである上回る量が同一の場合にアクセル操作量の大きさによらずに報酬の大きさを同一とする場合には、優先度の高い要求要素を満足する学習結果をうることが困難となるおそれがある。またアクセル操作量に応じて、複数の要求要素のそれぞれを所定の基準で満たす困難度が異なりうる。そのため、それら要求要素の１つである上回る量が同一の場合にアクセル操作量によらずに報酬の大きさを同一とする場合には、要求要素を満たすことが困難となるおそれがある。そこで上記構成では、アクセル操作量の大きさに応じて上回る量が同一の場合に与える報酬を変更することにより、優先度の高い要求要素を満たす学習結果を得る確実性を高めたり、学習を円滑に進めたりすることができる。

９．上記１～８のいずれか１つに記載の車両用制御装置における前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

１０．上記９記載の車両用制御システムにおける第１実行装置を備える車両用制御装置である。
１１．上記９記載の車両用制御システムにおける第２実行装置を備える車両用学習装置である。

１２．上記１～８のいずれか１つに記載の車両用制御装置における前記取得処理、前記操作処理、前記報酬算出処理、前記更新処理、前記カウント処理および前記制限処理をコンピュータに実行させる車両用学習方法である。

上記方法によれば、上記１～８と同様の効果を奏する。

第１の実施形態にかかる制御装置およびその駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる制御装置が実行する処理の一部の詳細な手順を示す流れ図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 第２の実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 第３の実施形態にかかる車両用制御システムの構成を示す図。 （ａ）および（ｂ）は、車両用制御システムが実行する処理の手順を示す流れ図。

＜第１の実施形態＞
図１に示すように、内燃機関１０のクランク軸１２には、動力分割装置２０が機械的に連結されている。動力分割装置２０は、内燃機関１０、第１モータジェネレータ２２、および第２モータジェネレータ２４の動力を分割する。動力分割装置２０は、遊星歯車機構を備えており、遊星歯車機構のキャリアＣにクランク軸１２が機械的に連結されており、サンギアＳに、第１モータジェネレータ２２の回転軸２２ａが機械的に連結されており、リングギアＲに、第２モータジェネレータ２４の回転軸２４ａが機械的に連結されている。なお、第１モータジェネレータ２２の端子には、第１インバータ２３の出力電圧が印加される。また、第２モータジェネレータ２４の端子には、第２インバータ２５の出力電圧が印加される。

動力分割装置２０のリングギアＲには、第２モータジェネレータ２４の回転軸２４ａに加えて、さらに、変速装置２６を介して駆動輪３０が機械的に連結されている。
また、キャリアＣには、オイルポンプ３２の従動軸３２ａが機械的に連結されている。オイルポンプ３２は、オイルパン３４内のオイルを吸入し、作動油として変速装置２６に吐出するポンプである。なお、オイルポンプ３２から吐出された作動油は、変速装置２６内の油圧制御回路２８によってその圧力が調整されて作動油として利用される。油圧制御回路２８は、複数のソレノイドバルブ２８ａを備えており、それら各ソレノイドバルブ２８ａの通電によって、作動油の流動状態や作動油の油圧を制御する回路である。

制御装置４０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、内燃機関１０の各種操作部を操作する。また、制御装置４０は、第１モータジェネレータ２２を制御対象とし、その制御量であるトルクや回転速度等を制御すべく、第１インバータ２３を操作する。また、制御装置４０は、第２モータジェネレータ２４を制御対象とし、その制御量であるトルクや回転速度等を制御すべく、第２インバータ２５を操作する。

制御装置４０は、上記制御量を制御する際、クランク角センサ５０の出力信号Ｓｃｒや、第１モータジェネレータ２２の回転軸２２ａの回転角を検知する第１回転角センサ５２の出力信号Ｓｍ１、第２モータジェネレータ２４の回転軸２４ａの回転角を検知する第２回転角センサ５４の出力信号Ｓｍ２を参照する。また、制御装置４０は、油温センサ５６によって検出されるオイルの温度である油温Ｔｏｉｌや、車速センサ５８によって検出される車速ＳＰＤ、アクセルセンサ６２によって検出されるアクセルペダル６０の踏み込み量であるアクセル操作量ＡＣＣＰを参照する。

制御装置４０は、ＣＰＵ４２、ＲＯＭ４４、電気的に書き換え可能な不揮発性メモリである記憶装置４６、および周辺回路４８を備えており、それらがローカルネットワーク４９を介して通信可能とされている。ここで、周辺回路４８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。制御装置４０は、ＲＯＭ４４に記憶されたプログラムをＣＰＵ４２が実行することにより制御量を制御する。

図２に、制御装置４０が実行する処理の手順を示す。図２に示す処理は、ＲＯＭ４４に記憶された学習プログラムＤＰＬをＣＰＵ４２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ４２は、まず、変速比の切り替えがなされる期間であるか否かを、換言すれば変速期間であるか否かを判定する（Ｓ１０）。ＣＰＵ４２は、変速期間であると判定する場合（Ｓ１０：ＹＥＳ）、状態ｓとしてのアクセル操作量ＡＣＣＰ、変速変数ΔＶｓｆｔ、油温Ｔｏｉｌ、フェーズ変数Ｖｐａｓｅ、および第２モータジェネレータ２４の回転速度Ｎｍ２を取得する（Ｓ１２）。ここで、変速変数ΔＶｓｆｔは、１速から２速への変速なのか、２速から１速への変速なのか等の、変速比の切り替え前と切り替え後とを特定する変数である。換言すれば、変速の種類を特定する変数である。また、フェーズ変数Ｖｐａｓｅは、変速期間における変速の段階を定める３つのフェーズのいずれであるかを特定する変数である。

すなわち、本実施形態では、変速期間をフェーズ１、フェーズ２、およびフェーズ３に区分している。ここで、フェーズ１は、変速比の切り替え制御の開始時から予め定められた時間が経過するまでの期間である。フェーズ２は、フェーズ１の終了時からトルク相の終了時までの期間である。換言すれば、変速比の切り替えによって締結状態から解放状態に切り替わる摩擦係合要素のトルク伝達率がゼロとなるまでの期間である。ＣＰＵ４２は、フェーズ２の終点を、変速装置２６の出力軸の回転速度と変速比の切替前の変速比とから定まる入力軸の回転速度に対する実際の入力軸の回転速度のずれに基づき判定する。なお、入力軸の回転速度は、回転速度Ｎｍ２とすればよい。またＣＰＵ４２は、出力軸の回転速度を、車速ＳＰＤに応じて算出する。フェーズ３は、フェーズ２の終了時から変速が完了するまでの期間である。ちなみに、上記回転速度Ｎｍ２は、ＣＰＵ４２により、出力信号Ｓｍ２に基づき算出される。

状態ｓは、図１に示す記憶装置４６に記憶されている関係規定データＤＲによって行動変数との関係が規定される変数の値である。ここで、本実施形態では、行動変数として、変速比の切り替えにかかる摩擦係合要素を駆動する作動油の油圧指令値を例示する。詳しくは、フェーズ１およびフェーズ２については、該当期間で一定の油圧指令値とし、フェーズ３については一定速度で上昇する油圧指令値とする。なお、関係規定データＤＲに実際に含まれるフェーズ３の行動変数は、圧力上昇速度であってよい。

具体的には、関係規定データＤＲは、行動価値関数Ｑを含む。行動価値関数Ｑは、状態ｓおよび行動ａを独立変数とし、それら状態ｓおよび行動ａに対して期待される収益を従属変数とする関数である。本実施形態では、行動価値関数Ｑを、テーブル形式の関数とする。

次にＣＰＵ４２は、関係規定データＤＲによって規定される方策πに基づき、行動変数の値を算出する（Ｓ１４）。本実施形態では、方策として、εグリーディ方策を例示する。すなわち、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動（以下、グリーディ行動ａｇと称する）を優先的に選択しつつも、所定の確率で、それ以外の行動を選択する規則を定める方策を例示する。具体的には、行動がとりうる値の総数を「｜Ａ｜」にて表記する場合、グリーディ行動以外の行動をとる確率を、それぞれ「ε／｜Ａ｜」とする。

ちなみに、本実施形態では行動価値関数Ｑをテーブル形式のデータとしていることに鑑み、独立変数としての状態ｓは、一定の幅を有するものとする。すなわち、たとえばアクセル操作量ＡＣＣＰについては１０％間隔で行動価値関数Ｑを定義する場合、アクセル操作量ＡＣＣＰが「３％」である場合と、「６％」である場合とは、それのみによって異なる状態ｓとされることはない。

次にＣＰＵ４２は、ソレノイドバルブ２８ａの通電電流Ｉが油圧指令値Ｐ＊に基づき定まる値となるように通電電流Ｉを操作する（Ｓ１６）。そして、ＣＰＵ４２は、吹き量ΔＮｍ２、および発熱量ＣＶを算出する（Ｓ１８）。

吹き量ΔＮｍ２は、変速期間における変速装置２６の入力軸の回転速度の吹き上がり量を定量化したものであり、予め定められた基準となる回転速度Ｎｍ２＊に対する回転速度Ｎｍ２の上回り量として算出される。ここでＣＰＵ４２は、基準となる回転速度Ｎｍ２＊を、アクセル操作量ＡＣＣＰ、車速ＳＰＤおよび変速変数ΔＶｓｆｔに応じて設定する。この処理は、アクセル操作量ＡＣＣＰ、車速ＳＰＤおよび変速変数ΔＶｓｆｔを入力変数とし、基準となる回転速度Ｎｍ２＊を出力変数とするマップデータがＲＯＭ４４に予め記憶された状態でＣＰＵ４２により基準となる回転速度Ｎｍ２＊をマップ演算することにより実現できる。なお、マップデータとは、入力変数の離散的な値と、入力変数の値のそれぞれに対応する出力変数の値と、の組データである。また、マップ演算は、たとえば、入力変数の値がマップデータの入力変数の値のいずれかに一致する場合、対応するマップデータの出力変数の値を演算結果とするのに対し、一致しない場合、マップデータに含まれる複数の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。

一方、本実施形態において、発熱量ＣＶは、解放状態および締結状態の２つの状態の一方から他方に移行する際の摩擦係合要素の一対の回転速度差とそれらに加わるトルクとの積に比例する量として算出される。詳しくは、ＣＰＵ４２は、変速装置２６の入力軸の回転速度としての回転速度Ｎｍ２と、車速ＳＰＤから把握される変速装置２６の出力軸の回転速度と、アクセル操作量ＡＣＣＰから把握されるトルクとに基づき、発熱量ＣＶを算出する。具体的には、入力軸の回転速度、出力軸の回転速度およびアクセル操作量ＡＣＣＰを入力変数とし発熱量ＣＶを出力変数とするマップデータがＲＯＭ４４に予め記憶された状態で、ＣＰＵ４２により発熱量ＣＶをマップ演算する。

ＣＰＵ４２は、Ｓ１６，Ｓ１８の処理を、現在のフェーズの完了まで実行する（Ｓ２０：ＮＯ）。そしてＣＰＵ４２は、現在のフェーズが完了すると判定する場合（Ｓ２０：ＹＥＳ）、関係規定データＤＲを強化学習によって更新する（Ｓ２２）。

なお、ＣＰＵ４２は、Ｓ２２の処理を完了する場合や、Ｓ１０の処理において否定判定する場合には、図２に示す一連の処理を一旦終了する。
図３に、Ｓ２２の処理の詳細を示す。

図３に示す一連の処理において、ＣＰＵ４２は、まずフェーズ変数Ｖｐａｓｅが「３」であるか否かを判定する（Ｓ３０）。そして、ＣＰＵ４２は、「３」であると判定する場合（Ｓ３０：ＹＥＳ）、変速が完了したことから、変速に要した時間である変速時間Ｔｓｆｔを算出する（Ｓ３２）。そして、ＣＰＵ４２は、変速時間Ｔｓｆｔに応じた報酬ｒ１を算出する（Ｓ３４）。詳しくは、ＣＰＵ４２は、変速時間Ｔｓｆｔが小さい場合に大きい場合よりも報酬ｒ１を大きい値に算出する。

次にＣＰＵ４２は、Ｓ１８の処理によって所定周期で繰り返し算出された吹き量ΔＮｍ２のうちの最大値を吹き量最大値ΔＮｍ２ｍａｘに代入する（Ｓ３６）。次にＣＰＵ４２は、吹き量最大値ΔＮｍ２ｍａｘに応じた報酬ｒ２を算出する（Ｓ３８）。詳しくは、ＣＰＵ４２は、吹き量最大値ΔＮｍ２ｍａｘが小さい場合に大きい場合よりも報酬ｒ２を大きい値に算出する。

次に、ＣＰＵ４２は、Ｓ１８の処理によって所定周期で繰り返し算出された発熱量ＣＶの積算値である発熱量ＩｎＣＶを算出する（Ｓ４０）。次にＣＰＵ４２は、発熱量ＩｎＣＶに応じた報酬ｒ３を算出する（Ｓ４２）。詳しくは、ＣＰＵ４２は、発熱量ＩｎＣＶが小さい場合に大きい場合よりも報酬ｒ３を大きい値に算出する。

そして、ＣＰＵ４２は、Ｓ１６の処理において用いた行動に対する報酬ｒに、報酬ｒ１と報酬ｒ２と報酬ｒ３との和を代入する（Ｓ４４）。
一方、ＣＰＵ４２は、フェーズ変数Ｖｐａｓｅが「１」または「２」であると判定する場合（Ｓ３０：ＮＯ）、報酬ｒに「０」を代入する（Ｓ４６）。

ＣＰＵ４２は、Ｓ４４，Ｓ４６の処理が完了する場合、Ｓ１４の処理において用いた行動価値関数Ｑ（ｓ，ａ）を、報酬ｒに基づき更新する（Ｓ４８）。なお、Ｓ１４の処理において用いた行動価値関数Ｑ（ｓ，ａ）とは、Ｓ１２の処理によって取得した状態ｓとＳ１４の処理によって設定された行動ａとを独立変数とする行動価値関数Ｑ（ｓ，ａ）のことである。

本実施形態では、方策オフ型のＴＤ法であるいわゆるＱ学習によって行動価値関数Ｑ（ｓ，ａ）を更新する。具体的には、以下の式（ｃ１）にて行動価値関数Ｑ（ｓ，ａ）を更新する。

Ｑ（ｓ，ａ）
←Ｑ＋α・｛ｒ＋γ・ｍａｘＱ（ｓ＋１，Ａ）－Ｑ（ｓ，ａ）｝ …（ｃ１）
ここで、行動価値関数Ｑ（ｓ，ａ）の更新量「α・｛ｒ＋γ・ｍａｘＱ（ｓ＋１，Ａ）－Ｑ（ｓ，ａ）｝」には、割引率γおよび学習率αを用いている。なお、割引率γおよび学習率αは、いずれも「０」よりも大きく「１」以下の定数である。また、現在のフェーズがフェーズ１，２の場合において、「ｍａｘＱ（ｓ＋１，ａ）」は、フェーズ完了時の状態変数、すなわち、図２に示す一連の処理の次回のＳ１２の処理によって取得されるべき状態ｓ＋１を独立変数とする行動価値関数Ｑのうちの最大値を意味する。なお、現在のフェーズがフェーズ３でない限り、図２に示す一連の処理の次回のＳ１２の処理によって取得される状態ｓは、Ｓ４８の処理によって用いられる状態ｓ＋１とする。また、現在のフェーズがフェーズ３である場合、図２に示す一連の処理の今回のＳ１２の処理によって取得した状態ｓを状態ｓ＋１とする。

次に、ＣＰＵ４２は、関係規定データＤＲの更新回数Ｎをインクリメントする（Ｓ５０）。
なお、ＣＰＵ４２は、Ｓ５０の処理が完了する場合、図３に示す一連の処理を一旦終了する。ちなみに、車両ＶＣの出荷時における関係規定データＤＲは、車両ＶＣと同一の仕様の試作車等において図２の処理と同様の処理によって学習がなされたデータとする。すなわち、図２の処理は、車両ＶＣの出荷前に設定された油圧指令値Ｐ＊を、車両ＶＣが実際に道路を走行する際に適切な値に強化学習によって更新するための処理である。

図４に、探索範囲および学習率αの設定に関する処理の手順を示す。図４に示す処理は、ＲＯＭ４４に記憶されたプログラムをＣＰＵ４２がたとえば所定周期で繰り返し実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ４２は、まず、更新回数Ｎが第１所定値Ｎ１以下であるか否かを判定する（Ｓ６０）。第１所定値Ｎ１は、車両ＶＣの出荷後において、その車両ＶＣの個体差等に応じた学習がある程度進行すると想定される回数に設定されている。

ＣＰＵ４２は、第１所定値Ｎ１以下であると判定する場合（Ｓ６０：ＹＥＳ）、学習率αに初期値α０を代入する（Ｓ６２）。また、ＣＰＵ４２は、探索に用いる行動の範囲Ａを最も広い初期範囲Ａ０に設定する（Ｓ６４）。初期範囲Ａ０は、変速装置２６の劣化を促進するような異常な行動を排除する条件で極力多くの行動を許容するものとなっている。

一方、ＣＰＵ４２は、第１所定値Ｎ１よりも大きいと判定する場合（Ｓ６０：ＮＯ）、第２所定値Ｎ２以下であるか否かを判定する（Ｓ６６）。第２所定値Ｎ２は、第１所定値Ｎ１よりも大きい値に設定されている。ＣＰＵ４２は、第２所定値Ｎ２以下であると判定する場合（Ｓ６６：ＹＥＳ）、初期値α０に補正係数ｋ１を乗算した値を学習率αに代入する（Ｓ６８）。ここで、補正係数ｋ１は、「０」よりも大きく「１」よりも小さい値である。また、ＣＰＵ４２は、探索に用いる行動の範囲Ａを、現時点におけるグリーディ行動ａｇとの差が第１規定値δ１以下となる範囲に制限する（Ｓ７０）。ただし、この範囲は初期範囲Ａ０に包含される範囲とする。

一方、ＣＰＵ４２は、第２所定値Ｎ２よりも大きいと判定する場合（Ｓ６６：ＮＯ）、第３所定値Ｎ３以下であるか否かを判定する（Ｓ７２）。第３所定値Ｎ３は、第２所定値Ｎ２よりも大きい値に設定されている。ＣＰＵ４２は、第３所定値Ｎ３以下であると判定する場合（Ｓ７２：ＹＥＳ）、初期値α０に補正係数ｋ２を乗算した値を学習率αに代入する（Ｓ７４）。ここで、補正係数ｋ２は、「０」よりも大きく補正係数ｋ１よりも小さい値である。また、ＣＰＵ４２は、探索に用いる行動の範囲Ａを、現時点におけるグリーディ行動ａｇとの差が第２規定値δ２以下となる範囲に制限する（Ｓ７６）。ただし、第２規定値δ２は、第１規定値δ１よりも小さい。また、この範囲は初期範囲Ａ０に包含される範囲とする。

一方、ＣＰＵ４２は、第３所定値Ｎ３よりも大きいと判定する場合（Ｓ７２：ＮＯ）、初期値α０に補正係数ｋ３を乗算した値を学習率αに代入する（Ｓ７８）。ここで、補正係数ｋ３は、「０」よりも大きく補正係数ｋ２よりも小さい値である。また、ＣＰＵ４２は、探索に用いる行動の範囲Ａを、現時点におけるグリーディ行動ａｇとの差が第３規定値δ３以下となる範囲に制限する（Ｓ８０）。ただし、第３規定値δ３は、第２規定値δ２よりも小さい。また、この範囲は初期範囲Ａ０に包含される範囲とする。

なお、ＣＰＵ４２は、Ｓ６４，Ｓ７０，Ｓ７６，Ｓ８０の処理が完了する場合には、図４に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

ＣＰＵ４２は、変速期間において、グリーディ行動ａｇを選択してソレノイドバルブ２８ａの通電電流を操作しつつも、所定の確率でグリーディ行動以外の行動を用いてよりよい油圧指令値Ｐ＊を探索する。そして、ＣＰＵ４２は、油圧指令値Ｐ＊を定めるために利用した行動価値関数ＱをＱ学習によって更新する。これにより、車両ＶＣが実際に走行しているときにおいて適切な油圧指令値Ｐ＊を強化学習によって学習できる。

また、ＣＰＵ４２は、関係規定データＤＲの更新回数Ｎが大きくなるにつれて、探索する行動ａの範囲を、その時点のグリーディ行動ａｇからあまり離間しない範囲に縮小していく。ここで、更新回数Ｎが大きくなる場合には、関係規定データＤＲが示すグリーディ行動ａｇが、収益を実際に大きくする行動に近似してくると考えられる。したがって、探索範囲を縮小することにより、最適な値となりえない行動を実際に採用する探索がなされることを抑制できる。そのため、関係規定データＤＲが示すグリーディ行動ａｇを、収益を実際に大きくする行動に早期に近づけることができる。

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）更新回数Ｎが大きくなるにつれて学習率αを小さい値へと変更した。これにより、更新回数Ｎが大きくなるにつれて、関係規定データＤＲの更新量を小さい側に制限することができる。そしてこれにより、強化学習が進行した後に一度の探索の結果、関係規定データＤＲが大きく更新されることを抑制することができる。これにより、関係規定データＤＲが示すグリーディ行動ａｇを、実際に収益を大きくする行動に早期に近づけることができる。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図５に、本実施形態にかかるＳ２２の処理の詳細な手順を示す。図５に示す処理は、ＲＯＭ４４に記憶された学習プログラムＤＰＬをＣＰＵ４２が実行することにより実現される。

図５に示す一連の処理において、ＣＰＵ４２は、変速時間Ｔｓｆｔに応じた報酬ｒ１の算出処理（Ｓ３４ａ）や、吹き量最大値ΔＮｍ２ｍａｘに応じた報酬ｒ２の算出処理（Ｓ３８ａ）、発熱量ＩｎＣＶに応じた報酬ｒ３の算出処理（Ｓ４２ａ）に、アクセル操作量ＡＣＣＰおよび変速変数ΔＶｓｆｔを用いる。

ここで、アクセル操作量ＡＣＣＰや変速の種類に応じて報酬ｒ１，ｒ２，ｒ３を与えるのは、以下の理由による。
第１に、アクセル操作量ＡＣＣＰおよび変速変数ΔＶｓｆｔに応じて、変速時間Ｔｓｆｔと強い相関を有するアクセルレスポンスや、吹き量最大値ΔＮｍ２ｍａｘと強い相関を有するドライバビリティ、発熱量ＩｎＣＶの３つの要求要素に対する優先度が異なるようにグリーディ行動ａｇを学習させるための設定である。

すなわち、たとえば１速から２速への切り替え時と比較して、２速から１速への切り替え時の方がアクセルレスポンスの優先度が高いとする場合、１速から２速への切り替え時と比較して２速から１速への切り替え時の方が同一の変速時間Ｔｓｆｔに対する報酬の絶対値を大きくする。そしてその場合、たとえば、１速から２速の切り替えに対しては発熱量ＩｎＣＶの優先度を高くすることにより、２速から１速への切り替え時と比較して、同一の発熱量ＩｎＣＶに対する報酬ｒ３の絶対値を大きくすればよい。

第２に、アクセル操作量ＡＣＣＰや変速の種類に応じて変速装置２６に加わるトルクや回転速度が異なることなどから、吹き量最大値ΔＮｍ２ｍａｘ、変速時間Ｔｓｆｔおよび発熱量ＩｎＣＶの取りうる値がアクセル操作量ＡＣＣＰや変速の種類に応じて異なるためである。そのため、アクセル操作量ＡＣＣＰや変速の種類によらずに変速時間Ｔｓｆｔ等に対して一律同一の報酬ｒ１を与えたのでは、学習が困難となる懸念がある。

このように、本実施形態では、アクセル操作量ＡＣＣＰおよび変速変数ΔＶｓｆｔに応じて報酬ｒ１，ｒ２，ｒ３を可変とすることにより、変速時間Ｔｓｆｔ、吹き量ΔＮｍ２および発熱量ＩｎＣＶに対する優先度がアクセル操作量ＡＣＣＰや変速の種類に応じて異なることを反映した学習をさせることができる。また、アクセル操作量ＡＣＣＰに応じて吹き量最大値ΔＮｍ２ｍａｘ、変速時間Ｔｓｆｔおよび発熱量ＩｎＣＶの取りうる値が異なることに鑑みて、報酬ｒ１～ｒ３を与えることができ、ひいては学習を円滑に進めることができる。

＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図６に、本実施形態にかかるシステムの構成を示す。なお、図６において図１に示した部材に対応する部材については、便宜上同一の符号を付してその説明を省略する。
図６に示すように、車両ＶＣ（１）の制御装置４０は、通信機４７を備えており、通信機４７によって外部のネットワーク８０を介してデータ解析センター９０と通信可能となっている。

データ解析センター９０は、複数の車両ＶＣ（１），ＶＣ（２），…から送信されるデータを解析する。データ解析センター９０は、ＣＰＵ９２、ＲＯＭ９４、記憶装置９６および通信機９７を備えており、それらがローカルネットワーク９９を介して通信可能とされている。なお、記憶装置９６は、電気的に書き換え可能な不揮発性の装置であり、関係規定データＤＲを記憶している。

図７に、本実施形態にかかる強化学習の処理手順を示す。図７（ａ）に示す処理は、図６に示すＲＯＭ４４に記憶されている学習サブプログラムＤＰＬａをＣＰＵ４２が実行することにより実現される。また、図７（ｂ）に示す処理は、ＲＯＭ９４に記憶されている学習メインプログラムＤＰＬｂをＣＰＵ９２が実行することにより実現される。なお、図７において図２に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図７に示す処理を説明する。

図７（ａ）に示す一連の処理において、制御装置４０のＣＰＵ４２は、まず、Ｓ１０～Ｓ１８の処理を実行すると、変速が完了したか否かを判定する（Ｓ８０）。そしてＣＰＵ４２は、変速が完了したと判定する場合（Ｓ８０：ＹＥＳ）、通信機９７を操作して、関係規定データＤＲの強化学習による更新に用いるデータを車両ＶＣ（１）の識別記号とともに送信する（Ｓ８２）。このデータには、状態ｓや、行動ａ、吹き量ΔＮｍ２、発熱量ＣＶ等が含まれる。

これに対し、図７（ｂ）に示すように、データ解析センター９０のＣＰＵ９２は、関係規定データＤＲを更新するためのデータを受信する（Ｓ９０）。そしてＣＰＵ９２は、受信したデータに基づき、Ｓ２２の処理を実行する。そしてＣＰＵ９２は、通信機９７を操作することによって、Ｓ９０の処理によって受信したデータの送信元に、関係規定データＤＲを更新するためのデータを送信する（Ｓ９２）。なお、ＣＰＵ９２は、Ｓ９２の処理を完了する場合には、図７（ｂ）に示す一連の処理を一旦終了する。

これに対し図７（ａ）に示すように、ＣＰＵ４２は、更新用のデータを受信する（Ｓ８４）。そしてＣＰＵ４２は、受信したデータに基づき、Ｓ１４の処理において利用する関係規定データＤＲを更新する（Ｓ８６）。なお、ＣＰＵ４２は、Ｓ８６の処理を完了する場合や、Ｓ１０，Ｓ８０の処理において否定判定する場合には、図７（ａ）に示す一連の処理を一旦終了する。ちなみに、ＣＰＵ４２は、Ｓ８０の処理において否定判定された後、図７（ａ）に示す一連の処理を再度実行する場合、フェーズの始点である場合を除き、Ｓ１２～Ｓ１６の処理によって新たに行動ａを更新することはない。すなわち、その場合には、Ｓ１８の処理のみを新たに実行することとする。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置４０の演算負荷を軽減できる。さらに、たとえばＳ９０の処理において、複数の車両ＶＣ（１），ＶＣ（２），…からのデータを受信してＳ２２の処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、ＣＰＵ４２およびＲＯＭ４４に対応し、記憶装置は、記憶装置４６に対応する。取得処理は、Ｓ１２，Ｓ３２、Ｓ３６，Ｓ４０の処理に対応し、操作処理は、Ｓ１６の処理に対応する。報酬算出処理は、図３におけるＳ３４，Ｓ３８，Ｓ４２の処理や、図５におけるＳ３４ａ，Ｓ３８ａ，Ｓ４２ａの処理に対応する。更新処理は、Ｓ４８の処理に対応する。カウント処理は、Ｓ５０の処理に対応し、制限処理は、Ｓ６４，Ｓ７０，Ｓ７６，Ｓ８０の処理に対応する。更新写像は、学習プログラムＤＰＬのうちＳ４８の処理を実行する指令によって規定された写像に対応する。換言すれば、更新写像は、上記の式（ｃ１）によって規定される写像に対応する。［２］制限処理は、Ｓ６２，Ｓ６８，Ｓ７４，Ｓ７８の処理に対応する。［３］Ｓ４２ａの処理に対応する。［４］Ｓ３４ａの処理に対応する。［５］Ｓ３８ａの処理に対応する。［６］Ｓ４２ａの処理に対応する。［７］Ｓ３４ａの処理に対応する。［８］Ｓ３８ａの処理に対応する。［９～１１］第１実行装置は、ＣＰＵ４２およびＲＯＭ４４に対応し、第２実行装置は、ＣＰＵ９２およびＲＯＭ９４に対応する。［１２］コンピュータは、図１のＣＰＵ４２や、図６のＣＰＵ４２，９２に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「関係規定データに基づく行動変数の値の選択に用いられる状態について」
・関係規定データに基づく行動変数の値の選択に用いられる状態としては、上記実施形態において例示したものに限らない。たとえば、フェーズ２、フェーズ３についてそれ以前の行動変数の値に依存した状態変数としては、回転速度Ｎｍ２に限らず、たとえば吹き量ΔＮｍ２であってもよい。またたとえば、発熱量としてもよい。もっとも、たとえば「更新写像について」の欄に記載したようにｐｒｏｆｉｔ ｓｈａｒｉｎｇのアルゴリズムを用いる場合などには、フェーズ２、フェーズ３についてそれ以前の行動変数の値に依存した状態変数を、行動変数の値の選択に用いられる状態に含めなくてもよい。

・状態変数に、アクセル操作量ＡＣＣＰを含めることは必須ではない。
・状態変数に、油温Ｔｏｉｌを含めることは必須でない。
・状態変数に、フェーズ変数Ｖｐａｓｅを含めることは必須ではない。たとえば変速開始からの時間や入力軸の回転速度、変速変数ΔＶｓｆｔを状態変数に含めて、都度の行動を指定する行動価値関数Ｑを構成し、同行動価値関数を用いて強化学習を行ってもよい。その場合、変速期間を予め３つのフェーズに指定しない。

「行動変数について」
・上記実施形態では、フェーズ３の行動変数を、圧力上昇速度としたが、これに限らず、たとえばフェーズ３をさらに細分化してそれら各段階における圧力指令値としてもよい。

・上記実施形態では、圧力指令値や圧力上昇速度を行動変数としたが、これに限らず、たとえばソレノイドバルブ２８ａへの通電電流の指令値や、指令値の変化速度としてもよい。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。

「操作処理について」
・「関係規定データについて」の欄に記載したように行動価値関数Ｑを関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値のそれぞれについて状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを選択すればよい。

・「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「更新写像について」
・Ｓ４８の処理においては、方策オフ型ＴＤ法であるいわゆるＱ学習を例示したが、これに限らない。たとえば、方策オン型ＴＤ法であるいわゆるＳＡＲＳＡ法によるものであってもよい。もっとも、ＴＤ法によるものに限らず、たとえば、モンテカルロ法を用いたり、適格度トレース法を用いたりしてもよい。

・報酬に基づく関係規定データの更新写像として、たとえばｐｒｏｆｉｔ ｓｈａｒｉｎｇのアルゴリズムに従った写像を用いてもよい。詳しくはたとえば、ｐｒｏｆｉｔ ｓｈａｒｉｎｇのアルゴリズムに従った写像を用いる例を、図２に例示した処理の変更例とする場合、次のようにすればよい。すなわち、報酬の算出を、変速が完了した段階で実行する。そして、算出した報酬を、強化関数に従って、変速にかかわった各状態行動対を定めるルールに割り振る。ここで強化関数としては、たとえば周知の等比減少関数を用いてもよい。特に、変速時間Ｔｓｆｔは、フェーズ３の行動変数の値と強い相関を有することから、変速時間Ｔｓｆｔに応じた報酬を分配する場合には、強化関数として等比減少関数を用いることが有効である。もっとも、等比減少関数に限らない。たとえば、発熱量に基づき報酬を与える場合、発熱量がフェーズ１の行動変数の値と強く相関を有することに鑑み、フェーズ１への発熱量に応じた報酬の配分が最も大きくなるようにしてもよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

「報酬算出処理について」
・上記実施形態では、フェーズ１、フェーズ２においては報酬ｒをゼロとしたがこれに限らない。たとえばフェーズ１において、フェーズ１における発熱量ＣＶが小さい場合に大きい場合よりも大きくなる報酬を与えてもよい。またたとえば、フェーズ２において、フェーズ２における発熱量ＣＶが小さい場合に大きい場合よりも大きくなる報酬を与えてもよい。またたとえば、フェーズ２において、フェーズ２における吹き量ΔＮｍ２が小さい場合に大きい場合よりも大きくなる報酬を与えてもよい。

・発熱量が小さい場合に大きい場合と比較して大きい報酬を与える処理としては、発熱量ＩｎＣＶが小さい場合に大きい場合と比較して大きい報酬を与える処理に限らない。たとえば、変速期間内における単位時間当たりの発熱量ＣＶの最大値が小さい場合に大きい場合よりも大きい報酬を与えてもよい。

・変速装置の入力軸の回転速度が基準となる回転速度を上回る量を示す変数としては、吹き量最大値ΔＮｍ２ｍａｘに限らず、たとえば変速期間における吹き量ΔＮｍ２の平均値であってもよい。またたとえば、変速指令が出されたときの入力軸の回転速度を基準となる回転速度として上回る量を定量化した変数であってもよい。

・上記実施形態では、変速時間Ｔｓｆｔが短い場合に長い場合よりも大きい報酬を与える処理と、上回る量が小さい場合に大きい場合よりも大きい報酬を与える処理と、発熱量ＩｎＣＶが小さい場合に大きい場合よりも大きい報酬を与える処理とを実行したが、これに限らない。たとえば、それら３つに関しては、それらのいずれか１つのみを実行したり、またたとえば２つのみを実行したりしてもよい。

・図５の処理では、変速時間Ｔｓｆｔが同一であっても、アクセル操作量ＡＣＣＰと変速の種類とに応じて報酬ｒ１の大きさを変更したが、これに限らない。たとえば、アクセル操作量ＡＣＣＰに応じては変更せず、変速の種類に応じて変更してもよい。またたとえば、変速の種類に応じては変更せず、アクセル操作量ＡＣＣＰに応じて変更してもよい。

・図５の処理では、吹き量最大値ΔＮｍ２ｍａｘが同一であっても、アクセル操作量ＡＣＣＰと変速の種類とに応じて報酬ｒ２の大きさを変更したが、これに限らない。たとえば、アクセル操作量ＡＣＣＰに応じては変更せず、変速の種類に応じて変更してもよい。またたとえば、変速の種類に応じては変更せず、アクセル操作量ＡＣＣＰに応じて変更してもよい。

・図５の処理では、発熱量ＩｎＣＶが同一であっても、アクセル操作量ＡＣＣＰと変速の種類とに応じて報酬ｒ３の大きさを変更したが、これに限らない。たとえば、アクセル操作量ＡＣＣＰに応じては変更せず、変速の種類に応じて変更してもよい。またたとえば、変速の種類に応じては変更せず、アクセル操作量ＡＣＣＰに応じて変更してもよい。

「車両用制御システムについて」
・図７に示した例では、方策πに基づく行動を決定する処理（Ｓ１４の処理）を、車両側で実行したが、これに限らない。たとえば、車両ＶＣ１からＳ１２の処理によって取得したデータを送信することとし、データ解析センター９０にて送信されてデータを用いて行動ａを決定し、決定した行動を車両ＶＣ１に送信してもよい。

・車両用制御システムとしては、制御装置４０およびデータ解析センター９０によって構成されるものに限らない。たとえば、データ解析センター９０に代えて、ユーザの携帯端末を用いてもよい。また、制御装置４０およびデータ解析センター９０と携帯端末とによって車両用制御システムを構成してもよい。これは、たとえばＳ１４の処理を携帯端末によって実行することにより実現できる。

「実行装置について」
・実行装置としては、ＣＰＵ４２（９２）とＲＯＭ４４（９４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「コンピュータについて」
・コンピュータとしては、図１のＣＰＵ４２や、図６のＣＰＵ４２，９２に限らない。たとえば、車両ＶＣ１の出荷前の関係規定データＤＲを生成するためのコンピュータと、車両ＶＣ１に搭載されるＣＰＵ４２とであってもよい。その場合、出荷後における探索範囲は、関係規定データＤＲを生成するためのコンピュータによって実行される強化学習における探索と比較して、行動変数の取りうる値の範囲が小さいことが望ましい。ちなみに、車両の出荷前の関係規定データＤＲの生成処理においては、車両が存在せず、テストベンチにて内燃機関１０等を稼働させて車両の走行を模擬することによって、車両の状態を疑似的に生成し、センサの検出値等によって疑似的に生成された車両の状態を把握しつつ強化学習に用いてもよい。その場合、疑似的に生成された車両の状態を、センサの検出値に基づく車両の状態とみなす。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラムＤＰＬや学習サブプログラムＤＰＬａ、学習メインプログラムＤＰＬｂが記憶される記憶装置（ＲＯＭ４４，９４）とを別の記憶装置としたが、これに限らない。

「車両について」
・車両としては、シリーズ・パラレルハイブリッド車に限らない。たとえばシリーズハイブリッド車や、パラレルハイブリッド車であってもよい。なお、車載回転機として、内燃機関とモータジェネレータとを備えるものにも限らない。たとえば内燃機関を備えるもののモータジェネレータを備えない車両であってもよく、またたとえばモータジェネレータを備えるものの内燃機関を備えない車両であってもよい。

１０…内燃機関
２０…動力分割装置
２２…第１モータジェネレータ
２４…第２モータジェネレータ
２６…変速装置
４０…制御装置
９０…データ解析センター
９２…ＣＰＵ
９４…ＲＯＭ
９６…記憶装置
９７…通信機
９９…ローカルネットワーク

Claims (12)

1. 実行装置および記憶装置を備え、
   前記記憶装置には、車両の状態と前記車両に搭載される変速装置の操作に関する変数である行動変数との関係を規定するための関係規定データが記憶されており、
   前記実行装置は、
   センサの検出値に基づく前記車両の状態を取得する取得処理と、
   前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記変速装置を操作する操作処理と、
   前記操作処理によって実現された前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記変速装置の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
   前記更新処理による更新回数をカウントするカウント処理と、
   前記更新回数が大きい場合に小さい場合と比較して、前記関係規定データが示す前記行動変数の値のうちの前記報酬についての期待収益を最大化する値以外の値が前記操作処理によって採用される範囲を縮小する側に制限する制限処理と、
   を実行し、
   前記更新写像は、前記関係規定データに従って前記変速装置が操作される場合の前記期待収益を増加させるように更新された前記関係規定データを出力するものである車両用制御装置。
2. 前記制限処理は、前記更新回数が大きい場合、小さい場合と比較して、前記更新処理による更新量を小さい側に制限する処理を含む請求項１記載の車両用制御装置。
3. 前記報酬算出処理は、変速比の切り替え期間における発熱量が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の発熱量であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む請求項１または２記載の車両用制御装置。
4. 前記報酬算出処理は、変速比の切り替えに要する時間である変速時間が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の変速時間であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む請求項１～３のいずれか１項に記載の車両用制御装置。
5. 前記報酬算出処理は、変速比の切り替え期間における前記変速装置の入力軸の回転速度が基準となる回転速度を上回る量が小さい場合に大きい場合よりも大きい報酬を与える処理と、前記上回る量が同一であっても変速の種類に応じて与える報酬の大きさを変更する処理と、を含む請求項１～４のいずれか１項に記載の車両用制御装置。
6. 前記報酬算出処理は、変速比の切り替え期間における発熱量が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の発熱量であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む請求項１～５のいずれか１項に記載の車両用制御装置。
7. 前記報酬算出処理は、変速比の切り替えに要する時間である変速時間が小さい場合に大きい場合よりも大きい報酬を与える処理と、同一の変速時間であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む請求項１～６のいずれか１項に記載の車両用制御装置。
8. 前記報酬算出処理は、変速比の切り替え期間における前記変速装置の入力軸の回転速度が基準となる回転速度を上回る量が小さい場合に大きい場合よりも大きい報酬を与える処理と、前記上回る量が同一であってもアクセル操作量の大きさに応じて与える報酬の大きさを変更する処理と、を含む請求項１～７のいずれか１項に記載の車両用制御装置。
9. 請求項１～８のいずれか１項に記載の車両用制御装置における前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
   前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システム。
10. 請求項９記載の車両用制御システムにおける第１実行装置を備える車両用制御装置。
11. 請求項９記載の車両用制御システムにおける第２実行装置を備える車両用学習装置。
12. 請求項１～８のいずれか１項に記載の車両用制御装置における前記取得処理、前記操作処理、前記報酬算出処理、前記更新処理、前記カウント処理および前記制限処理をコンピュータに実行させる車両用学習方法。