JP2021184139A - 管理計算機、管理プログラム、及び管理方法 - Google Patents
管理計算機、管理プログラム、及び管理方法 Download PDFInfo
- Publication number
- JP2021184139A JP2021184139A JP2020088804A JP2020088804A JP2021184139A JP 2021184139 A JP2021184139 A JP 2021184139A JP 2020088804 A JP2020088804 A JP 2020088804A JP 2020088804 A JP2020088804 A JP 2020088804A JP 2021184139 A JP2021184139 A JP 2021184139A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- accuracy
- data
- model
- management computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims description 65
- 230000006872 improvement Effects 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 64
- 238000012549 training Methods 0.000 claims description 62
- 238000009826 distribution Methods 0.000 claims description 37
- 230000006870 function Effects 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 6
- 230000001186 cumulative effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000013480 data collection Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 235000000332 black box Nutrition 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Debugging And Monitoring (AREA)
Abstract
【課題】不要な再学習を防ぎ、学習モデルの再学習の処理コストを低減する。【解決手段】学習モデルを用いて推論を行うシステムを管理する管理計算機１は、メモリと協働して処理を行うプロセッサを有し、プロセッサは、学習モデルの学習に用いられた学習データの特徴量と学習モデルの精度の相関に基づいて、システムの運用開始時以降にシステムから収集された新規収集データを含む再学習用データを用いて再学習を実行した場合の再学習モデルの精度を予測するための精度向上予測モデルを生成する生成処理と、精度向上予測モデルと再学習用データの特徴量から、再学習モデルの精度を予測する予測処理と、予測した再学習モデルの精度に基づいて、再学習の実行要否を判定する判定処理とを実行する。【選択図】図１
Description
本発明は、学習モデルを用いて推論を行う人工知能（ＡＩ：Artificial Intelligence）システムを管理する管理計算機、管理プログラム、及び管理方法に関する。
近年、学習モデル（機械学習モデルなど）をもとに推論を行う人工知能の発展が目覚ましい。例えば機械学習モデルは、環境変化により精度の劣化が生じるため、運用中の収集データを用いた再学習を要する場合がある。例えば特許文献１には、現在運用中の機械学習モデルの精度を予測し、再学習後の機械学習モデルとの精度の比較結果に基づいて、現在の機械学習モデルを再学習後の機械学習モデルで更新する技術が開示されている。
しかしながら、上述の従来技術では、再学習用のデータ数が不十分であるなどの要因で再学習後の機械学習モデルの精度が期待を満たさない場合、不要な再学習を実行することになり、また、期待する精度が得られるまで再学習を繰り返す。よって、再学習の処理コストが大きく、また、再学習期間が見積れないという問題がある。
本発明は、上述の点を考慮してなされたものであって、不要な再学習を防ぎ、学習モデルの再学習の処理コストを低減することを目的とする。
上記課題を解決するために、本発明においては、学習モデルを用いて推論を行うシステムを管理する管理計算機であって、メモリと協働して処理を行うプロセッサを有し、前記プロセッサは、前記学習モデルの学習に用いられた学習データの特徴量と該学習モデルの精度の相関に基づいて、前記システムの運用開始時以降に該システムから収集された新規収集データを含む再学習用データを用いて再学習を実行した場合の再学習モデルの精度を予測するための精度向上予測モデルを生成する生成処理と、前記精度向上予測モデルと前記再学習用データの特徴量から、前記再学習モデルの精度を予測する予測処理と、予測した前記再学習モデルの精度に基づいて、前記再学習の実行要否を判定する判定処理とを実行することを特徴とする。
本発明によれば、不要な再学習を防ぎ、学習モデルの再学習の処理コストを低減できる。
以下、本発明の好適な実施形態を説明する。以下において、同一又は類似の要素及び処理に同一の符号を付して差分を説明し、重複説明を省略する。また、後出の実施形態では、既出の実施形態との差分を説明し、重複説明を省略する。
また、以下の説明及び各図で示す構成及び処理は、本発明の理解及び実施に必要な程度で実施形態の概要を例示するものであり、本発明に係る実施の態様を限定することを意図する趣旨ではない。また、各実施形態及び各変形例は、本発明の趣旨を逸脱せず、整合する範囲内で、一部又は全部を組合せることができる。
（実施形態１の管理計算機１の構成）
図１は、実施形態１の管理計算機１の構成を示す図である。管理計算機１は、学習モデル（本実施形態では機械学習モデルとするが限定しない）を用いて推論を行う人工知能（ＡＩ：Artificial Intelligence）システムを管理する計算機である。管理計算機１は、学習データセット記憶部１１、精度向上予測モデル生成部１２、精度向上予測モデル記憶部１３、新規収集データセット記憶部１４、再学習精度予測部１５、及び再学習判定部１６を有する。学習データセット記憶部１１は、学習データセット１１Ｄを記憶する。
図１は、実施形態１の管理計算機１の構成を示す図である。管理計算機１は、学習モデル（本実施形態では機械学習モデルとするが限定しない）を用いて推論を行う人工知能（ＡＩ：Artificial Intelligence）システムを管理する計算機である。管理計算機１は、学習データセット記憶部１１、精度向上予測モデル生成部１２、精度向上予測モデル記憶部１３、新規収集データセット記憶部１４、再学習精度予測部１５、及び再学習判定部１６を有する。学習データセット記憶部１１は、学習データセット１１Ｄを記憶する。
管理計算機１には、ディスプレイ等の表示部１７、機械学習モデル生成部１８、管理対象システム１０１、及び関連システム１０２が接続されている。管理対象システム１０１は、管理計算機１が管理対象とするＡＩシステムであり、運用中の管理対象システム１０１が運用中の機械学習モデルである運用中モデル１０１ａを用いて入力特徴量に対する推論結果を出力する。関連システム１０２は、管理対象システム１０１の推論結果（予測データ）に対応する正解データ（実測データ）を、実際の運用から取得し出力する。
学習データセット記憶部１１は、運用中モデル１０１ａの学習に用いられた学習データセット１１Ｄを記憶する。
精度向上予測モデル生成部１２は、学習データセット記憶部１１に記憶される学習データセット１１Ｄの特徴量（本実施形態ではデータ数とするがこれに限らない）と、運用中モデル１０１ａのモデル精度（以下「精度」）の相関を事前に学習し、精度向上予測モデル１３Ｍを生成する。運用中モデル１０１ａの精度は、予測データと実測データに基づいて算出される精度指標であり、予測データの正答率や、実測データに対する予測データの誤差などがある。
すなわち、精度向上予測モデル生成部１２は、学習データセット１１Ｄのデータ数を説明変数とし、運用中モデル１０１ａの精度を目的変数とするデータセットを作成する。そして、精度向上予測モデル生成部１２は、作成したデータセットを学習し、データ数と精度の相関をモデル化した精度向上予測モデル１３Ｍを生成する。精度向上予測モデル生成部１２は、生成した精度向上予測モデル１３Ｍを、精度向上予測モデル記憶部１３に記憶する。精度向上予測モデル１３Ｍは、例えば図２に示す相関グラフで表される。図２は、データ数と精度の相関グラフを示す図である。
なお、精度向上予測モデル生成部１２は、精度向上予測モデル１３Ｍを学習する際、学習データセット１１Ｄに加え、学習モデルを用いて推論を行う他システムから収集されたデータを含むデータセットを用いてもよい。これにより、精度向上予測モデル１３Ｍの精度を向上させることができる。
なお、精度向上予測モデル１３Ｍの生成は、運用中モデル１０１ａの学習データセット１１Ｄに限らず、過去の運用で用いられたモデルの学習データセットを用いてもよい。
精度向上予測モデル１３Ｍは、管理対象システム１０１及び関連システム１０２から収集された新規収集データセット１４Ｄを少なくとも含む再学習用データを用いて再学習を行った場合に生成される運用中モデル１０１ａの精度を予測するためのモデルである。
ここで、新規収集データセット１４Ｄとは、運用中モデル１０１ａの運用開始時以降に取得された、管理対象システム１０１において推論に用いられた入力特徴量と、推論結果と、関連システム１０２で実際の運用で取得された正解データとを含んだデータセットである。
再学習精度予測部１５は、運用中の管理対象システム１０１から収集された新規収集データセット１４Ｄのデータ数を監視する。そして、再学習精度予測部１５は、再学習用データセットのデータ数と精度向上予測モデル１３Ｍに基づいて、再学習用データセットを用いて再学習した場合の機械学習モデル（以下、「再学習モデル」）の精度を予測する。
ここで、図１５に示すように、本実施形態では、再学習に用いる再学習用データのパターンは、（１）新規収集データセット１４Ｄのみからなるデータセット、又は、（２）運用中モデル１０１ａの学習データセット１１Ｄの全て又は一部に新規収集データセット１４Ｄを追加したデータセットである。図１５の詳細は、後述する。
再学習判定部１６は、運用中モデル１０１ａの精度から「基準値」を算出する。再学習判定部１６は、再学習精度予測部１５によって予測された再学習モデルの精度が「基準値」を超えていれば再学習を実行し、超えていなければ再学習を実行しないと判定する再学習実行要否判定処理を行う。図２の例では、「基準値」が現在の運用中モデル１０１ａの精度ａ１であり、現在の新規収集データセットのデータ数ｎ２である場合の精度ａ２が精度ａ１未満であるため、再学習を実行しないと判定される。
本実施形態では、「基準値」は、運用中モデル１０１ａの現在の精度である。運用中モデル１０１ａの精度は、例えば再学習精度予測部１５によって監視され、時系列の推移が記録される。図３は、運用中の運用中モデル１０１ａの精度の時系列グラフを示す図である。
しかし、「基準値」は、運用中モデル１０１ａの現在の精度に限らず、運用中モデル１０１ａの現在の精度よりも所定値分だけ高い値（または低い値）、運用中モデル１０１ａの運用開始時点の精度などであってもよい。あるいは、「基準値」は、運用中モデル１０１ａにおいて予測できる一定期間先の精度であってもよい（先行技術文献（国際公開第２０１５／１５２０５３号公報）参照）。
ここで、図１５を参照し、実施形態１の再学習実行要否判定処理で用いるデータについて説明する。図１５は、再学習実行要否判定処理における対象データを説明するための図であり、再学習実行要否判定処理に用いるデータパターンと再学習用データのパターンの組合せが、何れの実施形態（実施形態１、後述の実施形態２〜５）に適用できるかを示した表である。
図１５に示すように、本実施形態では、再学習に用いる再学習用データのパターンは、（１）新規収集データセット１４Ｄのみからなるデータセット、又は、（２）運用中モデル１０１ａの学習データセット１１Ｄの全て又は一部に新規収集データセット１４Ｄを追加したデータセットである。また、図１５に示すように、本実施形態では、再学習実行要否判定処理に用いるデータパターンは、（Ａ）再学習用データ全て、又は、（Ｂ）再学習用データセットのうち追加した新規収集データセット１４Ｄである。
すなわち、本実施形態では、再学習実行要否判定処理に用いるデータパターンと再学習用データのパターンの組合せは、図１５における（Ａ）及び（１）、（Ａ）及び（２）、（Ｂ）及び（２）の３つの組合せが該当する。
なお、再学習に用いる再学習用データセットを、（２）運用中モデル１０１ａの学習データの全て又は一部に新規収集データを追加したデータセットとする場合、図２に示すデータ数と精度の相関グラフに代えて、「元のデータ数」「追加データ数」「精度」の相関を取った３次元の相関グラフとする。「運用中モデル１０１ａの全て又は一部」が「元のデータ数」であり、「新規収集データ」のデータ数が「追加データ数」である。
図１に説明を戻す。再学習判定部１６は、再学習実行要否の判定結果（「再学習実行可」又は「再学習実行不可」）を、表示部１７に表示させる。また、再学習判定部１６は、データ数と精度の相関グラフ（図２）と、運用中モデル１０１ａの精度の時系列グラフ（図３）と、新規収集データセットの累積データ数の時系列グラフ（図４）と、再学習精度予測部１５が予測した再学習モデルの精度の値と、のうちの１又は複数を表示部１７に表示させる。データ数（累積値）は、運用開始時以降に管理対象システム１０１から取得された新規収集データセットのデータ数である。
また、再学習判定部１６は、再学習精度予測部１５によって予測された再学習時の精度が「基準値」に達していると判定した場合に、機械学習モデル生成部１８に対して、再学習用データセットを用いて、再学習を行う実行指示を出力する。機械学習モデル生成部１８は、再学習の実行指示に応じて、再学習用データセットを用いて再学習を自動実行する。
ここで、再学習判定部１６が再学習実行要否を判定するタイミングは、図３に示すように、運用中の運用中モデル１０１ａの精度が閾値ｔｈ１を超え、精度が劣化したと判定できる時刻ｔ１である。しかし、これに限らず、再学習判定部１６は、再学習時の精度が「基準値」を超えるか否かの判定を定期的に実行し、「基準値」を超えた時点で再学習を実行してもよい。
（実施形態１の精度向上予測モデル生成処理）
図５は、実施形態１の精度向上予測モデル生成処理を示すフローチャートである。精度向上予測モデル生成処理は、後述の再学習精度予測処理（図６）及び再学習判定処理（図７）に先立って事前に実行される。
図５は、実施形態１の精度向上予測モデル生成処理を示すフローチャートである。精度向上予測モデル生成処理は、後述の再学習精度予測処理（図６）及び再学習判定処理（図７）に先立って事前に実行される。
先ずステップＳ１１では、精度向上予測モデル生成部１２は、学習データセット１１Ｄからサンプリングする訓練データセットのサンプリング条件（本実施形態ではサンプリングするデータ数）を設定する。次にステップＳ１２では、精度向上予測モデル生成部１２は、学習データセット１１Ｄから、ステップＳ１１で設定したサンプリング条件に従って訓練データセットを取得する。次にステップＳ１３では、精度向上予測モデル生成部１２は、ステップＳ１２で取得した訓練データに基づいて機械学習モデルを生成する。
次にステップＳ１４では、精度向上予測モデル生成部１２は、学習データセットからテストデータを取得する。次にステップＳ１５では、精度向上予測モデル生成部１２は、テストデータを用いて、ステップＳ１３で生成した機械学習モデルの精度を算出する。
次にステップＳ１６では、精度向上予測モデル生成部１２は、ステップＳ１２で取得した訓練データセットの特徴量と、ステップＳ１５で算出した機械学習モデルの精度の組を記録する。
次にステップＳ１７では、精度向上予測モデル生成部１２は、終了条件を充足するかを判定する。終了条件は、例えばデータ数のパターンを十分に網羅して機械学習モデルを生成し、各データ数に対応する精度を記録したことである。精度向上予測モデル生成部１２は、終了条件を充足する場合（ステップＳ１７Ｙｅｓ）にステップＳ１８へ処理を移し、終了条件を充足しない場合（ステップＳ１７Ｎｏ）にステップＳ１１へ処理を戻す。ステップＳ１７から処理を戻されたステップＳ１１では、ステップＳ１２でサンプリングする訓練データセットの新たなデータ数が設定される。
ステップＳ１８では、精度向上予測モデル生成部１２は、ステップＳ１６で記録した訓練データセットのデータ数と機械学習モデルの精度の組から精度向上予測モデル１３Ｍを生成する。次にステップＳ１９では、精度向上予測モデル生成部１２は、ステップＳ１８で生成した精度向上予測モデルを精度向上予測モデル記憶部１３に登録する。
（実施形態１の再学習精度予測処理）
図６は、実施形態１の再学習精度予測処理を示すフローチャートである。先ずステップＳ２１では、再学習精度予測部１５は、新規収集データセット１４Ｄを含む再学習用データセットを取得する。次にステップＳ２２では、再学習精度予測部１５は、ステップＳ２１で取得した再学習用データセットの特徴量（データ数）を算出する。
図６は、実施形態１の再学習精度予測処理を示すフローチャートである。先ずステップＳ２１では、再学習精度予測部１５は、新規収集データセット１４Ｄを含む再学習用データセットを取得する。次にステップＳ２２では、再学習精度予測部１５は、ステップＳ２１で取得した再学習用データセットの特徴量（データ数）を算出する。
次にステップＳ２３では、再学習精度予測部１５は、精度向上予測モデル１３Ｍと再学習用データセットのデータ数から、再学習用データセットを用いて再学習を実行した場合の機械学習モデルの精度（再学習精度）を予測する。次にステップＳ２４では、再学習精度予測部１５は、予測した再学習精度を所定の記憶領域に登録する。
（実施形態１の再学習実行要否判定処理）
図７は、実施形態１の再学習実行要否判定処理を示すフローチャートである。先ずステップＳ３１では、再学習判定部１６は、再学習精度予測処理のステップＳ２４で登録された再学習精度を取得する。次にステップＳ３２では、再学習判定部１６は、運用中モデル１０１ａの精度を取得する。次にステップＳ３３では、再学習判定部１６は、再学習実行要否を判定する。
図７は、実施形態１の再学習実行要否判定処理を示すフローチャートである。先ずステップＳ３１では、再学習判定部１６は、再学習精度予測処理のステップＳ２４で登録された再学習精度を取得する。次にステップＳ３２では、再学習判定部１６は、運用中モデル１０１ａの精度を取得する。次にステップＳ３３では、再学習判定部１６は、再学習実行要否を判定する。
次にステップＳ３４では、再学習判定部１６は、ステップＳ３３の判定結果（「再学習実行可）又は「再学習実行不可」）を表示部１７に表示させる。この時、ステップＳ２３で予測した再学習モデルの精度の値も合わせて表示してよい。次にステップＳ３５では、再学習判定部１６は、データ数と精度の相関グラフ（図２）、運用中モデル１０１ａの精度の時系列グラフ（図３）、新規収集データセット１４Ｄの累積データ数の時系列グラフ（図４）の各種グラフを表示部１７に表示させる。
再学習判定部１６は、ステップＳ３３の判定結果が「再学習実行可」の場合（ステップＳ３６Ｙｅｓ）に、再学習実行指示を機械学習モデル生成部１８に対して出力する。一方、再学習判定部１６は、ステップＳ３３の判定結果が「再学習実行不可」の場合（ステップＳ３６Ｎｏ）に、再学習実行指示を出力せず、再学習実行要否判定処理を終了する。
本実施形態によれば、機械学習モデルの不要な再学習を削減し、再学習のコストを低減できる。
なお、再学習判定部１６は、再学習実行要否判定で再学習精度が十分でないため再学習実行不可と判定した場合に、次のようにして再学習実行可となる将来の適切な再学習時期を算出する。図８は、実施形態１の再学習時期算出処理を説明するための図である。
図８に示すように、先ず、収集した学習データの収集率（単位時間あたりの収集数）から、新規収集データ数の将来の収集数を予測する将来収集データ数予測モデルを作成する。次に、将来収集データ数予測モデルと精度向上予測モデルから、再学習モデルの将来の精度を予測する。次に、再学習モデルの精度が基準値ａ３を超えると予測されるデータ数ｎ３に対応する運用期間ｔ３から将来の適切な再学習時期を算出し、表示部１７に表示するなどして提案する。
また、再学習判定部１６は、再学習実行要否判定で再学習精度が十分でないため再学習実行不可と判定した場合に、次のようにして再学習実行可となる将来の適切な再学習時期を算出してもよい。図９は、実施形態１の再学習時期算出処理の他の例を説明するための図である。
図９に示すように、運用中モデル１０１ａの精度予測モデル（従来技術を用いて作成）に基づいて運用中モデル１０１ａの将来の精度を予測し、前述の図８と同様に将来収集データ数予測モデルと精度向上予測モデルから再学習モデルの将来の精度を予測し（図８の（３））、再学習モデルの将来の精度が運用中モデル１０１ａの将来の精度を超過する日時を再学習実行日時として、表示部１７に表示するなどして提案する。あるいは基準値（例えば運用開始時点の運用中モデル１０１ａの精度)を超える日時を再学習実行日時として提案してもよい。
これにより、いつ再学習すればよいかが分かり、無駄な再学習を抑制し、再学習のコストを減少させることができる。
［実施形態２］
実施形態１では、学習データセット１１Ｄのデータ数と精度に基づいて精度向上予測モデル１３Ｍを生成し、精度向上予測モデル１３Ｍと再学習用データセットに基づいて再学習実行否判定を行うとした。これに対し、実施形態２では、特徴量を、実施形態１のデータ数から学習期間に置き換え、データ数と精度の相関グラフ（図２）を、図１０に示す学習期間（学習データの収集期間）と精度の相関に置き換えたものとする。図１０は、学習期間と精度の相関グラフを示す図である。その他は実施形態１と同様である。
実施形態１では、学習データセット１１Ｄのデータ数と精度に基づいて精度向上予測モデル１３Ｍを生成し、精度向上予測モデル１３Ｍと再学習用データセットに基づいて再学習実行否判定を行うとした。これに対し、実施形態２では、特徴量を、実施形態１のデータ数から学習期間に置き換え、データ数と精度の相関グラフ（図２）を、図１０に示す学習期間（学習データの収集期間）と精度の相関に置き換えたものとする。図１０は、学習期間と精度の相関グラフを示す図である。その他は実施形態１と同様である。
学習期間（管理対象システム１０１の運用期間）の経過に応じて新規収集データセット１４Ｄのデータ数が増え、データ分布範囲が広がり精度が向上する。このことから、本実施形態では、データ数を学習期間に置き換えても、精度向上予測モデルと学習期間から、実施形態１と同様に、精度向上予測モデルを生成し、再学習精度を推定できる。
なお、本実施形態では、データ数の代替指標として時間軸の学習期間（運用期間）を用いている。このため、新規収集データセット１４Ｄの単位時間当たりの収集率が、精度向上予測モデル生成時の学習データセット１１Ｄの単位時間当たりの収集率から変化すると、精度向上予測モデル生成時の精度と再学習精度算出時の精度の前提条件が一致せず、精度向上予測モデル１３Ｍの精度が劣化する。
そこで、新規収集データセット１４Ｄの単位時間当たりの収集率と、精度向上予測モデル生成時の学習データセット１１Ｄの単位時間当たりの収集率とを比較し、収集率の変化の度合いに応じて、収集率の変化を吸収するように、精度向上予測モデルを修正してもよい。例えば、収集率の差分や比率に応じて精度向上予測モデルの相関グラフを修正する。これにより、精度向上予測モデル１３Ｍの精度の劣化を是正できる。
本実施形態では、再学習実行要否判定処理に用いるデータパターンは、図１５に示す（Ａ）再学習用データ全て、のみである。よって、再学習実行要否判定処理に用いるデータパターンと再学習用データのパターンの組合せは、図１５における（Ａ）及び（１）、（Ａ）及び（２）の２つの組合せが該当する。
なお、本実施形態においても、実施形態１と同様に、再学習実行要否判定で再学習精度が十分でないため再学習実行不可と判定した場合に、データ収集開始時点を起点とした再学習モデルの精度向上予測モデル１３Ｍ（図１０）に基づいて将来の再学習モデルの精度を予測し、再学習実行可となる将来の適切な再学習時期を算出できる。
［実施形態３］
実施形態３では、学習データセット１１Ｄを特徴量に基づいてグループ化（例えばクラスタリング）し、グループ毎のデータセットの特徴量と精度の相関に基づいて各精度向上予測モデル１３Ｍを生成する。また、再学習用データセットを特徴量に基づいてグループ化し、各クラスタの精度向上予測モデル１３Ｍと、新規グループ及び学習データセット１１Ｄをグループ化した既存グループとに基づいて再学習実行要否判定を行う。その他は実施形態１と同様である。以下、グループ化を、クラスタリングを例として説明する。また、精度との相関を求めるデータセットの特徴量は、データ数とする。
実施形態３では、学習データセット１１Ｄを特徴量に基づいてグループ化（例えばクラスタリング）し、グループ毎のデータセットの特徴量と精度の相関に基づいて各精度向上予測モデル１３Ｍを生成する。また、再学習用データセットを特徴量に基づいてグループ化し、各クラスタの精度向上予測モデル１３Ｍと、新規グループ及び学習データセット１１Ｄをグループ化した既存グループとに基づいて再学習実行要否判定を行う。その他は実施形態１と同様である。以下、グループ化を、クラスタリングを例として説明する。また、精度との相関を求めるデータセットの特徴量は、データ数とする。
例えば、運用中（あるいは過去でもよい）の運用中モデル１０１ａの学習データセット及び新規収集データセットを、特徴量Ｘ及び特徴量Ｙに基づいてクラスタリングし、図１１に示すような分布が得られたとする。図１１は、学習データの分布（新規収集データを含む）を示す図である。
以下、図１１に示すクラスタが得られた場合を説明する。運用中モデル１０１ａの学習データセットのクラスタがクラスタＮ１、Ｎ２であり、クラスタＮ１、Ｎ２に属する新規収集データがある一方で、新規収集データのみからなる新規クラスタＯ１、Ｏ２、及びＯ３がある。そして、図１２に示すように、クラスタＮ１、Ｎ２毎に、データ数と精度の相関が算出される。
本実施形態におけるクラスタ毎のデータ数と精度の相関の作成は、次の２つの方法のうちの何れかによる。１つ目は、精度向上予測モデル生成部１２は、学習データセット１１Ｄのデータ数をランダムに増やしていき、クラスタＮ１、Ｎ２毎に、データ数と精度の相関を算出するものである。２つ目は、精度向上予測モデル生成部１２は、特定のクラスタ（例えばクラスタＮ１）をデータ数を増やすクラスタとし、他のクラスタ（例えばクラスタＮ２）はデータ数を一定とし、クラスタＮ１、Ｎ２毎に、データ数と精度の相関を算出するものである。
なお、精度向上予測モデル１３Ｍの生成は、運用中モデル１０１ａの学習データセット１１Ｄに限らず、過去の運用で用いられたモデルの学習データセットを用いてもよい。
このようにして、図１２に示すように、クラスタ毎のデータ数と精度の相関が複数得られる。精度向上予測モデル生成部１２は、この複数のクラスタ毎のデータ数と精度の相関の何れか１つ、又は、この複数のクラスタ毎のデータ数と精度の相関の平均を取ったものを、精度向上予測モデル１３Ｍとする。
本実施形態では、再学習実行要否判定処理に用いるデータパターンは、図１５に示す（Ａ）再学習用データ全て、（Ｂ）新規収集データ、（Ｃ）ドリフトデータのみ、（Ｄ）ドリフトデータと運用中モデル１０１ａのそれぞれのクラスタ、である。再学習実行要否判定処理に用いるデータパターンと再学習用データのパターンの組合せは、図１５に示す通りである。
ここで、（Ｃ）では、再学習判定部１６は、各クラスタの精度向上予測モデル１３Ｍと、運用中モデル１０１ａのクラスタＮ１、Ｎ２からドリフトした新規クラスタＯ３に属するデータ数とに基づいて予測した再学習モデルの精度から、再学習実行要否を判定する。
また、再学習実行要否判定は、次のように行われてもよい。すなわち、再学習判定部１６は、運用中モデル１０１ａのクラスタＮ１、Ｎ２からドリフトした新規クラスタＯ３に属するデータ数、又は、新規クラスタＯ３の中心から標準偏差内のデータ数が運用中モデル１０１ａのクラスタと同等とみなせる場合に、再学習デーセットを用いて再学習を実行すると判定する。
また、（Ｄ）では、再学習判定部１６は、各クラスタの精度向上予測モデル１３Ｍと、再学習用データをクラスタリングした結果のドリフトデータのクラスタ（新規クラスタ）内のデータ数及び運用中モデル１０１ａのクラスタ（既存クラスタ）内のデータ数の何れか一方又は両方とに基づいて予測した再学習モデルの精度から、各クラスタについて再学習実行要否を判定する。再学習判定部１６は、この複数の判定結果の全一致又は多数決で最終的な再学習精度実行要否を判定する。
［実施形態４］
実施形態４では、実施形態１の再学習実行要否判定に、次の判定処理を加える。すなわち、再学習判定部１６は、データ数に基づく再学習精度が基準値に達することに加え、ある特徴量に対し、再学習用データの確率分布（以下「分布」）が運用中モデル１０１ａの学習データの分布と同程度とみなせる場合に、十分な学習データが収集できたとし、再学習実行可と判定する。分布を比較する特徴量は、１つでもよいし、複数でもよい。
実施形態４では、実施形態１の再学習実行要否判定に、次の判定処理を加える。すなわち、再学習判定部１６は、データ数に基づく再学習精度が基準値に達することに加え、ある特徴量に対し、再学習用データの確率分布（以下「分布」）が運用中モデル１０１ａの学習データの分布と同程度とみなせる場合に、十分な学習データが収集できたとし、再学習実行可と判定する。分布を比較する特徴量は、１つでもよいし、複数でもよい。
図１３は、学習データの分布と再学習用データの分布が同程度とみなし得る概要を示す図である。図１３に示すように、ある特徴量Ａについて、平均μの運用中モデル１０１ａの学習データの分布と、平均μ´の再学習用データの分布は、データのドリフトにより平均が異なるものの、分布を特徴付ける指標値が同様である場合に、両分布が同程度であるとみなせる。
分布の比較対象の特徴量は、学習データ及び再学習用データの全ての特徴量であってもよいし、説明可能ＡＩによって導出された運用中モデル１０１ａの推論結果に対する影響が上位ｎ個の特徴量であってもよい。
分布が同程度であるか否かの判定では、学習データ及び再学習用データの分布の所定の統計指標の差分又は比率又は距離が一定値以下であれば両分布が同程度であるとみなす。差分又は比率又は距離は、学習データ及び再学習用データの所定の統計指標の関係を表す特徴量である。ここでの所定の統計指標は、歪度、尖度、標準偏差、及び分散のうちの１又は複数である。データを正規化（標準化）して、分布を比較してもよい。
または、分布が同程度であるか否かの判定では、運用中モデル１０１ａの学習データ及び再学習用データを正規化（標準化）し、類似度（例えばＫＬダイバージェンス）が一定値以上であれば両分布が同程度であるとみなしてもよい。
なお、歪度、尖度、標準偏差、及び分散の差分（または比率）と精度の相関グラフや、類似度と精度の相関グラフを作成し、再学習精度を予測してもよい。この場合、相関グラフ作成時のデータ数は揃えることを前提とする。また、再学習精度予測処理の実行は、再学習用データの数が所定の範囲内である場合にのみ限定してもよい。例えば、再学習用データ数が、再学習精度予測処理に使用する相関グラフの作成時のデータ数に対し、所定の範囲内である場合にのみ再学習精度予測処理を実行してもよい。所定の統計指標と精度の相関グラフと再学習用データに基づいて予測した精度が、基準値に達しているか否かで再学習実行要否を判定して良い。
最終的な再学習実行要否は、データ数に基づく再学習実行要否判定結果と、特徴量の分布の比較に基づく再学習実行要否判定結果との全てが再学習実行可の場合に、再学習実行可と判定する。
または、最終的な再学習実行要否は、データ数に基づく再学習実行要否判定結果と、特徴量の分布の比較に基づく再学習実行要否判定結果とで、多数決を取って要否を決定する。この多数決において、再学習実行可と再学習実行不可が同数の場合は、データ数に基づく再学習実行要否判定結果を優先する。
または、最終的な再学習実行要否は、データ数に基づく再学習実行要否判定結果を用いず、特徴量の分布の比較に基づく再学習実行要否判定結果のみで判定を行ってもよい。この場合、特徴量の分布の比較に基づく再学習実行要否判定結果との全てが再学習実行可の場合に、再学習実行可と判定してもよいし、多数決を取って要否を決定してもよい。
本実施形態では、再学習実行要否判定処理に用いるデータパターンは、図１５に示すように、実施形態３と同様である。ただし、図１５の（Ｃ）及び（Ｄ）のケースでは、運用中モデル１０１ａのある特徴量Ａの分布に対し、再学習用データの特徴量Ａの分布が変化している場合には、新規クラスタが発生したかクラスタの移動が発生したかを判定する。そして、新規クラスタ（または移動クラスタ）が発生した場合には、新規クラスタ（移動クラスタ）に所属するデータと、分布変化前のクラスタに所属するデータを分離し、分離後の各クラスタのデータの分布を、運用中モデル１０１ａの学習データの分布と比較する。
［実施形態５］
新規収集データセット１４Ｄを含んだ再学習用データを用いて機械学習モデルを再学習した場合、モデルを構成する内部パラメータθに大きな影響を与える場合がある。実施形態５では、内部パラメータθが大きく変動した場合は、運用中モデル１０１ａの精度への影響も大きいとみなし、再学習実行要否を判定する。
新規収集データセット１４Ｄを含んだ再学習用データを用いて機械学習モデルを再学習した場合、モデルを構成する内部パラメータθに大きな影響を与える場合がある。実施形態５では、内部パラメータθが大きく変動した場合は、運用中モデル１０１ａの精度への影響も大きいとみなし、再学習実行要否を判定する。
運用中モデル１０１ａに対して、影響関数（Influence Function）Δθを導出する（参考文献：Pang Wei Koh, Percy Liang, “Understanding Black-box Predictions via Influence Functions”，2017年 7月10日，URL: https://arxiv.org/pdf/1703.04730.pdf）。本実施形態では、データの影響関数をデータの特徴量とする。
下記式（１）に記載の影響関数ΔθＺは、学習データＺを学習データセットから除外して学習したモデルの内部パラメータθ―Ｚと運用中モデル１０１ａの内部パラメータθの差分である。参考文献では、学習なしで影響関数を導出しているが、実際に学習しながら導出してもよい。
ΔθＺ＝θ―Ｚ−θ＝Ｉｕｐ，ｐａｒａｍ(Ｚ)・・・(1)
上記式（１）において、Ｚ：運用中モデル１０１ａ生成時の学習データ、θ：運用中モデル１０１ａを構成する内部パラメータである。
ΔθＺ＝θ―Ｚ−θ＝Ｉｕｐ，ｐａｒａｍ(Ｚ)・・・(1)
上記式（１）において、Ｚ：運用中モデル１０１ａ生成時の学習データ、θ：運用中モデル１０１ａを構成する内部パラメータである。
精度向上予測モデル生成部１２は、運用中モデル１０１ａの精度と、運用中モデル１０１ａの学習データセット１１Ｄからある学習データＺを除外した場合のモデルの精度との精度差ΔＡについて、学習データＺを変えながらモデルを作成しΔθとΔＡを計算することで、ΔθとΔＡの相関グラフを作成する。このようにして作成された精度向上予測モデル１３Ｍは、図１４に示すようなものとなる。図１４は、影響関数と精度差の相関グラフを示す図である。
再学習精度予測部１５は、新規収集デーセットＺ´の各データｚ´ｉのΔθＺ´ｉを影響関数から算出し、図１４に示すような精度向上予測モデル１３Ｍからそれぞれ対応するΔＡＺ´ｉを求める。ここで、新規収集データセットによる再学習モデルの精度の影響関数は、上記式（１）の運用中モデル１０１ａの影響関数と相関性があることを前提とする。
再学習判定部１６は、再学習精度予測部１５によって求められた複数のΔＡＺ´ｉの合計又は平均が一定値以上であれば、運用中モデル１０１ａの精度に対して新規収集デーセットＺ´の影響が大きいとみなし、再学習実行可と判定する。
［他の実施形態］
上記実施形態１〜５に加えて実施可能な実施形態を示す。
上記実施形態１〜５に加えて実施可能な実施形態を示す。
（１）再学習用データの拡充推奨
再学習判定部１６は、再学習実行要否判定で再学習精度が十分でないため再学習実行不可と判定した場合に、再学習用データの拡充の推奨を、表示部１７に表示するなどして推奨する。再学習用データの拡充方法には、運用中モデル１０１ａの学習データを流用する、再学習用データのデータオーギュメンテーション（水増し）を行う、再学習用データの偏りを是正するように能動的にデータ取得する（例えばデータ数が他と比較して少ない期間のデータを補充する）、などがある。この推奨に応じて再学習用データが拡充されることにより、再学習精度を向上させることができる。
再学習判定部１６は、再学習実行要否判定で再学習精度が十分でないため再学習実行不可と判定した場合に、再学習用データの拡充の推奨を、表示部１７に表示するなどして推奨する。再学習用データの拡充方法には、運用中モデル１０１ａの学習データを流用する、再学習用データのデータオーギュメンテーション（水増し）を行う、再学習用データの偏りを是正するように能動的にデータ取得する（例えばデータ数が他と比較して少ない期間のデータを補充する）、などがある。この推奨に応じて再学習用データが拡充されることにより、再学習精度を向上させることができる。
（２）精度向上予測モデルの作成について
上記実施形態では、１つの管理対象システム（機械学習モデル）につき１つの精度向上予測モデル１３Ｍを作成するとした。しかし、これに限らず、共通する特徴を持つ複数の管理対象システムに対して１つの精度向上予測モデルを生成するようにしてもよい。すなわち、精度向上予測モデル１３Ｍを、学習モデルを用いて推論を行うシステムを特徴付ける特徴量毎に生成する。
上記実施形態では、１つの管理対象システム（機械学習モデル）につき１つの精度向上予測モデル１３Ｍを作成するとした。しかし、これに限らず、共通する特徴を持つ複数の管理対象システムに対して１つの精度向上予測モデルを生成するようにしてもよい。すなわち、精度向上予測モデル１３Ｍを、学習モデルを用いて推論を行うシステムを特徴付ける特徴量毎に生成する。
再学習精度を予測する際には、予測対象となる管理対象システムの特徴に応じて、複数の精度向上予測モデルから１つを選択する。管理対象システムの特徴とは、人工知能のアルゴリズム、特徴量のタイプ（例えば時系列データであるなど）、人工知能システムが解決する課題の種類（予測、判定）等である。また、内部パラメータに基づいてモデルの近さを基準に精度向上予測モデルを選択してもよい。これにより、精度向上予測モデル１３Ｍの精度を向上させることができる。
（３）精度向上予測モデルの更新
運用中モデル１０１ａが再学習モデルで更新される都度、精度向上予測モデル１３Ｍを更新してもよい。これにより、精度向上予測モデル１３Ｍの精度を向上させることができる。
運用中モデル１０１ａが再学習モデルで更新される都度、精度向上予測モデル１３Ｍを更新してもよい。これにより、精度向上予測モデル１３Ｍの精度を向上させることができる。
（４）精度向上予測モデルの生成方法について
データセットの特徴量の値に対する精度の相関グラフを作成する際、データセットの特徴量（データ数、データの学習期間、クラスタ内データ数、データの歪度、尖度、標準偏差、分散等）と、精度向上予測モデル作成のための学習用のデータセットの決定方法は、次の通りである。なお、学習用のデータセットと、評価用のデータセットは事前に一般的な方法で分離されているものとする。
データセットの特徴量の値に対する精度の相関グラフを作成する際、データセットの特徴量（データ数、データの学習期間、クラスタ内データ数、データの歪度、尖度、標準偏差、分散等）と、精度向上予測モデル作成のための学習用のデータセットの決定方法は、次の通りである。なお、学習用のデータセットと、評価用のデータセットは事前に一般的な方法で分離されているものとする。
データセットの特徴量の値と、学習データセットのサンプリングはランダムに決定して学習を実施する（何れの実施形態も可）。または、学習データセットをあらかじめクラスタリングしておき、各クラスタから同数をサンプリングした学習データの特徴量と、この学習データを用いて学習した場合の学習モデルの精度の相関に基づいて、精度向上予測モデル１３Ｍを生成する(ただし、実施形態１、実施形態３、実施形態４の場合のみ可能)。
また、データ特徴量と精度の相関グラフを作成する際、サンプリングする特徴量の値は、ＴＰＥ（Tree Parzen Estimator）等のベイズ最適化の手法を用いてサンプリングする。また、データ特徴量と精度の相関グラフの生成の方式は、一般的な回帰分析であってもよいし、その他の機械学習アルゴリズムを用いてもよい。
（コンピュータのハードウェア）
図１６は、管理計算機１及び機械学習モデル生成部１８を実現するコンピュータのハードウェアを示す図である。管理計算機１及び機械学習モデル生成部１８を実現するコンピュータ５０００では、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ５３００、ＲＡＭ（Random Access Memory）等の主記憶装置（メモリ）５４００、入力装置５６００（例えばキーボード、マウス、タッチパネル等）、及び出力装置５７００（例えば外部ディスプレイモニタに接続されたビデオグラフィックカード）が、メモリコントローラ５５００を通して相互接続される。
図１６は、管理計算機１及び機械学習モデル生成部１８を実現するコンピュータのハードウェアを示す図である。管理計算機１及び機械学習モデル生成部１８を実現するコンピュータ５０００では、ＣＰＵ（Central Processing Unit）に代表されるプロセッサ５３００、ＲＡＭ（Random Access Memory）等の主記憶装置（メモリ）５４００、入力装置５６００（例えばキーボード、マウス、タッチパネル等）、及び出力装置５７００（例えば外部ディスプレイモニタに接続されたビデオグラフィックカード）が、メモリコントローラ５５００を通して相互接続される。
プロセッサ５３００は、主記憶装置５４００と協働してプログラムを実行することで、精度向上予測モデル生成部１２、再学習精度予測部１５、及び再学習判定部１６を実現する。
コンピュータ５０００において、管理計算機１及び機械学習モデル生成部１８を実現するためのプログラムがＩ／Ｏ（Input／Output）コントローラ５２００を介してＳＳＤやＨＤＤ等の外部記憶装置５８００から読み出されて、プロセッサ５３００及び主記憶装置５４００の協働により実行されることにより、管理計算機１及び機械学習モデル生成部１８が実現される。
あるいは、管理計算機１及び機械学習モデル生成部１８を実現するための各プログラムは、コンピュータ読み取り可能媒体に記憶され読み取り装置によって読み出されたり、ネットワークインターフェース５１００を介した通信により外部のコンピュータから取得されたりしてもよい。
また、管理計算機１及び機械学習モデル生成部１８は、１つのコンピュータ５０００で構成されてもよい。または、管理計算機１は、複数のコンピュータに各部が分散配置されて構成されてもよく、処理効率などに応じて分散及び統合は任意である。
また、表示部１７が表示する情報は、出力装置５７００に表示されてもよいし、ネットワークインターフェース５１００を介した通信により外部のコンピュータに通知され、外部のコンピュータの出力装置に表示されてもよい。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例を含む。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、矛盾しない限りにおいて、ある実施形態の構成の一部を他の実施形態の構成で置き換え、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、構成の追加、削除、置換、統合、又は分散をすることが可能である。また実施形態で示した構成及び処理は、処理効率又は実装効率に基づいて適宜分散、統合、又は入れ替えることが可能である。
１：管理計算機、１１：学習データセット記憶部、１１Ｄ：学習データセット、１２精度向上予測モデル記憶部、１３：精度向上予測モデル記憶部、１３Ｍ：精度向上予測モデル、１４：新規収集データセット記憶部、１４Ｄ：新規収集データセット、１６：再学習判定部、１７：表示部、１８：機械学習モデル生成部、１０１：管理対象システム、１０１ａ機械学習モデル、１０２：関連システム
Claims (20)
- 学習モデルを用いて推論を行うシステムを管理する管理計算機であって、
メモリと協働して処理を行うプロセッサを有し、
前記プロセッサは、
前記学習モデルの学習に用いられた学習データの特徴量と該学習モデルの精度の相関に基づいて、前記システムの運用開始時以降に該システムから収集された新規収集データを含む再学習用データを用いて再学習を実行した場合の再学習モデルの精度を予測するための精度向上予測モデルを生成する生成処理と、
前記精度向上予測モデルと前記再学習用データの特徴量から、前記再学習モデルの精度を予測する予測処理と、
予測した前記再学習モデルの精度に基づいて、前記再学習の実行要否を判定する判定処理と
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記再学習の実行要否の判定結果を表示部に表示させる処理
を実行することを特徴とする管理計算機。 - 請求項２に記載の管理計算機であって、
前記プロセッサは、
前記システムにて運用中の学習モデルである運用中モデルの精度の時系列グラフと、前記学習データの特徴量と前記学習モデルの精度の相関グラフと、前記新規収集データの累積データ数の時系列グラフと、予測した前記再学習モデルの精度の値と、のうちの１又は複数を前記表示部に表示させる処理
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記判定処理において、予測した前記再学習モデルの精度と、前記システムにて運用中の学習モデルの精度と、に基づいて、前記再学習の実行要否を判定する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記判定処理において前記再学習の実行不可と判定した場合に、判定時以降の前記再学習モデルの精度の予測に基づいて、前記再学習の実行時期を予測する処理
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記判定処理において前記再学習の実行不可と判定した場合に、判定時以降の前記再学習モデルの精度と、前記システムにて運用中の学習モデルの精度の予測に基づいて、前記再学習の実行時期を予測する処理
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記判定処理において前記再学習の実行不可と判定した場合に、前記再学習用データの拡充を推奨する表示を表示部に表示させる処理
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記生成処理において、前記精度向上予測モデルを、前記学習データ、及び、学習モデルを用いて推論を行う他システムから収集されたデータ、を含むデータセットの特徴量と前記学習モデルの精度の相関に基づいて生成する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記システムにて運用中の学習モデルが更新されると、前記精度向上予測モデルを更新する処理
を実行することを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記生成処理において、前記精度向上予測モデルを、学習モデルを用いて推論を行うシステムの特徴毎に生成し、
前記システムの特徴に基づいて、前記予測処理において用いる精度向上予測モデルを、前記特徴毎に生成された複数の精度向上予測モデルから選択する選択処理
を実行し、
前記予測処理において、前記選択処理で選択された精度向上予測モデルと前記再学習用データの特徴量から、前記再学習モデルの精度を予測する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記学習データの特徴量は、前記学習データのデータ数である
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記学習データの特徴量は、前記学習データのデータ収集期間である
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記生成処理において、前記精度向上予測モデルを、前記学習データをグループ化した各グループ内のデータの特徴量と各グループ内の学習データを用いて学習した場合の各学習モデルの精度の相関に基づいて、各グループ毎に生成し、
前記予測処理において、前記再学習用データをグループ化した各グループ中で、前記学習データをグループ化した既存グループとは異なる新規グループを検出した際、各グループ毎の前記精度向上予測モデルと、前記新規グループ内のデータの特徴量及び前記既存グループ内のデータの特徴量の何れか一方又は両方とに基づいて、前記再学習モデルの精度を予測する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記判定処理において、前記学習データの特徴量の確率分布と、前記再学習用データの特徴量の確率分布とが、所定の統計指標に基づいて同一とみなせる場合に、予測した前記再学習モデルの精度に基づいて、前記再学習の実行要否を判定する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記生成処理において、前記精度向上予測モデルを、前記学習データの特徴量の確率分布と前記再学習用データの特徴量の確率分布のそれぞれの所定の統計指標の関係を表す特徴量と、前記学習モデルの精度の相関と、に基づいて生成する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記学習データの特徴量は、各学習データの影響関数であり、
前記プロセッサは、
前記生成処理において、前記学習モデルの影響関数と該影響関数に応じた該学習モデルの精度の変化量の相関に基づく前記精度向上予測モデルを生成し、
前記予測処理において、前記精度向上予測モデルと前記再学習用データの影響関数から、前記再学習モデルの精度の変化量を予測し、
前記判定処理において、予測した前記再学習モデルの精度の変化量に基づいて、前記再学習の実行要否を判定する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記学習データをグループ化し、
前記生成処理において、前記精度向上予測モデルを、前記グループ化した各グループからそれぞれ同数だけサンプリングした学習データの特徴量と、該学習データを用いて学習した場合の学習モデルの精度の相関に基づいて生成する
ことを特徴とする管理計算機。 - 請求項１に記載の管理計算機であって、
前記プロセッサは、
前記学習データの特徴量を、ベイズ最適化の手法を用いてサンプリングする
ことを特徴とする管理計算機。 - 学習モデルを用いて推論を行うシステムを管理する管理計算機としてコンピュータを機能させるための管理プログラムであって、
前記コンピュータに、
前記学習モデルの学習に用いられた学習データの特徴量と該学習モデルの精度の相関に基づいて、前記システムの運用開始時以降に該システムから収集された新規収集データを含む再学習用データを用いて再学習を実行した場合の再学習モデルの精度を予測するための精度向上予測モデルを生成する生成処理と、
前記精度向上予測モデルと前記再学習用データの特徴量から、前記再学習モデルの精度を予測する予測処理と、
予測した前記再学習モデルの精度に基づいて、前記再学習の実行要否を判定する判定処理と
を実行させることを特徴とする管理プログラム。 - 学習モデルを用いて推論を行うシステムを管理する管理計算機が実行する管理方法であって、
前記管理計算機が、
前記学習モデルの学習に用いられた学習データの特徴量と該学習モデルの精度の相関に基づいて、前記システムの運用開始時以降に該システムから収集された新規収集データを含む再学習用データを用いて再学習を実行した場合の再学習モデルの精度を予測するための精度向上予測モデルを生成する生成処理と、
前記精度向上予測モデルと前記再学習用データの特徴量から、前記再学習モデルの精度を予測する予測処理と、
予測した前記再学習モデルの精度に基づいて、前記再学習の実行要否を判定する判定処理と
を実行することを特徴とする管理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020088804A JP7481902B2 (ja) | 2020-05-21 | 2020-05-21 | 管理計算機、管理プログラム、及び管理方法 |
| US17/209,341 US20210365813A1 (en) | 2020-05-21 | 2021-03-23 | Management computer, management program, and management method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020088804A JP7481902B2 (ja) | 2020-05-21 | 2020-05-21 | 管理計算機、管理プログラム、及び管理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021184139A true JP2021184139A (ja) | 2021-12-02 |
| JP7481902B2 JP7481902B2 (ja) | 2024-05-13 |
Family
ID=78608177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020088804A Active JP7481902B2 (ja) | 2020-05-21 | 2020-05-21 | 管理計算機、管理プログラム、及び管理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20210365813A1 (ja) |
| JP (1) | JP7481902B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11651281B2 (en) * | 2020-05-18 | 2023-05-16 | International Business Machines Corporation | Feature catalog enhancement through automated feature correlation |
| US20220180244A1 (en) * | 2020-12-08 | 2022-06-09 | Vmware, Inc. | Inter-Feature Influence in Unlabeled Datasets |
| US11928464B2 (en) * | 2022-03-25 | 2024-03-12 | Dell Products L.P. | Systems and methods for model lifecycle management |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120284212A1 (en) * | 2011-05-04 | 2012-11-08 | Google Inc. | Predictive Analytical Modeling Accuracy Assessment |
| US8533224B2 (en) * | 2011-05-04 | 2013-09-10 | Google Inc. | Assessing accuracy of trained predictive models |
| JP6708204B2 (ja) | 2015-03-23 | 2020-06-10 | 日本電気株式会社 | 精度推定モデル生成システムおよび精度推定システム |
| JP6536295B2 (ja) | 2015-08-31 | 2019-07-03 | 富士通株式会社 | 予測性能曲線推定プログラム、予測性能曲線推定装置および予測性能曲線推定方法 |
| US10755196B2 (en) * | 2016-05-06 | 2020-08-25 | Accenture Global Solutions Limited | Determining retraining of predictive models |
| US11120361B1 (en) * | 2017-02-24 | 2021-09-14 | Amazon Technologies, Inc. | Training data routing and prediction ensembling at time series prediction system |
| JP2019106089A (ja) | 2017-12-14 | 2019-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、コンピュータプログラム |
| US10726313B2 (en) * | 2018-04-19 | 2020-07-28 | Adobe Inc. | Active learning method for temporal action localization in untrimmed videos |
| JP7071904B2 (ja) * | 2018-10-15 | 2022-05-19 | 株式会社東芝 | 情報処理装置、情報処理方法及びプログラム |
| JP2020062914A (ja) | 2018-10-15 | 2020-04-23 | トヨタ自動車株式会社 | 情報提供装置 |
| CN112015603A (zh) * | 2019-05-30 | 2020-12-01 | 鸿富锦精密电子(郑州)有限公司 | 用户终端硬件检测方法、装置、计算机装置及存储介质 |
-
2020
- 2020-05-21 JP JP2020088804A patent/JP7481902B2/ja active Active
-
2021
- 2021-03-23 US US17/209,341 patent/US20210365813A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20210365813A1 (en) | 2021-11-25 |
| JP7481902B2 (ja) | 2024-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10910107B1 (en) | Computer network architecture for a pipeline of models for healthcare outcomes with machine learning and artificial intelligence | |
| US10990904B1 (en) | Computer network architecture with machine learning and artificial intelligence and automated scalable regularization | |
| Acebes et al. | Stochastic earned value analysis using Monte Carlo simulation and statistical learning techniques | |
| CN114285728B (zh) | 一种预测模型训练方法、流量预测方法、装置及存储介质 | |
| US9189750B1 (en) | Methods and systems for sequential feature selection based on significance testing | |
| EP3295611A1 (en) | Early warning and recommendation system for the proactive management of wireless broadband networks | |
| US11415975B2 (en) | Deep causality learning for event diagnosis on industrial time-series data | |
| JP2021184139A (ja) | 管理計算機、管理プログラム、及び管理方法 | |
| US11593618B2 (en) | Data processing apparatus, data processing method, and storage medium | |
| JP2020512631A (ja) | 段階的な機械学習を使用する自動化された意思決定 | |
| US10921755B2 (en) | Method and system for competence monitoring and contiguous learning for control | |
| US9860109B2 (en) | Automatic alert generation | |
| CN115705322A (zh) | 一种数据库管理系统、数据处理方法及设备 | |
| JP7283485B2 (ja) | 推定装置、推定方法、及びプログラム | |
| Li et al. | An adaptive prognostics method based on a new health index via data fusion and diffusion process | |
| US10248462B2 (en) | Management server which constructs a request load model for an object system, load estimation method thereof and storage medium for storing program | |
| CN114781532A (zh) | 机器学习模型的评估方法、装置、计算机设备及介质 | |
| Tzortzis et al. | Infinite horizon average cost dynamic programming subject to total variation distance ambiguity | |
| CN109343952B (zh) | 贝叶斯网络确定方法、装置、存储介质和电子设备 | |
| Zhang et al. | A novel approach for QoS prediction based on Bayesian combinational model | |
| Kirschenmann et al. | Decision dependent stochastic processes | |
| US20230004870A1 (en) | Machine learning model determination system and machine learning model determination method | |
| Harutyunyan et al. | Challenges and experiences in designing interpretable KPI-diagnostics for cloud applications | |
| CN111382874B (zh) | 实现线上机器学习模型的更新迭代的方法和装置 | |
| KR101462232B1 (ko) | 유전자 알고리즘을 이용한 함정 운용 기준 산정 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240426 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7481902 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |