JP7282195B2

JP7282195B2 - 組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出

Info

Publication number: JP7282195B2
Application number: JP2021551570A
Authority: JP
Inventors: ヴェラー，ヨッシ; モーシェ，ガイ
Original assignee: シーメンスインダストリーソフトウェアインコーポレイテッド
Priority date: 2019-03-05
Filing date: 2019-03-05
Publication date: 2023-05-26
Anticipated expiration: 2039-03-05
Also published as: EP3918500B1; WO2020180300A1; US20220147614A1; EP3918500A1; CN113508381B; CN113508381A; JP2022522474A

Description

技術の継続的な改善に伴い、ソフトウェアアプリケーションがますます普及しつつある。組み込みソフトウェアアプリケーションは、自動車、セキュリティシステム、家電、おもちゃ、デジタルウォッチ、生物学的デバイスなどの、物理システム内のマシンまたはデバイスを制御することができる。組み込みソフトウェアを含む組み込みシステムは、マルウェア、ウイルス、スパイウェアなどを介したセキュリティ攻撃の標的となる可能性がある。

いくつかの実施例について、以下の詳細な説明の欄で図面を参照して説明する。

図１は、組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出をサポートするシステムの例を示している。

図２は、異常モデル訓練エンジンを用いた、機械学習による異常検出モデルの訓練の例を示す。

図３は、異常モデル訓練エンジンを用いたタスク特有の異常検出モデルの訓練の例を示している。

図４は、異常検出エンジンを用いた、組み込みアプリケーションの動作の実行時の特徴付けの例を示している。

図５は、異常検出モデルの学習フェーズの訓練をサポートするためにシステムが実行可能なロジックの例を示している。

図６は、組み込みソフトウェアの実行中の異常検出をサポートするためにシステムが実行可能なロジックの例を示している。

図７は、組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出をサポートするシステムの例を示している。

以下の説明では、組み込みソフトウェアまたは組み込みアプリケーションとも呼ばれる組み込みソフトウェアアプリケーションについて言及する。本明細書で使用されるように、組み込みソフトウェアアプリケーションは、デスクトップまたはラップトップコンピュータ以外の物理システム上で実行するソフトウェアを指す場合がある。そのような物理システムは、組み込みシステムとも呼ばれ、計算能力とメモリ機能がしばしば限られている。多くの場合、組み込みソフトウェアアプリケーションは、組み込みシステムのマシンまたは他の物理的要素とインターフェースを取ることができる。したがって、組み込みアプリケーションは、自動車、電話、モデム、ロボット、電化製品、セキュリティシステムなどに含まれるマシンまたはデバイスを監視または制御するために使用することができる。

本明細書には、組み込みソフトウェアアプリケーションのための、機械学習を用いた異常検出をサポートするシステム、方法、装置およびロジックが開示されている。以下に詳細に説明するように、本明細書に開示する機械学習ベースの異常検出機能は、組み込みソフトウェアアプリケーションの動作（例えば、実行時間）に影響する特定のアプリケーションパラメータを考慮することができる。異常検出モデルは、アプリケーションパラメータを特に考慮するように訓練することができる。機械学習モデルは、アプリケーションパラメータを実行時の動作（例えば、命令数または実行サイクルによって測定される）と関連付けて、通常時と異常時のアプリケーションの動作を特徴付けることができる。特にモデルの訓練においてアプリケーションパラメータを考慮することにより、本明細書で提示する機械学習ベースの異常検出機能は、アプリケーションの動作を監視し、異常を識別するためのリソース効率的なメカニズムを提供することができる。このメカニズムでは、アプリケーションコンテキストが実行時の動作に影響を与える方法を考慮する。

本明細書に開示する機械学習ベースの異常検出機能のこれらおよびその他の利点は、本明細書でより詳細に説明する。

図１は、組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出をサポートするシステム１００の例を示す。システム１００は、様々な形態をとることができ、アプリケーションサーバ、計算ノード、デスクトップもしくはラップトップコンピュータ、スマートフォンもしくは他のモバイルデバイス、タブレットデバイス、組み込みコントローラ、または組み込みソフトウェアを含む任意のハードウェアコンポーネントもしくは物理システムなどの単一または複数のコンピューティングデバイスを含む。システム１００は、組み込みソフトウェアアプリケーションのための異常検出モデルを訓練、使用、または適用することができる、計算能力を有する任意のシステムの形態をとることができる。

本明細書でさらに詳細に説明するように、システム１００は、学習フェーズ、実行フェーズ、またはその両方で、機械学習ベースの異常検出をサポートすることができる。学習フェーズでは、システム１００は、機械学習を使用して、実行時の動作に影響を与える様々なアプリケーションパラメータに応じて組み込みソフトウェアアプリケーションの動作を特徴付けることができる。システム１００は、機械学習と、サンプリングされたアプリケーションパラメータと測定されたアプリケーションの動作からなる訓練セットとを用いて、組み込みソフトウェアアプリケーションの異常な動作を検出するための異常検出モデルを構築することができる。実行フェーズでは、システム１００は、訓練された異常検出モデルにアクセスして、サンプリングされた実行時のアプリケーションパラメータとして、組み込みソフトウェアアプリケーションの測定された実行時動作に基づいて、異常を検出することができる。したがって、システム１００は、機械学習により構築された異常検出モデルを用いて、組み込みソフトウェアアプリケーションの異常検出をサポートすることができる。

システム１００は、本明細書に記載する任意の機械学習ベースの異常検出機能を提供するために、様々な方法で実施することができる。一実施例として、図１に示すシステム１００は、異常モデル訓練エンジン１１０と、異常検出エンジン１１２とを含む。システム１００は、エンジン１１０および１１２（およびその構成要素）を、例えば、ハードウェアおよびプログラミングとして、様々な方法で実装することができる。エンジン１１０および１１２のためのプログラミングは、非一時的なコンピュータが読み取り可能な記憶媒体に記憶された、プロセッサが実行可能な命令の形態をとることができる。エンジン１１０および１１２のためのハードウェアは、それらの命令を実行するためのプロセッサを含むことができる。プロセッサは、単一のプロセッサまたはマルチプロセッサシステムの形態をとることができる。いくつかの例では、システム１００は、同じコンピューターシステム機能または同じハードウェアコンポーネント（例えば、共通プロセッサまたは共通記憶媒体）を使用して複数のエンジンを実装する。

動作時、異常モデル訓練エンジン１１０は、機械学習を利用して、組み込みソフトウェアアプリケーションのアプリケーション動作に基づいて異常検出モデルを訓練することができる。例えば、異常モデル訓練エンジン１１０は、所定のサンプリング点で組み込みソフトウェアアプリケーションをサンプリングして、（ｉ）前のサンプリング点以降の組み込みソフトウェアアプリケーションの動作量と、（ｉｉ）所定のサンプリング点での組み込みソフトウェアアプリケーションのアプリケーションパラメータを取得するように構成することができる。また、異常モデル訓練エンジン１１０は、所定のサンプリング点で得られた動作量とアプリケーションパラメータに基づいて訓練データを生成し、訓練データを用いて異常検出モデルを構築するように構成することができる。異常検出モデルは、動作量とアプリケーションパラメータの入力に基づいて、組み込みソフトウェアアプリケーションが異常動作を示しているか否かの判定を提供するように構成することができる。

動作時、異常検出エンジン１１２は、異常検出モデルにアクセスして、組み込みソフトウェアアプリケーションの実行中にリアルタイムの異常検出機能を提供することができる。ここで、実行とは、組み込みソフトウェアアプリケーションが動作するように設計されている物理システム（例えば、医療デバイス、航空機コントローラ、アンチロックブレーキシステムなど）における組み込みソフトウェアアプリケーションの実行を指す、または含む。一部の実装では、異常検出エンジン１１２は、組み込みソフトウェアアプリケーションの実行中にサンプリング点でその組み込みソフトウェアアプリケーションをサンプリングして、その実行中に動作量とアプリケーションパラメータを取得するように構成することができる。また、異常検出エンジン１１２は、異常検出モデルへの入力として、実行中にサンプリングされた動作量とアプリケーションパラメータを提供し、提供した入力に対する異常検出モデルからの出力に基づいて、組み込みソフトウェアアプリケーションが異常動作を示しているか否かを判定するように構成することができる。

次に、本開示に係るこれらおよびその他の機械学習ベースの異常検出機能について、より詳細に説明する。具体的には、学習フェーズでの異常検出モデルの訓練に関する機能の例について、図２と図３に関連して説明する。異常なアプリケーション動作を検出するための実行フェーズでの異常検出モデルの使用に関する機能の例について、図４に関連して説明する。

図２は、異常モデル訓練エンジン１１０を用いた、機械学習による異常検出モデルの訓練の一例を示す。学習フェーズでは、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーションの動作を追跡し、追跡したアプリケーションの動作を処理して訓練データを生成し、異常検出モデルを訓練することができる。

一例として、図２は、組み込みシステム２１０を示す。組み込みシステム２１０は、図２に示す組み込みソフトウェアアプリケーション２１２のような、組み込みソフトウェアを実装するまたは含む任意のシステムであってもよい。別の組み込みシステムの実装例において、組み込みソフトウェアアプリケーション２１２の実行は、様々なコンピュータリソースを用いて実行されてもよい。場合によっては、組み込みソフトウェアアプリケーション２１２は、ファームウェア、例えば、マイクロコントローラ、システム・オン・チップ（ＳｏＣ）または他のハードウェアの構成要素として、多くの場合、メモリ機能とプロセッサの能力が制限された状況で、実装されてもよい。他の場合において、組み込みソフトウェアアプリケーション２１２を実行するために、エミュレーションまたはシミュレーションシステムを利用してもよい。これは、組み込みソフトウェアアプリケーション２１２の実行が、実際の実行時の実装とは異なり、メモリ機能または処理能力の制限によって制約される必要がない場合に、学習フェーズ中に有利であり得る。図２に示す例では、組み込みシステム２１０はエミュレータ２１４を含む。エミュレータ２１４は、学習フェーズ中に異常検出モデルを訓練するために組み込みソフトウェアアプリケーション２１２を実行することができる。

ここでより詳細に説明するように、異常モデル訓練エンジン１１０は、機械学習により異常検出モデルを構築することができる。異常検出モデルは、アプリケーションの動作を正常または異常として特徴付けることができる。異常検出モデルを訓練するために、異常モデル訓練エンジン１１０は、学習フェーズにおける組み込みソフトウェアアプリケーション２１２の実行中にアプリケーションデータを収集することができる。そして、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２の実行中にサンプリングされたアプリケーションデータからなる訓練データを用いて、異常検出モデルを訓練することができる。

本開示によれば、異常モデル訓練エンジン１１０は、異常検出モデルを訓練するために特定のタイプのアプリケーションデータをサンプリングすることができる。具体的には、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２の実行中に、各サンプリング点で（ｉ）動作量と（ｉｉ）アプリケーションパラメータを取得することができる。

動作量は、命令数などの、組み込みソフトウェアアプリケーション２１２の測定可能な動作の量を指してもよい。命令数を特定するために、異常モデル訓練エンジン１１０は、システムハードウェア（例えば、性能監視ユニット）、システムソフトウェア（例えば、オペレーティングシステム機能、ＡＰＩなど）、またはその両方の組み合わせによる、追跡された命令実行にアクセスすることができる。組み込みソフトウェアアプリケーション２１２のための取得された命令数は、メモリアクセスコストとキャッシュのヒット／ミス比を無視する点において、有用であり得る。メモリアクセスコストとキャッシュのヒット／ミス比は、動作量にランダムな変動を与え、訓練された異常検出モデルの精度を低下させる。異常モデル訓練エンジン１１０が得ることができる別の動作量の例は、アプリケーション実行時間である。実行時間を測定するために、異常モデル訓練エンジン１１０は、ＣＰＵコアのサイクルカウンタにアクセスするか、またはシステムドライバを利用して、組み込みソフトウェアアプリケーション２１２の複数の実行時点間のサイクルデータを抽出することができる。

複数の実行時点で動作量を特定することにより、異常モデル訓練エンジン１１０は、正常な動作（すなわち、マルウェアの侵入の影響を受けない実行）中に、組み込みソフトウェアアプリケーション２１２によるアプリケーション動作の定量的指標を得ることができる。しかし、実行時間、命令数および単なる定量的な動作量は、組み込みソフトウェアの実行状態を不完全に示す可能性がある。実行時の挙動は、組み込みソフトウェアアプリケーション２１２の実行時のコンテキストに応じて増減する可能性がある。同じソフトウェア操作、タスクまたは実行スレッドでも、実行中に適用可能なアプリケーションパラメータに応じて実行時間が（著しく）異なる可能性がある。サンプリングされた動作量に影響を与える可能性があるアプリケーションパラメータの例には、メモリ条件、入力データサイズ、入力データの内容（例えば、高解像度データ対低解像度データ）、アプリケーション制御パラメータ（例えば、高精度および低精度動作モード）、システム電力制約などがある。

このような変動を考慮するために、異常モデル訓練エンジン１１０は、サンプリングされた動作量に適用可能なアプリケーションパラメータを得るために、組み込みソフトウェアアプリケーション２１２をサンプリングすることもできる。アプリケーションパラメータは、組み込みソフトウェアアプリケーション２１２の実行に影響を与える任意のシステム、アプリケーションまたはグローバルパラメータを指してもよい。異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２のアプリケーションパラメータを様々な方法でサンプリングすることができる。例えば、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２のアプリケーションタスクまたはスレッドのために記憶されたパラメータを得るために、そのアプリケーションタスクまたはスレッドに割り当てられた静的メモリにアクセスすることができる。加えて、またはそれに代えて、異常モデル検出は、グローバルメモリに記憶されたグローバル変数にアクセスするか、または組み込みシステム２１０、組み込みソフトウェアアプリケーション２１２もしくはその両方の組み合わせに適用可能な長期の状態値を取得することができる。

一部の実装例において、異常モデル訓練エンジン１１０は、パラメータアクセス機能を実装することができる。この機能を介して、組み込みソフトウェアアプリケーション２１２は、それ自体、サンプリング中に、適用可能なアプリケーションパラメータを提供することができる。実装されるパラメータアクセス機能は、アプリケーションパラメータを非侵入的または非破壊的な方法で抽出するためのＡＰＩの形式を取ってもよい。例えば、組み込みシステムは、入力データまたは動作パラメータ（例えば、組み込みソフトウェアアプリケーション２１２によって受信された入力通信フレームで指定される）を、通信コントローラメモリ、システムレジスタ、またはＦＩＦＯキューに格納してもよい。このようなメモリ構造へのメモリ読み出しアクセスは、破壊的操作、および／または、ドライバの優先レベルなしでアクセス不能なものでもよい。したがって、異常モデル訓練エンジン１１０によって提供されるパラメータアクセス機能は、組み込みソフトウェアアプリケーション２１２の実行中に、関連するアプリケーションパラメータをサンプリングするための非破壊的メカニズムを提供することができる。

別の実装される特徴として、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２に提供される入力データを前処理して、適用可能なアプリケーションパラメータを抽出することができる。例えば、異常モデル訓練エンジン１１０は、画像またはビデオファイルの形式で入力を前処理して、ファイル指標、データパターンまたはマルチメディア特性を特定することができる。異常モデル訓練エンジン１１０は、これらのファイル指標、データパターンまたはマルチメディア特性を、組み込みソフトウェアアプリケーション２１２について特定のサンプリング点でサンプリングされるアプリケーションパラメータとして取得することができる。

本明細書に記載する様々な方法で、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２の実行中に動作量とアプリケーションパラメータをサンプリングすることができる。動作量とアプリケーションパラメータがサンプリングされる特定の実行点は、異常モデル訓練エンジン１１０によって予め選択されてもよい。そのような特徴を説明するために、実行タイムライン２２０を図２に示す。この実行タイムライン２２０は、異常モデル訓練エンジン１１０が、組み込みソフトウェアアプリケーション２１２の疑似実行中にアプリケーションデータをサンプリングすることができる複数のサンプリング点を示す。実行タイムライン２２０に示すように、異常モデル訓練エンジン１１０は、動作量とアプリケーションパラメータを得るために組み込みソフトウェアアプリケーション２１２をサンプリングするサンプリング点ｓ_１、ｓ₂、ｓ₃およびｓ₄を選択することができる。

選択された各サンプリング点ｓ₁、ｓ₂、ｓ₃およびｓ₄において、異常モデル訓練エンジン１１０は、サンプリング点に対応する動作量（例えば、前のサンプリング点以降のアプリケーション動作を示す）とアプリケーションパラメータを取得することができる。したがって、サンプリング点ｓ₂において、異常モデル訓練エンジン１１０は、前のサンプリング点ｓ₁からの動作量（例えば、組み込みソフトウェアアプリケーション２１２の実行された命令数）と、サンプリング点ｓ₂で有効なアプリケーションパラメータを特定することができる。図２では、異常モデル訓練エンジン１１０は、図示するサンプリング点ｓ_１、ｓ₂、ｓ₃およびｓ₄で組み込みソフトウェアアプリケーション２１２からサンプリングされる動作量２３１とアプリケーションパラメータ２３２の組を取得する。

実装によっては、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２のアクティブ実行期間をカバーするように、組み込みソフトウェアアプリケーション２１２のサンプリング点を選択する。図２の実行タイムライン２２０は、組み込みソフトウェアアプリケーション２１２がアクティブである複数の期間を示している。この複数の期間は、実行タイムライン２２０に沿って、斜線を施したセクション（アクティブ実行期間とも呼ぶ）として描かれている。組み込みソフトウェアアプリケーション２１２は、組み込みシステムのコンピュータ資源の一部または全部が、組み込みソフトウェアアプリケーション２１２を実行するために積極的に使用されるとき、アクティブであると言うことができる。組み込みソフトウェアアプリケーション２１２は、組み込みシステムのコンピュータ資源が未使用またはアイドル状態であるときに、非アクティブ（またはアイドル状態）であると言うことができる。

多くの組み込みシステムでは、組み込みソフトウェアは、入力を受け取り、入力を処理し、出力を生成するように設計されている。組み込みソフトウェアアプリケーションは、システムの構成要素を監視するために物理システムでよく使用される。監視される入力は、そのような物理システムの動作中（例えば、特定の信号の感知、処理するデータファイルの受信など）に発生する可能性がある。組み込みソフトウェアのアクティブ実行期間は、入力が受信された後の期間と、対応する出力が生成されるまでの入力を処理する期間とを含み得る。出力が生成された後、後続の入力が受信されるまで、組み込みソフトウェアは非アクティブになり得る。

図２の実行タイムライン２２０には、組み込みソフトウェアアプリケーション２１２の一連のアクティブ実行期間と非アクティブ実行期間の一例が示されている。サンプリング点ｓ₁において、組み込みソフトウェアアプリケーション２１２は、入力の受け取りに応答して活性化（言い換えると、アクティブ実行期間に移行）し得る。組み込みソフトウェアアプリケーション２１２は、出力（図示せず）が生成されるとき、サンプリング点ｓ_２までアクティブ状態を保ち得る。サンプリング点ｓ₂からｓ₃まで、組み込みソフトウェアアプリケーション２１２は、非アクティブ実行期間にあり、サンプリング点ｓ₃からｓ₄までアクティブ実行を再開して、サンプリング点ｓ₃で受け取ったインプットを処理し得る。

異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２がアクティブ、非アクティブまたはその両方になるのに応答して、組み込みソフトウェアアプリケーション２１２をサンプリングすることを決定することができる。言い換えると、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２が、受信された入力、生成された出力または両方の組み合わせに応答してサンプリングされるように、サンプリング点を選択することができる。さらに言い換えると、異常モデル訓練エンジン１１０は、所定のアクティブ実行期間ごとの動作量と、所定のアクティブ実行期間ごとの適用可能なアプリケーションパラメータを得られるように、組み込みソフトウェアアプリケーション２１２をサンプリングすることができる。（異常モデル訓練エンジン１１０は、図３に関連して以下により詳細に説明するように、タスクベースで組み込みソフトウェアアプリケーション２１２をサンプリングすることもできる。）そのようにして異常モデル訓練エンジン１１０は、動作量とアプリケーションパラメータを得るために組み込みソフトウェアアプリケーション２１２をサンプリングするサンプリング点を選択することができる。

サンプリングされた動作量とアプリケーションパラメータから、異常モデル訓練エンジン１１０は、異常検出モデルを訓練するための訓練データを構築することができる。図２において、異常モデル訓練エンジン１１０は、訓練データ２４０を生成する。異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２からサンプリングされた動作量２３１とアプリケーションパラメータ２３２の一部または全部を含むように訓練データ２４０を構築することができる。場合によっては、異常モデル訓練エンジン１１０は、サンプリングされたアプリケーションパラメータ２３２をフィルタリングして、関連するアプリケーションパラメータの特定のサブセット（例えば、組み込みソフトウェアアプリケーションの動作に最も影響する）を特定することができる。実際には、異常モデル訓練エンジン１１０は、パラメータ選択プロセスを実行して、異常検出モデルを訓練するための関連する機械学習機能を選択することができる。パラメータ選択プロセスを実行する際に、異常モデル訓練エンジン１１０は、統計的相関技術、整合性チェックまたは両方の組み合わせを使用して、アプリケーションの動作を特徴付けるためのアプリケーションパラメータの特定のサブセットを特定することができる。

異常モデル訓練エンジン１１０は、生成した訓練データ２４０を用いて異常検出モデルを構築することができる。図２において、異常モデル訓練エンジン１１０は、異常検出モデル２５０を訓練するための訓練セットとして、訓練データ２４０を提供する。異常検出モデル２５０を訓練するために、異常モデル訓練エンジン１１０は、任意の数の機械学習技術を利用することができる。例えば、異常検出モデル２５０は、任意の数の教師あり、半教師あり、教師なしまたは強化された学習モデルを実装して、サンプリングされた動作量とアプリケーションパラメータに基づいて組み込みソフトウェアアプリケーションの動作を特徴付けることができる。異常検出モデル２５０は、サポートベクターマシン、マルコフ連鎖、コンテキストツリー、ニューラルネットワーク、ベイジアンネットワークまたは様々な他の機械学習要素を含み得る。

特に、異常モデル訓練エンジン１１０は、異常検出モデル２５０を構築して、動作量とアプリケーションパラメータの入力に基づいて、組み込みソフトウェアアプリケーションが異常な動作を示しているか否かの判定を提供することができる。実装によっては、異常検出モデル２５０は、サポートベクターマシン（ＳＶＭ）の形態を取り、動作量とアプリケーションパラメータの入力に対して異常判定を提供することができる。

異常検出モデル２５０によって提供される出力は、異常検出モデル２５０が組み込みソフトウェアアプリケーション２１２の異常な動作を識別したかどうかを示すバイナリ値であってもよい。別の例では、異常検出モデル２５０は、提供された動作量とアプリケーションパラメータの入力がアプリケーションの異常動作を示す確率値を提供してもよい。さらに別の例として、異常モデル訓練エンジン１１０は、アプリケーションパラメータの入力に対して予測動作量を提供してもよい。この予測動作量は、組み込みソフトウェアからサンプリングされた実行時の動作量と比較されることで、アプリケーションの異常動作を検出することができる。このような異常検出技術について、異常検出モデル２５０を用いて検討し、図４に関連して以下でさらに説明する。

上述したように、異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２からサンプリングされたアプリケーションデータから異常検出モデル２５０を構築することができる。図２の例では、異常モデル訓練エンジン１１０は、実行中にサンプリングされた動作量とアプリケーションパラメータを使用して異常検出モデル２５０を訓練する。実装によっては、異常モデル訓練エンジン１１０は、アプリケーションデータ（特に、動作量およびアプリケーションパラメータ）をサンプリングし、一般的なアプリケーション動作よりも細かい粒度で異常検出モデルを訓練することができる。例えば、異常モデル訓練エンジン１１０は、サンプリングして、タスク特有の動作を通常または異常として特徴付けることができる。このような機能について、次に図３で説明する。

図３は、異常モデル訓練エンジン１１０を用いたタスク特有の異常検出モデルの訓練の例を示す。アプリケーションタスク（タスク、実行スレッドまたはアプリケーションスレッドともぶ呼）は、組み込みソフトウェアの任意の実行シーケンス、例えば、特定のタスクを実行するために開始されたスレッド、または組み込みソフトウェアのインスタンスによって生成されたスレッドを指してもよい。また、アプリケーションタスクは、スケジューラまたはその他のオペレーティングシステムのロジックによって管理できるプログラム命令のシーケンスを指してもよい。組み込みソフトウェアの実行は、複数のアクティブタスクの実行を含み得る。この複数のアクティブタスクの実行は、コンテキストスイッチ、プリエンプション、および複数のアプリケーションタスクの実行シーケンス間の中断を伴い得る。異常モデル訓練エンジン１１０は、タスクベースで異常検出モデルを訓練することができる。この訓練は、タスクベースで組み込みアプリケーションの正常または異常な動作を特徴付けることをサポートすることができる。

一例として、図３は、図２に記載されている組み込みシステム２１０を示している。このシステムは、組み込みソフトウェアアプリケーション２１２と、学習フェーズ中にアプリケーションを疑似実行するためのエミュレータ２１４を含む。また、図３に示すように、実行タイムライン３２０の例は、組み込みソフトウェアアプリケーション２１２の一部として実行されている複数の異なるタスクを示している。実行タイムライン３２０において、タスク_Aとラベル付けされたアプリケーションタスクは、実行タイムライン３２０に沿って、斜線を施したセクション（タスク_Aのアクティブ実行期間とも呼ぶ）で、アクティブと示されている。また、実行タイムライン３２０には、タスク_B,とラベル付けされた別のアプリケーションタスクが示されている。このアプリケーションタスクは、実行タイムライン３２０に沿って、垂直線を施したセクションを用いて、アクティブと示されている。

異常モデル訓練エンジン１１０は、組み込みソフトウェアアプリケーション２１２を十分なサンプリング点でサンプリングして、所定のアプリケーションタスクのタスク開始からタスク完了までの動作量とアプリケーションパラメータを特定することができる。これは、所定のアプリケーションタスクの実行が他のアプリケーションタスクにより先行される場合でも可能である。そのために異常モデル訓練エンジン１１０は、所定のアプリケーションタスクが開始し、一時停止し（例えば、プリエンプションまたはコンテキストスイッチにより）または完了する実行点で、組み込みソフトウェアアプリケーション２１２をサンプリングすることができる。図３に示す例では、実行タイムライン３２０には、サンプリング点ｓ_１、ｓ₂、ｓ₃、ｓ₄、ｓ₅、ｓ₆およびｓ₇が示されている。これらのサンプリング点では、異常モデル訓練エンジン１１０は、タスク_Aとタスク_Bの動作量とアプリケーションパラメータを得るために組み込みソフトウェアアプリケーション２１２をサンプリングする。

図３の例では、タスク_Aの実行は、タスク_Aに特有のアプリケーション入力（実行タイムライン３２０ではｉｎｐｕｔ（Ａ）とラベル付けされている）の受信に応答して開始される。また、この例では、組み込みソフトウェアアプリケーションのタスク_Bが優先され、タスク_Aの実行よりも先行する。タスク_Bの実行は、組み込みソフトウェアアプリケーション２１２によるタスク（実行タイムライン３２０において入力（Ｂ）とラベル付けされている）に特有の入力の受信に応じて開始される。そのため、サンプリング点ｓ₁（Ｉｎｐｕｔ（Ａ）に応じてタスク_Aの実行が開始される時）からサンプリング点ｓ₆（タスク_Aの実行が完了する時）までに、タスク_Bの２つの実行インスタンスがタスク_Ａの実行に先行する。図３に示すように、異常モデル訓練エンジン１１０は、タスク_Aが開始される時（サンプリング点ｓ₁およびｓ₇）、タスク_Ｂが開始される時（サンプリング点ｓ₂およびｓ₄）、タスク_Aがプリエンプションされる時（また、サンプリング点ｓ₂およびｓ₄）、タスク_Ｂが完了する時（サンプリング点ｓ₃およびｓ₅）、タスク_Ａが再開される時（また、サンプリング点ｓ₃およびｓ₅）、タスク_Ａが完了する時（サンプリング点ｓ₆）といった実行点で、組み込みソフトウェアアプリケーション２１２をサンプリングすることができる。

異常モデル訓練エンジン１１０は、タスクをスタート、ポーズまたはストップする複数のポイントで組み込みソフトウェアアプリケーション２１２をサンプリングすることによって、タスク_A全体の動作量を特定することができる。この特定は、タスク_Aがタスク_Bの実行インスタンスによって複数の実行点で先行される場合であっても可能である。図３において、異常モデル訓練エンジン１１０は、実行タイムライン３２０の間に、組み込みソフトウェアアプリケーション２１２から動作量３３１とアプリケーションパラメータ３３２をサンプリングする。サンプリングされた動作量３３１は、タスク_Bの少なくとも２つの動作量を含み得る。１つは、サンプリング点ｓ₂からｓ₃までに実行されたタスク_Bのインスタンスの動作量であり、もう１つは、サンプリング点ｓ₄からｓ₅までに実行されたタスク_Ｂのインスタンスの動作量である。サンプリングされたアプリケーションパラメータ３３２は、タスク_Bの少なくとも２組のアプリケーションパラメータを含み得る。この２組のアプリケーションパラメータは、タスク_Bの各実行インスタンスに適用可能である。さらに、異常モデル訓練エンジン１１０は、サンプリング点ｓ₁で開始され、ｓ₆で完了するタスク_Aの実行インスタンスの動作量を取得することができる。異常モデル訓練エンジン１１０は、この動作量を、サンプリング点ｓ₁からｓ₂、ｓ₃からｓ₄、そしてｓ₅からｓ₆にサンプリングされた動作量の合計として特定することができる。同様の方法で、異常モデル訓練エンジン１１０は、動作量に対して、タスク_Aに適用可能な特定のアプリケーションパラメータを特定することができる。

したがって、異常モデル訓練エンジン１１０は、タスクベースで複数の実行点で組み込みソフトウェアアプリケーション２１２をサンプリングすることができる。その際、異常モデル訓練エンジン１１０は、所定のサンプリング点（例えば、タスク_Aはサンプリング点ｓ₂までアクティブである）で組み込みソフトウェアアプリケーション２１２によって実行される所定のアプリケーションタスクを識別することができる。サンプリング中の「アクティブである」アプリケーションタスクを識別する際、現在のスレッド、タスク、プロセスまたは他のシステムインジケータを示すＯＳシステムパラメータにアクセスしてもよい。

また、異常モデル訓練エンジン１１０は、異なるアプリケーションタスクについてサンプリングされたアプリケーションデータ間で区別される訓練セットを特に構築してもよい。図３において、異常モデル訓練エンジン１１０は、サンプリングされた動作量３３１とアプリケーションパラメータ３３２から訓練データ３４０を生成する。訓練データ３４０は、タスクベースで区別された複数の異なる訓練セットを含むように生成されてもよい。その際、訓練データ３４０は、組み込みソフトウェアアプリケーション２１２のタスク_Aとタスク_Bのための異なる訓練セットを含んでもよい。

異常モデル訓練エンジン１１０は、複数のタスク特有の異常検出モデルを含むように異常検出モデル２５０を構築することができる。その複数のタスク特有の異常検出モデルとは、例えば、図３においてモデル３５１および３５２として示されているタスク_Aとタスク_Bのタスク特有の異常検出モデルである。その際、異常モデル訓練エンジン１１０は、所定のタスク特有の異常検出モードを訓練するためのタスク特有の所定の訓練データのセットを提供してもよい。複数のタスク特有の異常検出モデルの訓練は、タスクベースでアプリケーションの異常動作を特徴付けることを支援することができる。実装によっては、異常モデル訓練エンジン１１０は、異常検出モデル２５０を複数のタスク特有の異常検出モデルとして構築することができる。例えば、組み込みソフトウェアアプリケーション２１２によってサポートされるアプリケーションタスクの一部または全部の各々について異なるモデルとして構築することができる。

さらに詳しく説明すると、タスク特有の異常検出モデル３５１および３５２は、アプリケーション動作のタスク特有の特徴付けを提供することができる。例えば、タスク_Aの異常検出モデル３５１は、タスク_Aに特有の動作量とアプリケーションパラメータの入力に基づいて、組み込みソフトウェアアプリケーション２１２のタスク_Aに特有の異常動作の判定を提供することができる。同様に、タスク_Bの異常検出モデル３５２は、組み込みソフトウェアアプリケーション２１２のタスク_Bに特有の異常動作の判定を提供することができる。異常モデル訓練エンジン１１０によって訓練される所定のタスク特有の異常検出モデルは、所定のタスクに適用可能なアプリケーションパラメータで特に訓練することができる。そのため、訓練されたタスク特有の異常検出モデルは、組み込みソフトウェアアプリケーション２１２の実行動作にタスクベースで影響を与えるタスク特有のコンテキストに特に調整され得る。

上述した方法のいずれにおいても、異常モデル訓練エンジン１１０は、学習フェーズにおける異常検出モデルの訓練を支援することができる。特に、異常モデル訓練エンジン１１０は、機械学習を使用して、組み込みアプリケーション動作を特徴付けるように構成された異常検出モデルを訓練することができる。その際、組み込みソフトウェアの実行中に適用可能な特定のアプリケーションパラメータを考慮することができる。訓練された異常検出モデルは、図４に関連して次に説明するように、組み込みソフトウェアアプリケーションの異常な動作を検出するために、実行フェーズ中にアクセスして使用することができる。

図４は、異常検出エンジン１１２を用いた、組み込みアプリケーションの動作の実行時の特徴付けの例を示す。図４において、組み込みシステム４１０の一例は、物理システムの一部として、例えば、タンクローリーの制動部品として実装される。別々に図示されているが、異常検出エンジン１１２と異常検出モデル２５０は、組み込みシステム４１０の一部であってもよい。また、例えば、メモリまたはプロセッサのような共通のコンピュータ資源を共有してもよい。

組み込みシステム４１０は、ハードウェアコンポーネント４１２（例えば、組み込みコントローラ）に組み込まれた組み込みソフトウェアアプリケーション２１２を含んでもよい。図４では、ハードウェアコンポーネント４１２は、物理システムにおいて無限に近い他の用途が考えられるが、タンクローリーのアンチロックブレーキセンサ４１４と通信する。図４に示すこの例では、ハードウェアコンポーネント４１２は、組み込みソフトウェアアプリケーション２１２を実行して、アンチロックブレーキセンサ４１４（組み込みソフトウェアアプリケーション２１２への入力）によって感知されたブレーキ状態（組み込みソフトウェアアプリケーション２１２への入力）を監視し、感知された状態に基づいて出力を生成することができる。そのようなタンクローリーの実世界での動作は、組み込みソフトウェアアプリケーション２１２の実行として特徴付けることができる（例えば、組み込みソフトウェアアプリケーション２１２が動作するように設計された物理システム内で）。

また、図４に示すように、異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２の動作をその実行中に監視することができる。そのために異常検出エンジン１１２は、学習フェーズ中に（例えば、上述したように）組み込みソフトウェアアプリケーション２１２のために訓練された異常検出モデル２５０にアクセスすることができる。異常検出エンジン１１２は、特定のサンプリング点で組み込みソフトウェアアプリケーション２１２をサンプリングして、動作量とアプリケーションパラメータを取得することができる。その際、タスクベースで実行することもできる。異常検出エンジン１１２は、異常モデル訓練エンジン１１０と一致した方法で組み込みソフトウェアアプリケーション２１２をサンプリングすることができる。その際、本明細書（例えば、図２および３）に記載するサンプリング点選択機能のいずれかに従って実行することもできる。サンプリングされた動作量とアプリケーションパラメータは、異常検出モデル２５０への入力として提供されてもよい。異常検出モデル２５０を用いて、異常動作の判定を提供することができる。

図４を使って説明すると、組み込みソフトウェアアプリケーション２１２の実行中に、実行タイムライン４２０の例が示される。実行タイムライン４２０では、組み込みソフトウェアアプリケーション２１２のタスク_Aが、実行タイムライン４２０に沿って、斜線を施したセクションで、アクティブと示されている。また、タスク_Bのアクティブ実行期間が、実行タイムライン４２０に沿って、垂直線を施したセクションを用いて実行タイムライン４２０に示されている。異常検出エンジン１１２は、組み込みソフトウェアアプリケーションを、その実行中、複数のサンプリング点でサンプリングすることができる。サンプリング点には、アプリケーションタスクが開始される、一時停止する（例えば、プリエンプションされる）または完了する、任意の実行点が含まれる。図４に示すように、異常検出エンジン１１２は、実行タイムライン４２０のサンプリング点ｓ_１、ｓ₂、ｓ₃、およびｓ₄において、組み込みソフトウェアアプリケーション２１２をサンプリングする。

異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２がサンプリングされる実行点に特有の、組み込みソフトウェアアプリケーション２１２の動作量４３１とアプリケーションパラメータ４３２を取得することができる。サンプリングされた動作量４３１とアプリケーションパラメータ４３２は、タスク特有のものであってもよい。例えば、サンプリング点ｓ_２からｓ_３までのタスク_Ｂの命令数またはその他の動作量と、サンプリング点ｓ_２からｓ_３までのタスク_Ｂ特有のアプリケーションパラメータを含んでもよい。一致した方法で、サンプリングされた動作量４３１は、サンプリング点ｓ₁からｓ₂およびｓ₃からｓ₄までのタスクＡの動作量の合計と、タスク_Ａのこのアクティブ実行期間に有効なアプリケーションパラメータとを含んでもよい。

実装によっては、異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２をサンプリングして、異常検出モデル２５０を訓練するために使用される機能と整合するアプリケーションパラメータを取得する。その際、異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２または対応するアプリケーションタスクによって使用されるアプリケーションパラメータの特定のサブセットをサンプリングしてもよい。異常検出エンジン１１２によってサンプリングされるアプリケーションパラメータの特定のサブセットは、異常モデル訓練エンジン１１０によってパラメータ選択プロセス（タスクベースで実行されてもよい）で特定されるアプリケーションパラメータの特定のサブセットと同じであってもよい。言い換えると、異常検出エンジン１１２は、異常検出モデル２５０、３５１または３５２を訓練するために使用される（例えば、タスク特有の）アプリケーションパラメータの特定のサブセットをサンプリングし、これらのモデルを訓練するために使用されない他のアプリケーションパラメータについてはサンプリングしなくてもよい。

異常検出エンジン１１２は、サンプリングされた動作量４３１とアプリケーションパラメータ４３２を、組み込みソフトウェアアプリケーション２１２のアプリケーション動作を特徴付けるために、異常検出モデル２５０への入力として提供することができる。タスク特有の特徴付けのために、異常検出エンジン１１２は、複数のタスク特有の異常検出モデル（例えば、３５１および３５２）の中から、サンプリング点ｓ_１からｓ₂およびｓ₃からｓ₄でサンプリングされた動作量４３１とアプリケーションパラメータ４３２に使用するものを選択することができる。異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２によって複数のサンプリング点で実行される所定のアプリケーションタスクに基づいて、そのようにする。例えば、タスク_Aについてサンプリングされた動作量とアプリケーションパラメータを、タスク_Aの異常検出モデル３５１への入力として提供し、タスク_Ｂについてサンプリングされた動作量とアプリケーションパラメータを、タスク_Bの異常検出モデル３５２に提供する。

異常検出モデル２５０は、入力された動作量４３１とアプリケーションパラメータ４３２から生成される異常動作判定４６０を提供することができる。異常動作判定４６０は、異常検出モデル２５０（タスク特有の異常検出モデル３５１および３５２を含む）によってサポートされる任意のタイプの出力の形態をとることができる。出力例には、通常または異常なアプリケーションの動作、異常確率などを示すバイナリ値の出力が含まれ、それらのいずれもがタスク特有であってもよい。したがって、異常動作判定４６０は、タスク特有の出力を含むことができ、各出力は、組み込みソフトウェアアプリケーション２１２のタスク特有の動作が異常であるかどうかを特徴付けることができる。この特徴付けは、特にサンプリングされたアプリケーションパラメータに基づいて行われる。図４の例では、異常動作判定４６０は、タスク_Aとタスク_Bについてサンプリングされたアプリケーション動作が異常として特徴付けられるか否かを別々に示すことができる。

実装によっては、異常検出エンジン１１２は、組み込みソフトウェアアプリケーション２１２の非アクティブ実行期間中に、異常検出モデル２５０にアクセスしてもよい。組み込みシステム４１０は、コンピュータ／メモリ資源が限られたり、正確なタイミング制約を課されたりすることがある。異常検出のためのタイミング干渉または資源のオーバヘッドを低減するために、異常検出エンジン１１２は、実行中に、組み込みソフトウェアアプリケーション２１２が（例えば、サンプリング点ｓ₄で）非アクティブ実行期間に入ることを判定してもよい。そのような判定に応答して、異常検出エンジン１１２は、サンプリングされた入力（例えば、サンプリングされた動作量４３１とアプリケーションパラメータ４３２）を異常検出モデル２５０に提供し、組み込みソフトウェアアプリケーション２１２が、非アクティブ実行期間中（例えば、サンプリング点ｓ₄の後）に、異常な動作を示しているか否かを判定してもよい。

異常検出エンジン１１２は、異常動作判定２６０に基づいて、組み込みソフトウェアアプリケーション２１２が異常動作を示していることを判定することができる。異常動作判定２６０は、異常動作を伴う特定のアプリケーションタスクの識別子を含むことができる。異常動作を検出すると、異常検出エンジン１１２は、例えば、物理システムの中央監視システム、システム運用システム、または組み込みソフトウェアアプリケーション２１２がサポートする物理システムの動作を監視するように構成された他の論理エンティティに、異常アラートを提供することができる。したがって、異常検出エンジン１１２は、組み込みソフトウェアの実行中に異常なアプリケーション動作を検出することをサポートすることができる。

本明細書に記載するように、機械学習ベースの異常検出機能は、学習フェーズと実行フェーズにおいて提供することができる。サンプリングして、特に動作量とアプリケーションパラメータの両方を使用してモデルを訓練することで、本明細書に記載する機械学習ベースの異常検出機能は、組み込みソフトウェア異常な動作を識別することができる、効率的かつ正確なメカニズムを提供することができる。それらのサンプリングされた状況に基づいてアプリケーション動作を学習することにより、異常モデル訓練エンジン１１０と異常検出エンジン１１２は、マルウェアがシステムにどのように侵入するか（例えば、侵入の様式は識別される必要がない）に関係なく、異常な動作を識別することができる。さらに、未確認または未知のマルウェアの検出をサポートすることができる。動作量はアプリケーションパラメータと相関関係があるため、本明細書に記載する機械学習ベースの異常検出機能は、マルウェアの特定の攻撃パターンまたは特性に関する予備知識を必要としない。したがって、本明細書に記載する特徴は、アプリケーションセキュリティの有効性とロバスト性を向上させることができる。さらに、タスク特有の異常がタスク特有のモデルを介してサポートされるため、マルウェアの侵入の識別において細分性と柔軟性を向上させることができる。

図５は、異常検出モデルの学習フェーズの訓練をサポートするためにシステムが実行可能なロジック５００の例を示す。例えば、システム１００は、ロジック５００を、ハードウェア、コンピュータが読み取り可能な媒体に記憶された実行可能命令、またはそれら両方の組み合わせとして実装してもよい。システム１００は、異常モデル訓練エンジン１１０を用いてロジック５００を実行してもよい。異常モデル訓練エンジン１１０を用いてシステム１００は、機械学習を使用して組み込みソフトウェアアプリケーション用に異常検出モデルを訓練する方法として、ロジック５００を実行してもよい。ロジック５００の以下の説明は、一実施例として、異常モデル訓練エンジン１１０を用いて行う。しかし、システム１００による他の様々な実施オプションが可能である。

ロジック５００を実行する際に、異常モデル訓練エンジン１１０は、特定のサンプリング点で組み込みソフトウェアアプリケーションをサンプリングして、組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータを取得することができる（５０２）。また、異常モデル訓練エンジン１１０は、特定のサンプリング点で得られた動作量とアプリケーションパラメータに基づいて訓練データを生成し（５０４）、訓練データを用いて異常検出モデルを構築することができる（５０６）。異常モデル訓練エンジン１１０は、タスクベースを含めて、本明細書に記載の様々な方法のいずれによっても上記のステップ５０２、５０４および５０６を実行することができる。そのようにして異常モデル訓練エンジン１１０は、動作量とアプリケーションパラメータの入力に基づいて組み込みソフトウェアアプリケーションが異常な動作を示すか否かの判定を提供するように構成された異常検出モデルを訓練することができる。

図６は、組み込みソフトウェアの実行中に異常検出をサポートするためにシステムが実行可能なロジック６００の例を示す。例えば、システム１００は、ロジック６００を、ハードウェア、コンピュータが読み取り可能な媒体に記憶された実行可能命令、またはそれら両方の組み合わせとして実装してもよい。システム１００は、異常検出エンジン１１２を用いてロジック６００を実行してもよい。異常検出エンジン１１２を用いてシステム１００は、組み込みソフトウェアアプリケーションの実行中に異常な動作を検出する方法として、ロジック６００を実行してもよい。ロジック６００の以下の説明は、一実施例として、異常検出エンジン１１２を用いて行う。しかし、システム１００による他の様々な実施オプションが可能である。

ロジック６００を実行する際に、異常検出エンジン１１２は、組み込みソフトウェアアプリケーションの実行中、サンプリング点で組み込みソフトウェアアプリケーションをサンプリングすることができる（６０２）。その際、異常検出エンジン１１２は、実行中に動作量とアプリケーションパラメータを取得することができる。次に、異常検出エンジン１１２は、実行中に、組み込みソフトウェアアプリケーションが非アクティブ実行期間に入ることを判定することができる（６０４）。この判定は、例えば、組み込みソフトウェアアプリケーションが予定されたアプリケーションタスクの実行を完了することを判定したり、組み込みシステムのコンピュータ資源がアイドル状態または非アクティブ状態になったことを識別したりすることによって行われる。

組み込みソフトウェアアプリケーションが非アクティブ実行期間に入ったという判定に応答して、異常検出エンジン１１２は、組み込みソフトウェア用に訓練された異常検出モデルにアクセスし（６０６）、異常検出モデルへの入力として、実行中にサンプリングされた動作量とアプリケーションパラメータを提供することができる（６０８）。また、異常検出エンジン１１２は、提供した入力に対する異常検出モデルからの出力に基づいて、組み込みソフトウェアアプリケーションが異常な動作を示しているか否かを判定することができる（６１０）。

異常検出エンジン１１２は、タスクベースを含めて、本明細書に記載の様々な方法のいずれによっても上記のステップ６０２、６０４、６０６、６０８および６１０を実行することができる。そのようにして異常検出エンジン１１２は、組み込みソフトウェアアプリケーションの実行中に異常なアプリケーション動作を検出することができる。

図５および図６に示すロジックは、システムがサポート可能な、組み込みソフトウェアアプリケーション用の機械学習ベースの異常検出の一例を示している。ロジック５００および／またはロジック６００における追加のまたは代替のステップが、本明細書では検討されている。その中には、異常モデル訓練エンジン１１０、異常検出エンジン１１２、または両者の組み合わせに関して本明細書に記載されている任意の特徴に係るものも含まれる。

図７は、組み込みソフトウェアアプリケーションのための機械学習ベースの異常検出をサポートするシステム７００の例を示す。システム７００は、プロセッサ７１０を含んでよく、プロセッサ７１０は、単一または複数のプロセッサの形態をとることができる。プロセッサ７１０には、中央処理装置（CPU）、マイクロプロセッサ、またはコンピュータが読み取り可能な媒体上に記憶された命令を実行するのに適した任意のハードウェア装置が含まれてよい。システム７００は、コンピュータが読み取り可能な媒体７２０を含んでもよい。コンピュータが読み取り可能な媒体７２０は、任意の非一時的な、電子的、磁気的、光学的またはその他の物理的な記憶装置であって、図７に示す異常モデル訓練命令７２２と異常検出命令７２４のような実行可能命令を記憶する記憶装置の形態をとることができる。したがって、コンピュータが読み取り可能な媒体７２０は、例えば、ダイナミックRAM(DRAM)のようなランダムアクセスメモリ（RAM）、フラッシュメモリ、スピントランスファートルクメモリ、電気的に消去可能なPROM（ＥＥＰＲＯＭ）、ストレージドライブ、光ディスク等であってもよい。

システム７００は、プロセッサ７１０を介して、コンピュータが読み取り可能な媒体７２０に記憶された命令を実行することができる。命令（例えば、異常モデル訓練命令７２２および異常検出命令７２４）を実行すると、システム７００は、本明細書に記載する機械学習ベースの異常検出機能のいずれかを実行することができる。実行される機能には、異常モデル訓練エンジン１１０、異常検出エンジン１１２、またはそれら両方の組み合わせに関する任意の特徴に係るものが含まれる。

例えば、プロセッサ７１０により異常モデル訓練命令７２２を実行することで、システム７００は、所定のサンプリング点で組み込みソフトウェアアプリケーションをサンプリングして、組み込みソフトウェアアプリケーションの前のサンプリング点以降の動作量と、組み込みソフトウェアアプリケーションのアプリケーションパラメータとを、所定のサンプリング点で取得することができる。また、プロセッサ７１０により異常モデル訓練命令７２２を実行することで、システム７００は、所定のサンプリング点で得られた動作量とアプリケーションパラメータに基づいて訓練データを生成し、訓練データを用いて異常検出モデルを構築することができる。構築された異常検出モデルは、動作量とアプリケーションパラメータの入力に基づいて、組み込みソフトウェアアプリケーションが異常な動作を示しているか否かの判定を提供するように構成することができる。

プロセッサ７１０により異常検出命令７２４を実行することで、システム７００は、組み込みソフトウェアアプリケーションの実行中に所定のサンプリング点でその組み込みソフトウェアアプリケーションをサンプリングして、その実行中に動作量とアプリケーションパラメータを取得し、かつ、その実行中に、組み込みソフトウェアアプリケーションが非アクティブ実行期間に入ることを判定することができる。さらに、プロセッサ７１０により異常検出命令７２４を実行することで、システム７００は、応答して、動作量とアプリケーションパラメータの入力に基づいて、組み込みソフトウェアアプリケーションが異常な動作を示しているか否かの判定を提供するように構成された異常検出モデルにアクセスし、かつ、異常検出モデルへの入力として、実行中にサンプリングされた動作量とアプリケーションパラメータを提供し、かつ、提供した入力に対する異常検出モデルからの出力に基づいて、組み込みソフトウェアアプリケーションが異常な動作を示しているか否かを判定することができる。

本明細書に記載する任意の追加的または代替的な特徴は、異常モデル訓練命令７２２、異常検出命令７２４、またはそれら両方の組み合わせを用いて実現することができる。

異常モデル訓練エンジン１１０と異常検出エンジン１１２を含め、上述したシステム、方法、装置およびロジックは、ハードウェア、ロジック、回路、およびコンピュータが読み取り可能な媒体に記憶された実行可能命令の数多くの様々な組合せで、かつ、数多くの様々な方法で実装することができる。例えば、異常モデル訓練エンジン１１０、異常検出エンジン１１２、またはこれらの組合せは、コントローラ内の回路、マイクロプロセッサもしくは特定用途向け集積回路（ＡＳＩＣ）を含んでもよい。あるいは、個別論理もしくは構成要素群、または、単一の集積回路上に結合された、もしくは複数の集積回路に分散された、その他の種類のアナログもしくはデジタル回路の組合せで実現されてもよい。コンピュータプログラム製品などの製品には、記憶媒体と、その媒体上に記憶されたコンピュータが読み取り可能な命令が含まれ得る。その命令は、エンドポイント、コンピューターシステムまたは他の装置で実行されると、上記の記述のいずれかに係る動作をその装置に実行させる。実行される動作には、異常モデル訓練エンジン１１０、異常検出エンジン１１２、またはこれらの組合せの任意の特徴に係るものが含まれる。

異常モデル訓練エンジン１１０と異常検出エンジン１１２を含め、本明細書に記載のシステム、装置およびエンジンの処理能力は、複数のプロセッサおよびメモリのような複数のシステム構成要素の間で分散されてもよい。複数のシステム構成要素の中には、オプションとして、複数の分散処理システムまたはクラウド／ネットワーク構成要素が含まれてもよい。パラメータ、データベースおよびその他のデータ構造は、別々に記憶されて管理されてもよいし、単一のメモリまたはデータベースに組み込まれてもよいし、多くの様々な方法で論理的および物理的に編成されてもよいし、連結リスト、ハッシュテーブルまたは暗黙的記憶メカニズムなどのデータ構造を含む多くの方法で実装してもよい。プログラムは、単一プログラムの部分（例えば、サブルーチン）もしくは別々のプログラムであってもよいし、複数のメモリおよびプロセッサに分散されてもよいし、または、ライブラリ（例えば、共用ライブラリ）のように多くの様々な方法で実装してもよい。

以上、様々な例について説明したが、さらに多くの実装が可能である。

Claims

異常モデル訓練エンジンと異常検出エンジンとを含んだシステムであって、
前記異常モデル訓練エンジンは、
組み込みソフトウェアアプリケーションを所定のサンプリング点でサンプリングして、前記組み込みソフトウェアアプリケーションの前のサンプリング点以降の動作量と、前記組み込みソフトウェアアプリケーションの前記所定のサンプリング点におけるアプリケーションパラメータとを取得し、
前記サンプリング点について取得された前記動作量と前記アプリケーションパラメータに基づいて訓練データを生成し、
前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータの入力に基づいて、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かについての判定を提供するように設定された異常検出モデルを、前記訓練データを用いて構築し、
パラメータ選択プロセスを実行して、前記訓練データに含めるための、前記取得したアプリケーションパラメータの特定のサブセットを特定することによって、前記訓練データを生成し、該パラメータ選択プロセスを、統計的相関、整合性チェックまたは両方の組み合わせを用いて実行する、ように構成され、
前記異常検出エンジンは、
前記組み込みソフトウェアアプリケーションの実行中に前記所定のサンプリング点で前記組み込みソフトウェアアプリケーションをサンプリングして、該実行中の前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータを取得し、
前記異常検出モデルへの入力として、前記実行中にサンプリングされた前記動作量と前記アプリケーションパラメータを提供し、
前記提供した入力に対する前記異常検出モデルからの出力に基づいて、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かを判定する、ように構成される、システム。
前記異常モデル訓練エンジンは、前記組み込みソフトウェアアプリケーションの実行がエミュレータを用いて行われる学習フェーズの間に前記組み込みソフトウェアアプリケーションをサンプリングするように構成され、
前記異常検出エンジンは、前記組み込みソフトウェアアプリケーションの実行が、前記組み込みソフトウェアアプリケーションが組み込まれているハードウェアコンポーネントを用いて行われる前記実行中に、前記組み込みソフトウェアアプリケーションをサンプリングするように構成されている、請求項１に記載のシステム。
前記異常モデル訓練エンジンは、
前記所定のサンプリング点で前記組み込みソフトウェアアプリケーションによって実行されている所定のアプリケーションタスクを識別し、
前記所定のアプリケーションタスクのタスク特有の異常検出モデルを含む複数のタスク特有の異常検出モデルを含むように、前記異常検出モデルを構築するようにさらに構成されている、請求項１に記載のシステム。
前記異常検出エンジンは、
前記実行中に複数のサンプリング点で前記組み込みソフトウェアアプリケーションをサンプリングし、
前記複数のサンプリング点で前記組み込みソフトウェアアプリケーションによって実行されている所定のアプリケーションタスクに基づいて、前記複数のサンプリング点でサンプリングされた前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータに使用するモデルを前記複数のタスク特有の異常検出モデルの中から選択するようにさらに構成されている、請求項３に記載のシステム。
前記動作量には、前記前のサンプリング点以降に実行された命令数、前記前のサンプリング点以降の実行時間、または両方の組み合わせが含まれる、請求項１に記載のシステム。
前記異常モデル訓練エンジンは、前記組み込みソフトウェアアプリケーションによって記憶されたグローバル変数または静的変数から、前記所定のサンプリング点において、前記組み込みソフトウェアアプリケーションの前記アプリケーションパラメータを取得するように構成されている、請求項１に記載のシステム。
前記異常検出エンジンは、
前記実行中に、前記組み込みソフトウェアアプリケーションが非アクティブ実行期間に入ることを判定し、
前記組み込みソフトウェアアプリケーションが前記非アクティブ実行期間にある間に、前記異常検出モデルに対して前記入力を提供し、前記異常検出モデルを使用して、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かを判定するようにさらに構成されている、請求項１に記載のシステム。
組み込みシステムに実装される異常検出エンジンにより、
前記組み込みシステムにおいて作動する組み込みソフトウェアアプリケーションの実行中に所定のサンプリング点で前記組み込みソフトウェアアプリケーションをサンプリングして、前記実行中に前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータを取得する過程と、
前記実行中に、前記組み込みソフトウェアアプリケーションが非アクティブ実行期間に入ることを判定し、この判定に応答して、
前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータの入力に基づいて、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かの判定を提供するように構成された異常検出モデルにアクセスし、
前記異常検出モデルへの入力として、前記実行中に前記所定のサンプリング点でサンプリングされた前記動作量と前記アプリケーションパラメータを提供し、
前記提供した入力に対する前記異常検出モデルからの出力に基づいて、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かを判定する過程とを実行し、
異常モデル訓練エンジンにより、学習フェーズにおいて前記異常検出モデルを訓練する過程を実行し、
該訓練は、
前記組み込みソフトウェアアプリケーションを前記所定のサンプリング点でサンプリングして、前記組み込みソフトウェアアプリケーションの前のサンプリング点以降の動作量と、前記組み込みソフトウェアアプリケーションの前記所定のサンプリング点におけるアプリケーションパラメータとを取得し、
前記所定のサンプリング点について取得された前記動作量と前記アプリケーションパラメータに基づいて訓練データを生成し、
前記訓練データを用いて前記異常検出モデルを構築し、
パラメータ選択プロセスを実行して、前記訓練データに含めるための、前記取得したアプリケーションパラメータの特定のサブセットを特定することによって、前記訓練データを生成し、該パラメータ選択プロセスを、統計的相関、整合性チェックまたは両方の組み合わせを用いて実行する、ことを含む、方法。
前記動作量には、前のサンプリング点以降に実行された命令数、前記前のサンプリング点以降の実行時間、または両方の組み合わせが含まれる、請求項８に記載の方法。
前記異常検出モデルは、複数あるアプリケーションタスクのそれぞれに特有とした複数の異常検出モデルを含む複数のタスク特有の異常検出モデルを含み、
前記実行中に複数のサンプリング点で前記組み込みソフトウェアアプリケーションをサンプリングし、
前記複数のサンプリング点で前記組み込みソフトウェアアプリケーションによって実行されている所定のアプリケーションタスクに基づいて、前記複数のサンプリング点でサンプリングされた前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータに使用するモデルを前記複数のタスク特有の異常検出モデルの中から選択する、請求項８に記載の方法。
前記所定のサンプリング点での前記組み込みソフトウェアアプリケーションのサンプリングは、前記組み込みソフトウェアアプリケーションによって記憶されたグローバル変数または静的変数から、前記所定のサンプリング点において、前記組み込みソフトウェアアプリケーションの前記アプリケーションパラメータを取得することを含む、請求項８に記載の方法。
プロセッサによって遂行される命令を入れた非一時的コンピュータ可読媒体であって、
前記命令を遂行する前記プロセッサが、組み込みソフトウェアアプリケーションに関する異常検出モデルを訓練する異常モデル訓練エンジンとして動作し、
該異常モデル訓練エンジンが、
前記組み込みソフトウェアアプリケーションを所定のサンプリング点でサンプリングして、前記組み込みソフトウェアアプリケーションの前のサンプリング点以降の動作量と、前記組み込みソフトウェアアプリケーションの前記所定のサンプリング点におけるアプリケーションパラメータとを取得する過程と、
前記サンプリング点について取得された前記動作量と前記アプリケーションパラメータに基づいて訓練データを生成する過程と、
前記組み込みソフトウェアアプリケーションの動作量とアプリケーションパラメータの入力に基づいて、前記組み込みソフトウェアアプリケーションが異常動作を示しているか否かについての判定を提供するように設定された前記異常検出モデルを、前記訓練データを用いて構築する過程と、
パラメータ選択プロセスを実行して、前記訓練データに含めるための、前記取得したアプリケーションパラメータの特定のサブセットを特定することによって、前記訓練データを生成し、該パラメータ選択プロセスを、統計的相関、整合性チェックまたは両方の組み合わせを用いて実行する過程とを実行する、ように構成される、非一時的なコンピュータ可読媒体。