JP2022507635A - インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体 - Google Patents

Abstract

本願実施例は、インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体を提供し、ここで、前記方法は、処理される画像を取得することと、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することと、前記姿勢情報に従って、インテリジェント車両の運動状態を制御することと、を含む。【選択図】図１

Description

本願は、２０１９年０６月１９日に中国特許局に提出された、出願番号が２０１９１０５３３９０８．１である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容は、全文の参照によって本願に組み込まれる。

本願は、機器の自動運転の技術分野に関し、インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体に関するが、これらに限定されない。

関連技術において、ほとんどは、アームバンドまたはリストバンド、タッチスクリーンセンシングおよびジェスチャ画像に基づいて、異なるジェスチャによって、ワイヤレスラジコンカーの走行を制御する。例えば、タッチスクリーン上のユーザのジェスチャ動作を収集し、関連する動作に従ってジェスチャ座標を決定することにより、ジェスチャタイプを決定し、その基で関連する制御を実現する。

本願実施例は、インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体を提供する。

本願実施例は、インテリジェント車両の運動制御方法を提供し、前記方法は、処理される画像を取得することと、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することと、前記姿勢情報に従って、インテリジェント車両の運動状態を制御することと、を含む。

いくつかの実施例において、前記処理される画像に対して特徴抽出を実行する前に、前記方法は、前記処理される画像を前処理することをさらに含み、前記処理される画像を前処理することは、前記処理される画像のサイズを正規化処理して、プリセットのサイズを満たす正規化画像を取得することと、前記正規化画像をグレースケール画像に変換することと、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得することと、を含む。

いくつかの実施例において、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することは、ジェスチャ認識ニューラルネットワークに基づいて前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することを含む。

いくつかの実施例において、前記ジェスチャ認識ニューラルネットワークに基づいて前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することは、前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出することと、前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定することと、前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定することと、前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定することと、を含む。

いくつかの実施例において、前記ターゲット候補フレームの位置は、前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用することを含む。

いくつかの実施例において、前記姿勢情報に従って、インテリジェント車両の運動状態を制御することは、受信された前記姿勢情報に従って前記ジェスチャに対応する命令を取得し、前記命令に従って前記インテリジェント車両の運動状態を制御することを含む。

いくつかの実施例において、前記姿勢情報に従って、インテリジェント車両の運動状態を制御する前に、前記インテリジェント車両の運動制御方法は、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにすることをさらに含む。

いくつかの実施例において、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整することは、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定することと、前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、を含む。

いくつかの実施例において、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整することは、前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定することであって、ここで、前記ジェスチャのカテゴリおよび前記ジェスチャの方向は、前記インテリジェント車両の運動方向に一対一で対応することと、前記現在の運動方向およびプリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、を含み、ここで、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む。

いくつかの実施例において、前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定した後、前記方法は、前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズの比率を決定することと、前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新することと、更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整することと、更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、をさらに含む。

前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新することは、前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定することと、前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得することと、前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得することと、を含む。

前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整した後、前記インテリジェント車両の運動制御方法は、収集方向を調整した後の前記カメラの事前収集画像を決定することと、第２距離を決定することであって、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれることと、前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集あいた処理される画像にジェスチャが含まれるようにすることと、さらに含む。

本願実施例は、インテリジェント車両の運動制御装置を提供し、前記装置は、処理される画像を取得するように構成される、第１取得モジュールと、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識モジュールと、前記姿勢情報に従って、インテリジェント車両の運動状態を制御するように構成される、第１制御モジュールと、を備える。

いくつかの実施例において、前記装置は、さらに、前記処理される画像を前処理するように構成される、第１前処理モジュールを備え、前記第１前処理モジュールは、前記処理される画像のサイズに対して正規化処理を実行して、プリセットのサイズを満たす正規化画像を取得するように構成される、第１処理サブモジュールと、前記正規化画像をグレースケール画像に変換するように構成される、第１変換サブモジュールと、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得するように構成される、第１正則化サブモジュールと、を備える。

いくつかの実施例において、前記第１認識モジュールは、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識サブモジュールを備える。

いくつかの実施例において、前記第１認識サブモジュールは、前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出するように構成される、第１検出ユニットと、前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定するように構成される、第１分類ユニットと、前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定するように構成される、第１決定ユニットと、前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定するように構成される、第２決定ユニットと、を備える。

いくつかの実施例において、前記ターゲット候補フレームの位置は、前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用することを含む。

いくつかの実施例において、前記第１制御モジュールは、受信された前記姿勢情報に従って前記ジェスチャに対応する命令を取得し、前記命令に従って前記インテリジェント車両の運動状態を制御するように構成される、第１制御サブモジュールを備える。

いくつかの実施例において、前記装置は、さらに、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにするように構成される、第１調整モジュールを備える。

いくつかの実施例において、前記第１調整モジュールは、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定するように構成される、第１決定サブモジュールと、前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第１調整サブモジュールと、を備える。

いくつかの実施例において、前記第１調整モジュールは、前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定するように構成される、第２決定サブモジュールであって、ここで、前記ジェスチャのカテゴリおよび前記ジェスチャの方向は、前記インテリジェント車両の運動方向に一対一で対応する第２決定サブモジュールと、前記現在の運動方向およびプリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第２調整サブモジュールと、を備え、ここで、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む。

いくつかの実施例において、前記装置は、さらに、前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率を決定するように構成される、第１決定モジュールと、前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新するように構成される、第１更新モジュールと、更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整するように構成される、第２調整モジュールと、前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第３調整モジュールと、を備える。

いくつかの実施例において、前記第１更新モジュールは、前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定するように構成される、第３決定サブモジュールと、前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得するように構成される、第１更新サブモジュールと、前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得するように構成される、第２更新サブモジュールと、を備える。

いくつかの実施例において、前記装置は、さらに、収集方向を調整した後の前記カメラの事前収集画像を決定するように構成される、第２決定モジュールと、第２距離を決定するように構成される、第３決定モジュールであって、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれる、第３決定モジュールと、前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第４調整モジュールと、を備える。

本願実施例は、コンピュータ実行可能命令が記憶される、コンピュータ記憶媒体を提供し、当該コンピュータ実行可能命令が実行された後、本願実施例によるインテリジェント車両の運動制御方法におけるステップを実現できる。

本願実施例は、メモリとプロセッサとを備える、コンピュータ機器を提供し、前記メモリには、コンピュータ実行可能命令が記憶され、前記プロセッサは、前記メモリ内のコンピュータ実行可能命令を実行するとき、本願実施例によるインテリジェント車両の運動制御方法におけるステップを実現できる。

本願実施例は、さらに、コンピュータ実行可能命令を含む、コンピュータプログラム製品を提供し、当該コンピュータ実行可能命令が実行された後、本願実施例によるインテリジェント車両の運動制御方法におけるステップを実現できる。

本願実施例は、インテリジェント車両の運動制御方法および装置、機器並びに記憶媒体を提供し、処理される画像に対して特徴抽出を実行することにより、画像内のジェスチャを効果的に認識でき、さらに、ジェスチャを正しく使用してインテリジェント車両の状態を制御でき、即ち、処理される画像内のジェスチャに対する認識の精度を向上させ、さらに、ジェスチャに基づくインテリジェント車両の状態制御の精度を向上させる。

本願実施例のインテリジェント車両の運動制御方法の実現プロセスの概略図である。 本願実施例のインテリジェント車両の運動制御方法の別の実現プロセスの概略図である。 本願実施例のインテリジェント車両の運動制御方法の別の実現プロセスの概略図である。 本願実施例のインテリジェント車両の運動制御方法の実現プロセスの概略図である。 本願実施例の画像を前処理するプロセスの実現プロセスの概略図である。 本願実施例の前処理された画像を認識する実現プロセスの概略図である。 本願実施例のジェスチャカテゴリのシナリオの概略図である。 本願実施例のパッケージ状態情報の例示的な構造図である。 本願実施例のインテリジェント車両の収集方向を調整する実現プロセスの概略図である。 本願実施例のインテリジェント車両の収集方向を調整する別の実現プロセスの概略図である。 本願実施例のインテリジェント車両の運動制御装置の構成の例示的な構造図である。 本願実施例のコンピュータ機器の構成の例示的な構造図である。

本願実施例の目的、技術的解決策および利点をより明確にするために、以下は、本願実施例における図面を参照して、発明の具体的な技術的解決策をさらに詳細に説明する。以下の実施例は、本願を説明するために使用されるが、本願の範囲を制限するものではない。

本願実施例は、まず、インテリジェント車両の運動を制御するアプリケーションシステムを提供し、当該システムは、インテリジェント車両、ラズベリーパイ、カメラとスマート教育ロボットを含み、ここで、ラズベリーパイおよびカメラは、インテリジェント車両に統合されてもよく、インテリジェント車両から独立してもよく、スマート教育ロボットはＥＶ３などである。本願実施例において、まず、ラズベリーパイは、カメラが収集した画像に対してジェスチャ分類を実行し、ジェスチャが位置する領域を位置づけ、次に、ラズベリーパイは、分類結果をスマート教育ロボットに送信し、スマート教育ロボットは、ジェスチャの分類結果に従って制御命令を取得し、制御命令に従ってインテリジェント車両の運動を制御する。

本願実施例は、インテリジェント車両の運動制御方法を提供し、本願による方法ステップの実行主体は、ハードウェアであり得、例えば、インテリジェント車両、コンピュータ、携帯電話、サーバなどの機器であり得、または、プロセッサによってコンピュータ実行可能コードを実行する方式を介して実現する。図１は、本願実施例のインテリジェント車両の運動制御方法の実現プロセスの概略図であり、図１に示された方法を参照して説明する。

ステップＳ１０１において、処理される画像を取得する。

いくつかの実施例において、前記ステップＳ１０１は、インテリジェント車両が接続した収集装置（カメラなど）を使用して処理される画像を収集することであってもよく、インテリジェント車両でラズベリーパイを実装し、ラズベリーパイを使用して収集装置が画像収集を実行するように制御することであってもよく、他の機器によって送信された処理される画像を受信することであってもよく、前記処理される画像には、ジェスチャが含まれてもよいし、ジェスチャが含まれなくてもよい。前記処理される画像は、収集されたビデオシーケンス内の１フレームの画像であり得る。

ステップＳ１０２において、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得する。

いくつかの実施例において、処理される画像をニューラルネットワークに入力し、当該ニューラルネットワークによって、処理される画像に対して特徴抽出が実行され、画像特徴が取得される。ジェスチャの姿勢情報は、ジェスチャの位置情報、ジェスチャの方向およびジェスチャが属するカテゴリを含む。まず、画像特徴に基づいて、ジェスチャを含む確率が特定の確率閾値より大きいターゲット候補フレームを決定し、処理される画像における当該候補フレームの第１座標を決定し、当該第１座標をジェスチャの位置情報として使用する。次に、ターゲット候補フレームを分類ネットワークに入力して、当該ターゲット候補フレームにジェスチャが含まれるか否かを決定し、ターゲット候補フレームにジェスチャが含まれると、当該ジェスチャが属するカテゴリを決定する。

ステップＳ１０３において、前記姿勢情報に従って、インテリジェント車両の運動状態を制御する。

いくつかの実施例において、前記インテリジェント車両は、スマートトイカー、様々な機能を備えた車両、様々なホイールの数を備えた車両など、またはロボットなどであり得る。前記姿勢情報に対応する命令をインテリジェント車両に送信して、前記インテリジェント車両の運動状態を調整する。前記インテリジェント車両の運動状態は、静止、方向転換、バックまたは直進などを含み、前記ステップＳ１０３は、ジェスチャが属するカテゴリに対応する命令を当該インテリジェント車両のコントローラに送信して、当該インテリジェント車両の運動方向を制御して実現でき、ラズベリーパイが姿勢情報に従って、制御命令を生成して、当該インテリジェント車両の運動方向を制御して実現することもできる。前記コントローラは、インテリジェント車両の内部のコントローラであってもよいし、前記インテリジェント車両から独立し、且つ前記インテリジェント車両の運動方向を制御するためのレゴ第３世代スマートロボット（ＥＶ３）であってもよい。

本願実施例において、ニューラルネットワークに基づいて、処理される画像に対して特徴抽出を実行し、画像特徴を正確に取得することにより、ジェスチャのカテゴリを決定し、ジェスチャのカテゴリに従って制御命令を決定し、さらにインテリジェント車両の運動方向を効果的に制御する。

本願実施例は、インテリジェント車両の運動制御方法を提供し、図２Ａは、本願実施例のインテリジェント車両の運動制御方法の別の実現プロセスの概略図であり、図２Ａに示された方法を参照して説明する。

ステップＳ２０１において、処理される画像を取得する。

ステップＳ２０２において、前記処理される画像のサイズに対して正規化処理を実行して、プリセットのサイズを満たす正規化画像を取得する。

いくつかの実施例において、処理される画像が、１セグメントのビデオシーケンス内のマルチフレーム画像である場合、当該ビデオシーケンスのフレームレートに従って当該ビデオシーケンスを複数の画像に分解する必要がある。次に、複数の画像のうちの各画像のサイズを正規化して、当該複数の画像のサイズを一致させ、それにより、処理される画像をニューラルネットワークに入力した後、出力した特徴図を一致にさせる。

ステップＳ２０３において、前記正規化画像をグレースケール画像に変換する。

いくつかの実施例において、正規化画像の色の特徴を無視することにより、正規化画像をグレースケール画像に変換する。

ステップＳ２０４において、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得する。

いくつかの実施例において、グレースケール画像のピクセルを分散化し、即ち、画像内の各位置の平均ピクセル値を０にして、ピクセル値の範囲を［－１２８，１２７］に変更させ、０を中心にする。各位置の正および負のピクセル数が「ほぼ同じ」である場合、勾配の変化方向が不確実になり、このようにして重みの収束を加速することができるためである。

上記のステップＳ２０２ないしＳ２０４は、処理される画像を前処理する実施形態を開示し、当該方式では、まず、処理される画像に対して正規化処理を実行し、次に、色を変換し、最後に当該画像に対して正則化処理を実行して、平均ピクセル値が０である正則画像を取得し、それにより、後続の特徴抽出とジェスチャの分類に役立つ。

ステップＳ２０５において、前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出する。

いくつかの実施例において、まず、処理される画像をニューラルネットワークに入力して、特徴抽出を実行し、次に、抽出された画像特徴に基づいて、ジェスチャを含む確率がプリセットの確率閾値より大きいターゲット候補フレームを決定する。

ステップＳ２０６において、前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定する。

いくつかの他の実施形態において、ジェスチャが属するカテゴリと方向を決定することは、プリセットのジェスチャカテゴリライブラリから前記ターゲット候補フレームの画像特徴の類似度がプリセットの類似度閾値より大きいターゲットジェスチャを探し、前記ターゲットジェスチャが属するカテゴリと方向を前記ジェスチャが属するカテゴリと方向に決定する。図６（ｃ）に示されたように、ジェスチャ方向は上向きであり、且つジェスチャカテゴリは上に向かって親指を立てることである。

ステップＳ２０７において、前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定する。

いくつかの実施例において、ターゲット候補フレームにジェスチャが含まれることに応答して、当該ターゲット候補フレームに基づいてジェスチャの位置情報を決定する。例えば、前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用する。いくつかの具体的な例において、前記処理される画像におけるターゲット候補フレームの左上隅および右下隅の座標をターゲット候補フレームの座標として決定して、ジェスチャの位置情報を決定する。前記処理される画像にジェスチャが含まれないことに応答して、プリセットの識別フィールドを使用して前記識別される画像を識別し、このようにして、ジェスチャを含まない画像に対する認識の繰り返しと、リソースの浪費を減らす。

ステップＳ２０８において、前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定する。

上記のステップＳ２０５およびステップＳ２０８では、「ジェスチャの姿勢情報を決定する」実施形態を開示し、当該実施形態では、姿勢情報は、ジェスチャの位置情報、ジェスチャのカテゴリおよび方向を含み、ニューラルネットワークによって位置情報およびジェスチャのタイプを決定し、それにより、ジェスチャが属するカテゴリをより正確に認識し、インテリジェント車両の運動を効果的に制御する。

ステップＳ２０９において、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにする。

いくつかの実施例において、前記インテリジェント車両の収集方式を調整することは、インテリジェント車両の収集装置の支持部品の運動方向を調整して、収集装置の収集方向を変更することであり得、例えば、収集装置を支持するパンチルトの運動方向を調整する。

前記ステップＳ２０９は、以下のプロセスによって実現できる。まず、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定する。次に、前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにする。例えば、前記ターゲット候補フレームの位置に従って、インテリジェント車両の焦点距離から処理される画像の中心への偏差を調整して、インテリジェント車両が収集した処理される画像内のジェスチャが中心に位置させる。このようにして、インテリジェント車両の画像収集焦点を調整した後、インテリジェント車両が収集した処理される画像にジェスチャが含まれるようにする。次に、前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定し、ここで、前記ジェスチャのカテゴリおよび方向は、インテリジェント車両の運動方向に一対一で対応し、前記現在の運動方向およびプリセットの対応関係表に従って、前記インテリジェント車両と接続するカメラの収集方向を調整し、ここで、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む。このようにして、インテリジェント車両がリアルタイムで運動しても、依然としてカメラが収集した処理される画像にジェスチャが含まれ、ジェスチャが中間に位置させる。

ステップＳ２１０において、前記姿勢情報に従って、インテリジェント車両の運動状態を制御する。

本願実施例において、ニューラルネットワークを採用して処理される画像を分析して、ジェスチャのカテゴリを正確に認識し、カメラの収集方向をリアルタイムで調整することにより、インテリジェント車両が収集した処理される画像内のジェスチャが中間に位置させ、さらに、検出効果を明らかに向上し、インテリジェント車両の運動状態を効果的に制御する。

本願実施例は、インテリジェント車両の運動制御方法を提供し、図２Ｂは、本願実施例のインテリジェント車両の運動制御方法の別の実現プロセスの概略図であり、図２Ｂに示された方法を参照して説明する。

ステップＳ２１１において、処理される画像を取得する。

ステップＳ２１２において、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得する。

いくつかの実施例において、ジェスチャの姿勢情報は、ジェスチャのカテゴリと方向を含む。

ステップＳ２１３において、前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用する。

いくつかの実施例において、ターゲット候補フレームにジェスチャが含まれているため、ターゲット候補フレームの位置を決定した後、ジェスチャの位置情報も決定される。

ステップＳ２１４において、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定する。

いくつかの実施例において、ターゲット候補フレームの左上隅および右下隅の座標に従って、ターゲット候補フレームの中心の座標を決定でき、当該ターゲット候補フレームの中心の座標に基づいて、当該ターゲット候補フレームの中心と、処理される画像の中心との距離、即ち、第１距離を決定できる。

ステップＳ２１５において、ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定する。いくつかの実施例において、前記ジェスチャのカテゴリはインテリジェント車両の運動方向に一対一で対応し、表２に示されたように、例えば、ジェスチャが勝利（Ｖｉｃｔｏｒｙ）ジェスチャであり、且つ、ジェスチャ方向が上向きである場合、対応的に、インテリジェント車両の運動方向は直進である。

ステップＳ２１６において、前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率を決定する。

いくつかの実施例において、ユーザは、プリセットの候補フレームのサイズをカスタマイズでき、ニューラルネットワークを介してターゲット候補フレームのエッジを検出して、ターゲット候補フレームのサイズを決定し、次に、ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率を決定することができる。

ステップＳ２１７において、前記第１距離および前記現在の運動方向をそれぞれ更新する。

いくつかの実施例において、前記ステップＳ２１７は、以下のプロセスによって実現できる。まず、前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定する。いくつかの具体的な例において、まず、前記比率に対応するプリセットの比率区間を決定し、当該比率が該当するプリセットの比率区間および比率区間と重み値との対応関係を表すためのマッピング表（表１に示されたように）に基づいて、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定する。第１距離に対してターゲット候補フレームの中心が処理される画像の中心に位置するか否かを决定したため、第１重み値を固定値に設定でき、例えば１に設定でき、第２重み値に対して、比率が増やす場合、対応的に第２重み値を増やし、表１に示されたように、例えば、ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率が０．８より小さい場合、第１距離に対応する第１重み値は１であり、現在の運動方向に対応する第２重み値は０．５であり、ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率が０．８より大きく且つ１．２より小さい場合、現在の運動方向に対応する第２重み値は０．６である。次に、前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得し、例えば、第１重み値と第１距離を乗算して、更新された第１距離を取得する。最後に、前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得する。例えば、インテリジェント車両で、収集装置を使用して、処理される画像を収集し、第２重み値を使用して現在の運動速度のサイズを決定し、それにより、インテリジェント車両の収集装置の運動速度を制御し、収集装置の収集方向に対する調整を実現する。

ステップＳ２１８において、更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整する。

いくつかの実施例において、前記インテリジェント車両の画像収集焦点と前記処理される画像の中心との距離を調整して、更新された第１距離と負の関連があるようにする。更新された第１距離に基づいて、非線形負の関連の方式を使用して、インテリジェント車両の焦点と前記処理される画像の中心との距離を調整し、更新された第１距離が大きい場合、ターゲット候補フレームの中心が処理される画像の中心から逸脱していることを示し、即ち、インテリジェント車両の焦点が処理される画像の中心から逸脱していることを示し、この場合、前記インテリジェント車両の焦点と前記処理される画像の中心との距離を調整して、前記第１距離と非線形負の関連があるようにする。

ステップＳ２１９において、前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにする。

いくつかの実施例において、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を表すために使用され、即ち、各運動方向は、１つのカメラの収集方向に対応することを表し、前記ステップＳ２１９は、まず、プリセットの対応関係表から、当該更新された現在の運動方向と同じターゲット運動方向、当該ターゲット運動方向のプリセットの対応関係表でのカメラの収集方向の調整方式を探し、次に、当該調整方式を使用してカメラの収集方式を調整することに理解できる。例えば、現在の運動方向が前進である場合、カメラの直立方向の上昇を減少する。現在の運動方向がバックである場合、カメラの直立方向の上昇を増加して、収集装置の位置を柔軟に調整し、ジェスチャを含む画像をよりよくキャプチャする。

上記のステップＳ２１６ないしＳ２１９は、「前記ターゲット候補フレームの位置および前記ジェスチャが属するカテゴリと方向に従って、前記インテリジェント車両と接続するカメラを調整する」ことを実現する方式を開示し、当該方式では、プリセットの候補フレームとターゲット候補フレームの比率を決定して、カメラの収集方向を調整する２つのパラメータ（即ち、第１距離およびインテリジェント車両の現在の運動方向）の重み値を決定し、この２つのパラメータを更新して、インテリジェント車両の収集装置の収集方向をリアルタイムで調整できる。

ステップＳ２２０において、収集方向を調整した後の前記カメラの事前収集画像を決定する。

いくつかの実施例において、インテリジェント車両と接続するカメラの収集方向を調整した後、事前収集された画像内のジェスチャが以前として画像の中心に位置していない可能性があり、この場合、事前収集された画像内のジェスチャと画像の中心との差距をフィードバック結果として使用して、当該フィードバック結果に基づいてカメラの収集方向を調整し続ける必要がある。例えば、ステップＳ２１９を実行する前に、ターゲット候補フレームの中心と前記処理される画像の中心との第１距離が１０ミリであり、ステップＳ２１９を実行した後、事前収集された画像内のジェスチャと画像の中心との差が３ミリであると、３ミリ差を二回フィードバックとして使用し、コントローラに知らせ、依然としてカメラの収集方向を調整する必要がある。

ステップＳ２２１において、第２距離を決定する。

いくつかの実施例において、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれる。

ステップＳ２２２において、前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにする。

ステップＳ２２３において、調整後のカメラを採用して新しい処理される画像を収集する。

ステップＳ２２４において、前記新しい処理される画像に対してジェスチャ認識を実行して、前記新しい処理される画像内のジェスチャの姿勢情報を取得する。

ステップＳ２２５において、前記新しい処理される画像内のジェスチャの姿勢情報に従って、インテリジェント車両の運動状態を制御する。

いくつかの実施例において、二回目にフィードバックされた事前収集された画像内のジェスチャのターゲット候補フレームの中心と事前収集された画像の中心との差に基づいて、カメラの収集方向を調整し続けて、ジェスチャのターゲット候補フレームの中心が事前収集された画像の中心領域に位置させ、それにより、収集された処理される画像内のジェスチャが画像中心に位置させ、ジェスチャ認識の精度を向上させることに役立つ。

本願実施例において、位置情報、ジェスチャのカテゴリおよび方向に基づいてカメラの収集方向を調整した後、ジェスチャのターゲット候補フレームが以前として処理される画像の中心に位置していない場合、両者間の差を二回フィードバックとして使用し、当該二回フィードバックに基づいて、カメラの収集方向を調整し続けて、ジェスチャが処理される画像の中心に位置させ、それにより、ジェスチャを使用してインテリジェント車両の運動をより正確に制御できる。

関連技術において、ワイヤレスラジコンインテリジェント車両は、ワイヤレスラジコン装置を使用して方向転換などの動作を実現し、ディープラーニング技術の台頭と活発な開発に伴い、ジェスチャ認識をワイヤレスラジコンカー技術案として使用することは新しいハイライトとホットスポットになった。しかしながら、ジェスチャ認識技術案は、ほとんどは、アームバンドまたはリストバンド、タッチスクリーンセンシングおよびジェスチャ画像に基づいて実現される。例えば、以下の複数の方式によって実現できる
方式１、ユーザの腕に装着されたアームバンド機器、運動センサユニットを介してユーザの腕の運動および姿勢を検出し、それにより、トイカーに対するラジコン制御を実現する。

方式２、タッチスクリーン上のユーザのジェスチャ動作を収集し、関連する動作に従ってジェスチャ座標を決定することにより、ジェスチャタイプを決定し、その基で関連する制御を実現する。

方式３、カメラを介してジェスチャ情報を収集し、人間とコンピュータとの対話のスマート画像情報処理技術を介して、車に対する制御を完了しマップを描き、自動的運動モードでの車の自動的に障害物を回避することを実現する。

方式４、ジェスチャターゲット領域を分割することを介して、エッジ検出と輪郭抽出を実行し、新しい特徴空間にマッピングすることによりジェスチャ認識を完了する。上記の特許に記載のジェスチャ認識技術案は、基礎的なジェスチャ分類を実現できるが、これらの方式のハードウェアに対する依存が大きく、認識の制度を改善する必要がある。

これに基づいて、本願実施例は、ジェスチャ認識方法を提供し、図３は、本願実施例のインテリジェント車両の運動制御方法の実現プロセスの概略図であり、図３に示された方法を参照して説明する。

ステップＳ３０１において、ラズベリーパイが、収集装置により画像を収集し、前処理および認識を実行する。

いくつかの実施例において、ラズベリーパイが収集された画像に対して実行した前処理プロセスは、まず、前記処理される画像のサイズを正規化処理して、プリセットのサイズを満たす正規化画像を取得し、次に、前記正規化画像をグレースケール画像に変換し、最後に、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得することを含む。ラズベリーパイは、インテリジェント車両内のコントローラとして理解でき、処理される画像を収集し、処理される画像に対して前処理および画像認識を実行するために使用される。即ち、本願実施例は、ジェスチャに基づいてワイヤレスラジコンインテリジェント車両を認識することを実現でき、ここで、ジェスチャ認識は、ジェスチャを含む画像を収集することにより、ディープラーニング技術を適用して画像を検出し分類し、ジェスチャターゲット領域の抽出およびジェスチャ分類の２つの作業を含む。ここで、よりよい効果の画像を収集し、収集装置のパンチルトを構築するために、収集装置の位置を自由に調整して、よりよいジェスチャ画像を取得することができる。同時に、ネットワークモデルに送信された画像の一致性を向上させるために、まず、収集された画像を前処理する必要があり、前処理するプロセスは図４に示されたとおりであり、画像の前処理プロセスは、以下の４つのステップを含む。

ステップＳ４０１において、収集されたビデオフレームレートに従って、当該ビデオを前記ビデオフレームレートとマッチングする数の画像に分解して、画像セットを取得する。

例えば、まず、ビデオを分解するとき、元のビデオデータフレームレートを考慮し、ビデオのフレームレートに従って分解画像の数を决定する必要がある。例えば、フレームレートが３０であると、即ち、１秒のビデオに３０枚の画像があると、この１秒のビデオを３０枚の画像に分解する。

ステップＳ４０２において、画像セットのうちの各画像のサイズに対して正規化処理を実行して、サイズが一致する画像セットを取得する。このようにして、画像セットの画像のサイズを正規化し、入力ニューラルネットワークの画像の特徴図の一致性を向上させる。

ステップＳ４０３において、各画像の色をグレーに変換して、グレースケール画像を取得する。

例えば、各画像の色の特徴を無視して、カラー画像をグレースケール画像に変換する。

ステップＳ４０４において、取得された各グレースケール画像に対して正則化処理を実行して、平均ピクセル値が０である正則画像を取得する。このようにして、各グレースケール画像に対して正則化処理を実行して、画像のゼロ平均値特性を改善し、重みの収束を加速する。

いくつかの実施例において、ラズベリーパイ側では、ジェスチャ分類は、ディープニューラルネットワークモデルを介して実現され、ネットワーク入力は、前処理された画像を介し、出力結果は、ジェスチャが位置する領域およびジェスチャの具体的なタイプの２つの部分を含む。本願実施例でジェスチャ認識はジェスチャ追跡機能を統合し、ジェスチャ分類の全体的なプロセスは、主に、ジェスチャ検出、ジェスチャ追跡およびジェスチャ認識の３つの段階に分ける。

第１段階、ジェスチャ検出は、ジェスチャ認識システムの最初のプロセスであり、ジェスチャターゲットの存在を判断した後、画像を追跡し認識する。関連技術では、画像に色、輪郭および運動の情報などに基づいてジェスチャがあるか否かを判断するが、このような方式は、光などの要因の影響を受け、差が比較的に大きい。これに基づいて、本願実施例は、ニューラルネットワーク方式を使用して画像特徴を自動的に抽出し、ジェスチャ分類を完了し、プロセスは図５に示されたとおりであり、以下のステップを含む。

ステップＳ５０１において、前処理された画像を取得する。

ステップＳ５０２において、ニューラルネットワークを採用して、ジェスチャのターゲット候補フレームを生成する。

いくつかの実施例において、ニューラルネットワークは、まず、前処理された画像特徴を抽出し、当該画像特徴に基づいて分類器ネットワークを構築し、次に、各候補フレームを分類し、当該候補フレームにジェスチャがあるか否かを判断する。

ステップＳ５０３において、ターゲット候補フレームにジェスチャがあるか否かを判断する。

いくつかの実施例において、ターゲット候補フレームにジェスチャがある場合、ステップＳ５０４に入り、ターゲット候補フレームにジェスチャがない場合、ステップＳ５０５に入る。

ステップＳ５０４において、ターゲット候補フレーム内のジェスチャを追跡し、ジェスチャのカテゴリを決定する。

第２段階、ジェスチャ追跡は、ジェスチャ認識システムの二番目のプロセスであり、いくつかの実施例において、本願実施例のビデオシーケンスでは、収集された画像セット内のジェスチャの連続性のため、画像をサンプリングに分析すればよく、各フレームの画像をすべて処理し分析する必要なく、選択された画像でジェスチャを検出し、ジェスチャの位置情報を決定し、このようにジェスチャのトラックを抽出して、連続するフレーム画像間の連絡を強化し、正確性およびリアルタイム性の妥協を実現し、ロバスト性追跡を実現できる。

第３段階：ジェスチャ認識は、ジェスチャ認識システムの三番目のプロセスであり、当該プロセスによって主に、ジェスチャ位置、姿勢およびジェスチャ動作が表す情報に対する説明を実現し、本願実施例は、上記のプロセスで抽出して得た特徴に対して検出追跡を実行し、追跡トラック情報を処理する。しかし、背景変化の複雑性のため、収集装置のパンチルトの位置をリアルタイムで調整することにより、ジェスチャ画像を収集する効果を向上させる。

ステップＳ３０２において、ディープラーニングに基づいてジェスチャ分類を実現し、ジェスチャが位置する領域を位置づける。

ステップＳ３０３において、シリアルポートの方式を介して検出結果をＥＶ３に送信する。

いくつかの実施例において、ディープニューラルネットワークを介してジェスチャを分類した後、まず、ジェスチャカテゴリ、ターゲット候補フレームの左上隅座標および右下隅座標を、１０バイトの空間を使用して記憶する。複数のターゲット候補フレームがある場合、当該複数のターゲット候補フレームを順次に格納し、処理される画像にジェスチャがない場合、２５５をマークとして認識する。次に、カスタマイズされた通信プロトコルの仕様に従って、状態情報をデータフィールドにパッケージし、データパケットのパッケージフォーマットは、図７に示されたとおりであり、状態情報６０１の両側にモードフラグビット６０２およびＣＲＣ検定ビット６０３をそれぞれパッケージし、次に、選択的フィールド６０４、再送信閾値６０５および制御フィールド６０６のヘッダとしてパッケージし、当該プロトコルデータパケットは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ：Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）プロトコルと互換性がある。データのパッケージが終了した後、シリアルポートを介してデータ送信を完了し、送信するとき、データパケットのバイト長さ、停止ビットおよびボーレートなどのパラメータを定義する必要がある。

ステップＳ３０４において、ジェスチャ位置座標に従って、ＥＶ３が、収集装置のパンチルト位置を調整して、ジェスチャが画像の中心に位置させる。

いくつかの実施例において、ＥＶ３は、ラズベリーパイ側から送信されたデータパケットを受信し解析し、データパケットのデータフィールドからジェスチャタイプ情報およびジェスチャ位置を取得する。次に、ジェスチャ位置情報に従って、適応フィードバックの方式を使用して、現在のインテリジェント車両の運動状態およびジェスチャ位置情報を統合し、パンチルト位置を柔軟に調整し、収集された画像効果を向上させ、当該調整プロセスは図８Ａに示されたように、以下のステップを含む。

ステップＳ７０１において、ジェスチャの位置情報に従って、候補フレームの中心と、処理される画像の中心との第１距離を決定する。

いくつかの実施例において、第１距離をパンチルト調整のパラメータ規格とする。

ステップＳ７０２において、ジェスチャが属するカテゴリに従って、インテリジェント車両当時の運動方向を判断する。

ステップＳ７０３、インテリジェント車両当時の運動方向および第１距離に従って、パンチルトの運動方向に対して一級調整を実行する。

いくつかの実施例において、インテリジェント車両当時の運動方向および第１距離をパンチルトの運動方向に対して一級調整を実行するパラメータとして使用し、ブラー論理を使用して運動方向の調整およびジェスチャの調整を統合して、パンチルトの一級調整の評価指数とする。例えば、運動方向が前進である場合、パンチルトの直立方向の上昇を減少する。運動方向がバックである場合、パンチルトの直立方向の上昇を増加する。

ターゲット候補フレームのサイズと参照候補フレームのサイズの比率を決定し、当該比率に基づいて運動方向および第１距離を更新し、更新された運動方向および第１距離に基づいて、パンチルトの運動方向を調整する。

参照ジェスチャターゲットフレームのサイズを設定し、ターゲット候補フレームのサイズと参照ターゲットフレームの比率に従って、重みサイズを設定して、運動方向および第１距離のサイズを調整し、具体的なパラメータは表１を参照されたい。

ステップＳ７０４において、一級調整された収集装置の事前収集画像内の候補フレームの中心と、処理される画像の中心との距離を、フィードバック評価指数とする。

いくつかの実施例において、パンチルトに対して一級調整を実行した後、候補フレームの中心と、処理される画像の中心との第１距離を減少することができるが、候補フレームの中心と、処理される画像の中心の間には依然として差があり、この差を第２距離として使用し、二回フィードバックを実行して、当該差に基づいて、パンチルトの運動方向を調整し続けて、収集装置の収集方向を調整し続けることができる。

ステップＳ７０５において、二級フィードバック評価指数に基づいて、パンチルトの運動方向を調整し続けて、収集された画像内のジェスチャが中心に位置させる。

本願実施例において、上記のプロセスを繰り返し、即ち、パンチルトの適応調整プロセスを実現することができる。

上記のステップＳ７０１ないしＳ７０５は、図８Ｂに示されたモジュールによって実現できる。

ビデオシーケンスモジュール７２１は、ビデオシーケンスを取得するように構成される。

ジェスチャ位置モジュール７２２は、ビデオシーケンス内のジェスチャ位置を検出し、ジェスチャ位置を決定するように構成される。

一級調整モジュール７２３は、座標調整モジュール７２４と運動方向調整モジュール７２５を備え、ここで、
座標調整モジュール７２４は、インテリジェント車両現在の位置の座標に従ってパンチルトの運動方向を調整するように構成され、
運動方向調整モジュール７２５は、インテリジェント車両現在の運動方向に従ってパンチルトの運動方向を調整するように構成される。

画像の中心からのユークリッド距離モジュール７２６は、一級調整された収集装置の事前収集画像内の候補フレームの中心と、処理される画像の中心との距離として使用される。

ここで、画像の中心からのユークリッド距離モジュール７２６によって決定された距離を、フィードバック評価指数として、コントローラにフィードバックして、パンチルトの運動方向に対して二級調整を実行する。

二級調整モジュール７２７は、二級フィードバック評価指数に基づいて、パンチルトの運動方向を調整し続けて、収集された画像内のジェスチャが中心に位置させるように構成される。

ビデオシーケンスの分解に対して、以下のステップを介してパンチルトの位置を調整して、収集装置がジェスチャの位置を常に収集できるようにする。車体がリアルタイムで運動していることを考慮して、当時の運動方向を調整パラメータとする必要があり、プロセスは、以下のステップを含む。第１歩、取得されたジェスチャの位置座標を介して、画像中心からの距離を計算でき、当該距離をパンチルトの調整パラメータの規格とする。第２歩、ジェスチャタイプに従って、車体当時の運動方向を判断する。第３歩、ブラー論理を使用して運動方向の調整およびジェスチャの調整を統合して、パンチルトの一級調整の評価指数とする。運動方向が前進である場合、パンチルトの直立方向の上昇を減少する。運動方向がバックである場合、パンチルトの直立方向の上昇を増加する。第４歩、参照ジェスチャターゲットフレームのサイズを設定し、実のターゲットフレームサイズが参照ターゲットフレームによって設定された重みサイズに対応することに従って、２つの調整パラメータのサイズを調整し、具体的なパラメータは表１を参照されたい。第５歩、一級調整の後、次のフレームのジェスチャターゲットフレームの検出結果をフィードバックの評価指数とすることに従って、二級調整を実行する。上記のプロセスを繰り返し、即ち、パンチルトの適応調整プロセスを実現することができる。

ステップＳ３０５において、ＥＶ３がジェスチャ名称を決定し、ジェスチャに従って関連する命令を完了する。

ＥＶ３は、ジェスチャタイプを介して関連する運動を完了でき、直進、バック、直角左旋回、直角右旋回、アーク左旋回、アーク右旋回および停止の、合計７つの運動モードを含む。具体的なジェスチャタイプと運動モードの対応関係は表２に示されたとおりである。レゴインテリジェント車両は、ディファレンシャルステアリングメカニズムを採用し、直角旋回するとき単一なタイヤの回転で実現し、アーク旋回するとき左右２つのタイヤの異なる旋回速度と回転角度を制御することにより実現し、旋回の角度および速度が固定しているため、アーク回転のトラックは固定する。

本願実施例において、検出効果を向上させるために、収集装置のパンチルトを構築し、パンチルトの回転角度および領域を設定して、パンチルトの作業安定性を向上させ、収集装置の角度適応アルゴリズムを設計および調整し、当該アルゴリズムは、パンチルトと合わせて共に使用させる。ジェスチャの位置に従ってパンチルトをリアルタイムで調整して、検出効果を明らかに向上させることができ、ディープラーニング技術をワイヤレスラジコン分野に適用し、ほとんどのラジコン機器および嵌め込み機器に使用されることができ、互換性が強く、転移コストが低い。

他の実施例において、表２におけるジェスチャのカテゴリと運動モードとの対応関係に対して、
運動モード直進を図６ｈに示されたジェスチャに対応させ、運動モード停止を図６ｉに示されたジェスチャに対応させ、運動モード直角左旋回を図６ｊに示されたジェスチャに対応させ、運動モード直角右旋回を図６ｋに示されたジェスチャに対応させ、運動モードバックを図６ｌに示されたジェスチャに対応させるなどであり得る。本願実施例において、ジェスチャのカテゴリと運動モードの対応関係は、任意の設定されたジェスチャのカテゴリと運動モードとの対応関係であり得る。

ジェスチャ認識に基づくワイヤレススマート制御技術案は、特に、スマートホームシステムまたはワイヤレスラジコンシステムにおいて、多くの分野で非常に重要な作用があり、このような技術案は、すべてのラジコンインタフェースと互換性があり、機器固有のワイヤレスリモコンを置換することができる。しかしながら、ジェスチャ認識にはまだ緊急の問題がある。まず、ジェスチャの背景はほとんど乱雑で多様であり、このような背景でジェスチャが位置する領域をどのように効果的に抽出するか。次に、異なる領域、年齢、性別の人のジェスチャ形態と角度は様々である可能性があり、すべてのシステムと互換性がある壮健なモデルをどのように確立するかも、大きなチャレンジである。これらの要因を総合して、ジェスチャ認識の難易度が高くなる。なお、ジェスチャ認識の結果情報は、関連する命令が正確に実行させるために、１セットの完全な無線通信プロトコルの仕様が必要である。

本願実施例は、１セットの完全なジェスチャ認識に基づいてインテリジェント車両のワイヤレスラジコンを実行する技術案を提供し、ラズベリーパイ側でジェスチャ分類を完了し、インテリジェント車両が関連する命令を完了するように制御する。ラズベリーパイ側で、ディープニューラルネットワークモデルに基づいて、ジェスチャ領域を分割し、効果的なジェスチャ特徴を抽出して、ジェスチャ分類を完了する。ジェスチャの位置および姿勢分析に基づいて、カメラの角度を調整する適応アルゴリズムを設計し、カメラ角度を継続的に修正して、ジェスチャが画像に位置させ、ジェスチャ認識の精度を向上させ、様々な複雑な環境に適用される。

本願実施例による技術案は、ジェスチャ認識に基づくワイヤレスラジコンインテリジェント車両を実現できる。主に、以下の５つのステップに分ける。第１歩、ラズベリーパイがカメラを介して画像を収集し、関連する前処理を実行する。第２歩、ラズベリーパイ側でディープラーニング技術に基づいてジェスチャ分類を実現し、ジェスチャが位置する領域を位置づける。第３歩、ラズベリーパイが、シリアルポートの方式を介して検出結果をＥＶ３に送信する。第４歩、ジェスチャの位置座標に従って、ＥＶ３がカメラパンチルトの位置を調整して、ジェスチャが画像の中心に位置させる。第５歩、ＥＶ３が、ジェスチャ名称を報告し、ジェスチャに従って関連する命令を完了する。

検出効果を向上させるために、この技術案は、カメラパンチルトを構築し、パンチルトの回転角度および領域を設定して、パンチルトの作業安定性を向上させる。

本願実施例によるカメラの角度を調整する適応アルゴリズムは、パンチルト合わせて共に使用され、ジェスチャの位置に従ってパンチルトをリアルタイムで調整して、検出効果を明らかに向上させることができる。

本願実施例は、ディープラーニング技術をワイヤレスラジコン分野に適用し、ほとんどのラジコン機器および嵌め込み機器に使用されることができ、互換性が強く、転移コストが低い。

本願実施例は、インテリジェント車両の運動制御装置を提供し、図９は、本願実施例のインテリジェント車両の運動制御装置の構成の例示的な構造図であり、図９に示されたように、前記装置９００は、
処理される画像を取得するように構成される、第１取得モジュール９０１と、
前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識モジュール９０２と、
前記姿勢情報に従って、インテリジェント車両の運動状態を制御するように構成される、第１制御モジュール９０３と、を備える。

いくつかの実施例において、前記装置は、さらに、前記処理される画像を前処理するように構成される、第１前処理モジュールを備え、前記第１前処理モジュールは、前記処理される画像のサイズに対して正規化処理を実行して、プリセットのサイズを満たす正規化画像を取得するように構成される、第１処理サブモジュールと、前記正規化画像をグレースケール画像に変換するように構成される、第１変換サブモジュールと、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得するように構成される、第１正則化サブモジュールと、を備える。

いくつかの実施例において、前記第１認識モジュール９０２は、前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識サブモジュールを備える。

いくつかの実施例において、前記第１認識サブモジュールは、前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出するように構成される、第１検出ユニットと、前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定するように構成される、第１分類ユニットと、前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定するように構成される、第１決定ユニットと、前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定するように構成される、第２決定ユニットと、を備える。

いくつかの実施例において、前記ターゲット候補フレームの位置は、前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用することを含む。

いくつかの実施例において、前記第１制御モジュール９０３は、受信された前記姿勢情報に従って前記ジェスチャに対応する命令を取得し、前記命令に従って前記インテリジェント車両の運動状態を制御するように構成される、第１制御サブモジュールを備える。

いくつかの実施例において、前記装置は、さらに、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにするように構成される、第１調整モジュールを備える。

いくつかの実施例において、前記第１調整モジュールは、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定するように構成される、第１決定サブモジュールと、前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第１調整サブモジュールと、を備える。

いくつかの実施例において、前記第１調整モジュールは、前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定するように構成される、第２決定サブモジュールであって、ここで、前記ジェスチャのカテゴリおよび前記ジェスチャの方向は、前記インテリジェント車両の運動方向に一対一で対応する第２決定サブモジュールと、前記現在の運動方向およびプリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第２調整サブモジュールと、を備え、ここで、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む。

いくつかの実施例において、前記装置は、さらに、前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率を決定するように構成される、第１決定モジュールと、前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新するように構成される、第１更新モジュールと、更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整するように構成される、第２調整モジュールと、前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第３調整モジュールと、を備える。

いくつかの実施例において、前記第１更新モジュールは、前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定するように構成される、第３決定サブモジュールと、前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得するように構成される、第１更新サブモジュールと、前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得するように構成される、第２更新サブモジュールと、を備える。

いくつかの実施例において、前記装置は、さらに、収集方向を調整した後の前記カメラの事前収集画像を決定するように構成される、第２決定モジュールと、第２距離を決定するように構成される、第３決定モジュールであって、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれる、第３決定モジュールと、前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第４調整モジュールと、を備える。

上記の装置実施例の説明は、上記の方法実施例の説明と類似し、方法実施例と類似する有利な効果を有することに留意されたい。本願装置実施例で開示されていない技術的詳細は、本願方法実施例の説明を参照して理解されたい。本願実施例において、ソフトウェア機能モジュールの形で上記のインテリジェント車両の運動制御方法を実現し、独立した製品として販売または使用される場合、１つのコンピュータ可読記憶媒体に記憶されることもできることに留意されたい。このような理解に基づいて、本願実施例の技術的解決策は、本質的に、または既存の技術に貢献する部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶されて、一台の即時通信機器（端末、サーバなどであリ得る）が本願の各実施例に記載の方法の全部または一部を実行するようにするためのいくつかの命令を含む。上記した記憶媒体は、Ｕディスク、モバイルハードディスク、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶することができる様々な媒体を含む。こうして、本願実施例は、いずれかのハードウェアおよびソフトウェアの特定の組み合わせに限定されない。

それに対応して、本願実施例は、さらに、コンピュータ実行可能命令を含む、コンピュータプログラム製品を提供し、当該コンピュータ実行可能命令が実行された後、本願実施例によるインテリジェント車両の運動制御方法におけるステップを実現できる。それに対応して、本願実施例は、さらに、コンピュータ実行可能命令が記憶される、コンピュータ記憶媒体を提供し、前記コンピュータ実行可能命令がプロセッサによって実行されるとき、上記の実施例によるインテリジェント車両の運動制御方法のステップを実現する。
それに対応して、本願実施例は、コンピュータ機器を提供し、図１０は、本願実施例のコンピュータ機器の構成の例示的な構造図であり、図１０に示されたように、前記機器１０００は、１つのプロセッサ１００１、少なくとも１つの通信バス１００２、ユーザインタフェース１００３、少なくとも１つの外部通信インタフェース１００４およびメモリ１００５を備える。ここで、通信バス１００２は、これらのコンポーネント間の接続通信を実現するように構成される。ここで、ユーザインタフェース１００３は、スクリーンを備えることができ、外部通信インタフェース１００４は、標準の有線インタフェースおよび無線インタフェースを含み得る。ここで、前記プロセッサ１００１は、メモリに記憶された画像処理プログラムを実行して、上記の実施例によるインテリジェント車両の運動制御方法のステップを実現指せるように構成される。以上の即時コンピュータ機器および記憶媒体実施例の説明は、上記の方法実施例の説明と類似し、方法実施例と類似する有利な効果を有する。本願の即時通信機器および記憶媒体実施例に開示されていない技術的詳細は、本願方法実施例の説明を参照して理解されたい。

明細書の全篇に言及された「１つの実施例」または「一実施例」は、実施例と関する特定の特徴、構造または特性は、本願の少なくとも１つの実施例に含まれることを意味することを理解されたい。そのため、明細書の全様々な場所での「１つの実施例において」または「一実施例において」は、必ずしも同じ実施例を指すことは限らない。なお、これらの特定の特徴、構造または特性は、任意の適した方式で１つまたは複数の実施例に組み合わせることができる。本願の様々な実施例において、前記各プロセスの番号の大きさは実行する前後順番を意味せず、各プロセスの実行順番は、その機能と内部論理によって決定されるべきであり、本願実施例の実施プロセスに対してあらゆる制限を構成してはならないことを理解されたい。上述の本願実施例の番号は、実施例の優劣を表すものではなく、説明の便宜を図るためのものである。

本願実施例において、「備える」、「含む」またはその任意の他の変形の用語は、非排他的な含みを覆われることを意図し、それにより、一連の要素を含むプロセス、方法、アイテムまたは装置は、それらの要素を含むだけでなく、さらに、明示的に列挙されない他の要素を含み、または、これらのプロセス、方法、アイテムまたは装置の固有の要素も含むことに留意されたい。より多くの制限なしに、「１つの…を含む」という文で限定される要素は、当該要素を含むプロセス、方法、アイテムまたは装置に、別の関連要素の存在を排除しない。

本願で提供するいくつかの実施例において、開示された機器および方法は、他の方式で実現されてもよいことを理解されたい。上記で説明された機器の実施例は単なる例示的であり、例えば、前記ユニットの分割は論理的な機能の分割に過ぎない。実際の実現では、例えば、複数のユニットまたはコンポーネントを組み合わせたり、別のシステムに統合したり、一部の特徴を無視したり、実行しないなど、別の分割方法があることができる。なお、表示または議論される各構成要素間の相互結合または直接結合または通信接続は、いくつかのインタフェース、機器またはユニットを介した間接な結合または通信接続であり得、電気的、機械的または他の形態であり得る。

前記分離部材として説明されたユニットは、物理的に分離されている場合とされていない場合があり、ユニットとして表示された部材は、物理ユニットである場合もそうでない場合もあり、１箇所に構成される場合もあれば、複数のネットワークユニットに分散される場合もあり、実際のニーズに従って、その中の一部またはすべてのユニットを選択して、本願実施例の解決策の目的を実現することができる。なお、本願の各実施例における各機能ユニットは、１つの処理ユニットにすべて統合してもよいし、各ユニットを１つのユニットとして別々に使用してもよいし、２つ以上のユニットを１つのユニットに統合してもよい。上記の統合されたユニットは、ハードウェアの形態で、またはハードウェアおよびソフトウェア機能ユニットの形態で具現することができる。
当業者は、上記した方法の実施例の全てまたは一部のステップは、プログラム命令に関連するハードウェアによって完了することができ、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されることができ、前記プログラムが実行されるとき、上記の方法の実施例のステップを実行し、前記記憶媒体は、リムーバブルストレージ、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる揮発性または不揮発性媒体を含む。

または、本願の上記の統合されたユニットがソフトウェア機能モジュールの形で実現され、スタンドアロン製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に記憶されてもよい。このような理解に基づいて、本願実施例の技術的解決策は、本質的に、または既存の技術に貢献する部分は、ソフトウェア製品の形で具現されることができ、当該コンピュータソフトウェア製品は、１つの記憶媒体に記憶されて、一台のコンピュータ機器（パーソナルコンピュータ、サーバなどであリ得る）が本願の各実施例に記載の方法の全部または一部を実行するようにするためのいくつかの命令を含む。前述した記憶媒体は、リムーバブルストレージ、ＲＯＭ、磁気メモリまたは光ディスクなどのプログラムコードを記憶することができる揮発性または不揮発性媒体を含む。

上記のコンテンツは、本願の具体的な実施形態に過ぎず、本願の保護範囲はこれに限定されない。当業者は、本願に開示される技術的範囲内で容易に考えられ得る変更または置換は、すべて本願の保護範囲に含まれるべきである。したがって、本願の保護範囲は、特許請求の保護範囲を基準とするべきである。

Claims (27)

1. インテリジェント車両の運動制御方法であって、
   処理される画像を取得することと、
   前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することと、
   前記姿勢情報に従って、インテリジェント車両の運動状態を制御することと、を含む、前記インテリジェント車両の運動制御方法。
2. 前記処理される画像に対して特徴の抽出を実行する前に、前記方法は、前記処理される画像を前処理することをさらに含み、
   前記処理される画像を前処理することは、前記処理される画像のサイズを正規化処理して、プリセットのサイズを満たす正規化画像を取得することと、前記正規化画像をグレースケール画像に変換することと、前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得することと、を含む、
   請求項１に記載のインテリジェント車両の運動制御方法。
3. 前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することは、ジェスチャ認識ニューラルネットワークに基づいて前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することを含む、
   請求項１または２に記載のインテリジェント車両の運動制御方法。
4. 前記ジェスチャ認識ニューラルネットワークに基づいて前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得することは、
   前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出することと、
   前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定することと、
   前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定することと、
   前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定することと、を含む、
   請求項３に記載のインテリジェント車両の運動制御方法。
5. 前記ターゲット候補フレームの位置は、
   前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用することを含む、
   請求項４に記載のインテリジェント車両の運動制御方法。
6. 前記姿勢情報に従って、インテリジェント車両の運動状態を制御することは、受信された前記姿勢情報に従って前記ジェスチャに対応する命令を取得し、前記命令に従って前記インテリジェント車両の運動状態を制御することを含む、
   請求項１ないし５のいずれか一項に記載のインテリジェント車両の運動制御方法。
7. 前記姿勢情報に従って、インテリジェント車両の運動状態を制御する前に、前記インテリジェント車両の運動制御方法は、前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにすることをさらに含む、
   請求項１ないし６のいずれか一項に記載のインテリジェント車両の運動制御方法。
8. 前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整することは、前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定することと、
   前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、を含む、
   請求項７に記載のインテリジェント車両の運動制御方法。
9. 前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整することは、
   前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定することであって、前記ジェスチャのカテゴリおよび前記ジェスチャの方向は、前記インテリジェント車両の運動方向に一対一で対応することと、
   前記現在の運動方向およびプリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、を含み、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む、
   請求項７に記載のインテリジェント車両の運動制御方法。
10. 前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定した後、前記インテリジェント車両の運動制御方法は、
    前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズの比率を決定することと、前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新することと、更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整することと、更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、をさらに含む、
    請求項９に記載のインテリジェント車両の運動制御方法。
11. 前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新することは、前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定することと、前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得することと、前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得することと、を含む、
    請求項１０に記載のインテリジェント車両の運動制御方法。
12. 前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整した後、前記インテリジェント車両の運動制御方法は、収集方向を調整した後の前記カメラの事前収集画像を決定することと、第２距離を決定することであって、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれることと、前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにすることと、をさらに含む、
    請求項１０または１１に記載のインテリジェント車両の運動制御方法。
13. インテリジェント車両の運動制御装置であって、
    処理される画像を取得するように構成される、第１取得モジュールと、
    前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識モジュールと、
    前記姿勢情報に従って、インテリジェント車両の運動状態を制御するように構成される、第１制御モジュールと、を備える、前記インテリジェント車両の運動制御装置。
14. 前記インテリジェント車両の運動制御装置は、さらに、前記処理される画像を前処理するように構成される、第１前処理モジュールを備え、前記第１前処理モジュールは、
    前記処理される画像のサイズに対して正規化処理を実行して、プリセットのサイズを満たす正規化画像を取得するように構成される、第１処理サブモジュールと、
    前記正規化画像をグレースケール画像に変換するように構成される、第１変換サブモジュールと、
    前記グレースケール画像のピクセルを制限して、平均ピクセル値が０である正則画像を取得するように構成される、第１正則化サブモジュールと、を備える、
    請求項１３に記載のインテリジェント車両の運動制御装置。
15. 前記第１認識モジュールは、
    ジェスチャ認識ニューラルネットワークに基づいて前記処理される画像に対してジェスチャ認識を実行して、前記処理される画像内のジェスチャの姿勢情報を取得するように構成される、第１認識サブモジュールを備える、
    請求項１３または１４に記載のインテリジェント車両の運動制御装置。
16. 前記第１認識サブモジュールは、
    前記処理される画像を前記ジェスチャ認識ニューラルネットワークに入力して、ターゲット候補フレームを検出するように構成される、第１検出ユニットと、
    前記ジェスチャ認識ネットワーク内の前記ターゲット候補フレームを分類することにより、前記ターゲット候補フレーム内のジェスチャ、前記ジェスチャの方向および前記ジェスチャのカテゴリを決定するように構成される、第１分類ユニットと、
    前記ターゲット候補フレームの位置に従って前記ジェスチャの位置情報を決定するように構成される、第１決定ユニットと、
    前記ジェスチャの位置情報、前記ジェスチャの方向および前記ジェスチャのカテゴリに従って、前記処理される画像内のジェスチャの姿勢情報を決定するように構成される、第２決定ユニットと、を備える、
    請求項１５に記載のインテリジェント車両の運動制御装置。
17. 前記ターゲット候補フレームの位置は、
    前記処理される画像の中心が原点である場合、前記処理される画像における前記ターゲット候補フレームの２つの対角の座標を前記ターゲット候補フレームの位置として使用することを含む、
    請求項１６に記載のインテリジェント車両の運動制御装置。
18. 前記第１制御モジュールは、
    受信された前記姿勢情報に従って前記ジェスチャに対応する命令を取得し、前記命令に従って前記インテリジェント車両の運動状態を制御するように構成される、第１制御サブモジュールを備える、
    請求項１３ないし１７のいずれか一項に記載のインテリジェント車両の運動制御装置。
19. 前記インテリジェント車両の運動制御装置は、さらに、
    前記ターゲット候補フレームの位置および前記ジェスチャのカテゴリに従って、前記インテリジェント車両に接続されるカメラを調整して、収集された処理される画像にジェスチャが含まれるようにするように構成される、第１調整モジュールを備える、
    請求項１３ないし１８のいずれか一項に記載のインテリジェント車両の運動制御装置。
20. 前記第１調整モジュールは、
    前記ジェスチャのターゲット候補フレームの位置に従って、前記ターゲット候補フレームの中心と前記処理される画像の中心との第１距離を決定するように構成される、第１決定サブモジュールと、
    前記第１距離の負の相関値に従って、前記カメラの画像収集焦点と前記処理される画像の中心との距離を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第１調整サブモジュールと、を備える、
    請求項１９に記載のインテリジェント車両の運動制御装置。
21. 前記第１調整モジュールは、
    前記ジェスチャのカテゴリおよび前記ジェスチャの方向に従って、前記インテリジェント車両の現在の運動方向を決定するように構成される、第２決定サブモジュールであって、前記ジェスチャのカテゴリおよび前記ジェスチャの方向は、前記インテリジェント車両の運動方向に一対一で対応する第２決定サブモジュールと、
    前記現在の運動方向およびプリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第２調整サブモジュールと、を備え、前記プリセットの対応関係表は、前記現在の運動方向と前記収集方向との対応関係を含む、
    請求項１９に記載のインテリジェント車両の運動制御装置。
22. 前記インテリジェント車両の運動制御装置は、さらに、
    前記ターゲット候補フレームのサイズとプリセットの候補フレームのサイズとの比率を決定するように構成される、第１決定モジュールと、
    前記比率に従って、前記第１距離および前記現在の運動方向をそれぞれ更新するように構成される、第１更新モジュールと、
    更新された第１距離の負の相関値に従って、前記カメラの焦点と前記処理される画像の中心との距離を調整するように構成される、第２調整モジュールと、
    前記更新された現在の運動方向と前記プリセットの対応関係表に従って、前記カメラの収集方向を調整して、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第３調整モジュールと、を備える、
    請求項２１に記載のインテリジェント車両の運動制御装置。
23. 前記第１更新モジュールは、
    前記比率に従って、前記第１距離および前記現在の運動方向にそれぞれ対応する第１重み値および第２重み値を決定するように構成される、第３決定サブモジュールと、
    前記第１重み値に従って前記第１距離を更新して、更新された第１距離を取得するように構成される、第１更新サブモジュールと、
    前記第２重み値に従って前記現在の運動方向を更新して、更新された現在の運動方向を取得するように構成される、第２更新サブモジュールと、を備える、
    請求項２２に記載のインテリジェント車両の運動制御装置。
24. 前記インテリジェント車両の運動制御装置は、さらに、
    収集方向を調整した後の前記カメラの事前収集画像を決定するように構成される、第２決定モジュールと、
    第２距離を決定するように構成される、第３決定モジュールであって、前記第２距離は、前記事前収集画像内のターゲット候補フレームの中心と前記事前収集された画像の中心との距離であり、前記ターゲット候補フレームにはジェスチャが含まれる、第３決定モジュールと、
    前記第２距離に従って前記カメラの収集方向を調整して、前記ターゲット候補フレームが前記事前収集画像の中心領域に位置させ、調整後のカメラが収集した処理される画像にジェスチャが含まれるようにするように構成される、第４調整モジュールと、を備える、
    請求項２２または２３に記載のインテリジェント車両の運動制御装置。
25. コンピュータ実行可能命令が含まれる、コンピュータ記憶媒体であって、前記コンピュータ実行可能命令が実行された後、請求項１ないし１２のいずれか一項に記載の方法を実現できる、前記コンピュータ記憶媒体。
26. メモリとプロセッサとを備える、コンピュータ機器であって、前記メモリにコンピュータ実行可能命令が記憶され、前記プロセッサは、前記メモリ内のコンピュータ実行可能命令を実行するとき、請求項１ないし１２のいずれか一項に記載の方法を実現できる、前記コンピュータ機器。
27. コンピュータ実行可能命令を含む、コンピュータプログラム製品であって、当該コンピュータ実行可能命令が実行された後、請求項１ないし１２のいずれか一項に記載のインテリジェント車両の運動制御方法を実現できる、前記コンピュータプログラム製品。

Images