JP4787963B2 - 経路推定装置およびその制御方法、経路推定装置制御プログラム、ならびに該プログラムを記録した記録媒体 - Google Patents

Description

本発明は、複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する経路推定装置およびその制御方法、経路推定装置制御プログラム、ならびに該プログラムを記録した記録媒体に関するものである。具体的には、本発明は、サッカー等の球技におけるパスコースを推定する経路推定装置などに関するものである。

近時、インターネットにおける通信速度の向上やデジタル放送の開始に伴い、デジタル映像が多数配信されている。また、ＨＤＤ（Hard Disk Drive）レコーダやＤＶＤ（Digital Versatile Disk）の利用が急速に広がり、個人が大量のデジタル映像を保存することが可能になっている。このため、ユーザが大量のデジタル映像の中から見たい映像や場面を検索するシステムの開発が求められており、現在、デジタル映像のインデキシングや内容の自動要約等の技術について多くの研究および開発が行われている（例えば、非特許文献１〜４を参照。）。また、ユーザがデジタル映像を視聴する場合に、デジタル映像の内容を自動的に解析し、映像内容を分かり易く伝える技術の研究および開発も行われている（例えば、非特許文献５・６を参照。）。

特に、スポーツ映像は、多様な試合の展開やチームの戦術などが存在するために、映像内容を正確に把握することが困難な場合がある。このため、試合の内容やチームの戦術を表現する技術は重要となる。スポーツ映像における試合の展開やチームの戦術を解析し、表現するためには、各スポーツの理論や戦術に基づいた手法が必要となる。なお、以下では、スポーツ映像の中でも視聴者が多いサッカー映像について説明する。

現在、サッカー映像に対して画像処理や音声処理を行い、得点やファウルなどの重要なイベントが発生する場面を検出する手法が提案されている（例えば、非特許文献７〜９を参照。）。該手法を利用することにより、大量のサッカー映像の中から重要な場面の検索が可能となる。
長谷山美紀，「ユーザが望む映像を提供するために−画像認識とクラスタリングそして意味理解への発展−」，映情学技報，vol.29，no.47，pp.49-52，2005 牛尼剛聡、外２名，「利用者の視点に基づくシーン検索のためのイベント−アクティビティモデル」，信学論(D-I)，vol. J82-D-I，no.1，pp.256-267，Jan. 1999 新田直子，馬場口登，「放送型スポーツ映像の意味内容獲得のためのストーリー分割法」，信学論(D-II)，vol.J86-D-II，no.8，pp.1222-1233，Aug. 2003 宮森恒，「映像と音響情報の協調による内容検索のためのテニス動作自動注釈付け」，信学論(D-II)，vol.J86-D-II，no.4，pp.511-524，Apr. 2003 三須俊彦、外５名,「実時間画像処理に基づくオフサイドライン可視化システム」，信学論(D-II)，vol.J88-D-II，no.8，pp.1681-1692，Aug. 2005 稲本奈穂，斎藤英雄，「多視点スポーツ映像からの自由視点映像合成と提示」，信学論(D-II)，vol.J88-D-II，no.8，pp.1693-1701，Aug. 2005 A. Ekin、外２名，"Automatic soccer video analysis and summarization"，IEEE Trans. on Image Processing，vol.12，pp.786-807，Jul. 2003 B. Li、外２名，"A general framework for sports video summarization with its application to soccer"，IEEE Int. Conf. Acoustics，Speech and Signal Processing，vol. 3，pp.169-172，2003 R. Leonardi、外２名，"Semantic indexing of soccer audio-visual sequences: a multimodal approach based on controlled markov chains"，IEEE Trans. Circuits and Systems For Video Technology，vol. 14，no. 5，pp.634-643，May. 2004 T. Watanabe、外２名，"A soccor field tracking method with wire frame model from TV Images"，IEEE Int. Conf. Image Processing，2004 Y. Ohno、外４名，"Tracking players and estimation of the 3D position of a ball in soccer games"，Proc.15th Int. Conf. on Pattern Recognition，vol.1，pp.145-148，Sep. 2000 藤村光，杉原厚吉，「優勢領域に基づいたスポーツチームワークの定量的評価」，信学論(D-II)，vol.J87-D-II，no.3，pp.818-828，Mar. 2004 坂上勝彦，山本和彦，「動的な網のモデルActive Netとその領域抽出への応用」，テレビジョン学会誌，vol.45，No.10，pp.1155-1163，1991

しかしながら、視聴者が所望する場面は、得点やファウルの場面だけとは限らない。例えば、一方のチームが優勢である場面や、パスが連続して繋がる場面などがあり得る。従って、得点やファウルの場面以外にも、多様な場面の検索が可能な手法が必要である。

また、イベントを検出するだけでは、映像を分かり易く伝えることを実現できるとは言い難い。これを実現するためには、選手の位置関係などから試合の展開やチームの戦術を解析する必要がある。選手の位置の自動検出については、カメラの撮影領域を推定する手法や、映像内における選手の位置を検出する手法が提案されている（例えば、非特許文献１０・１１を参照。）。このため、今後はこれらの手法により得られる選手の位置を用いた、試合の展開やチームの戦術を表現する手法への発展が期待される。

また、選手の或る位置への到達時刻と、ボールの該位置への到達時刻とから、パスの成否を判定する手法が提案されている（例えば、非特許文献１２を参照。）。しかしながら、この手法では、選手およびボールの動きを予測する必要があり、かつ、選手およびボールの位置を正確に検出する必要があるため、処理に時間がかかることになる。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記自律型移動体の位置に基づいて、上記対象物を味方に送る経路を推定する経路推定装置などを提供することにある。具体的には、本発明の目的は、サッカーなどの球技において、選手の位置に基づいてパスの経路を推定する経路推定装置などを提供することにある。

本発明に係る経路推定装置は、複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する経路推定装置であって、上記課題を解決するために、
上記対象物を所有する自律型移動体である対象物所有体の位置と、該対象物所有体の味方の自律型移動体である１または複数の味方移動体の位置と、上記対象物所有体の敵方の自律型移動体である１または複数の敵方移動体の位置とを含む対象画像を取得する対象画像取得手段と、該対象画像に対して、平行性および収縮性を有する動的な網であるアクティブネット（Active Net）の初期状態を設定するアクティブネット設定手段と、上記アクティブネットと上記対象画像との適合性エネルギーを設定するエネルギー設定手段であって、上記対象物所有体および上記味方移動体の位置における適合性エネルギーが、上記敵方移動体の位置におけるエネルギーに比べて低い適合性エネルギーとなるように設定するエネルギー設定手段と、上記エネルギー設定手段が設定した適合性エネルギーと、上記アクティブネットの内部歪みエネルギーとに基づいて、上記アクティブネットを変形するアクティブネット変形手段と、変形後のアクティブネットの形状に基づいて、上記経路を推定する経路推定手段とを備えることを特徴としている。

また、本発明に係る経路推定装置の制御方法は、複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する経路推定装置の制御方法であって、上記課題を解決するために、上記対象物を所有する自律型移動体である対象物所有体の位置と、該対象物所有体の味方の自律型移動体である１または複数の味方移動体の位置と、上記対象物所有体の敵方の自律型移動体である１または複数の敵方移動体の位置とを含む対象画像を取得する対象画像取得ステップと、該対象画像に対して、平行性および収縮性を有する動的な網であるアクティブネットの初期状態を設定するアクティブネット設定ステップと、上記アクティブネットと上記対象画像との適合性エネルギーを設定するエネルギー設定ステップであって、上記対象物所有体および上記味方移動体の位置における適合性エネルギーが、上記敵方移動体の位置におけるエネルギーに比べて低い適合性エネルギーとなるように設定するエネルギー設定ステップと、上記エネルギー設定ステップにて設定された適合性エネルギーと、上記アクティブネットの内部歪みエネルギーとに基づいて、上記アクティブネットを変形するアクティブネット変形ステップと、変形後のアクティブネットの形状に基づいて、上記経路を推定する経路推定ステップとを備えることを特徴としている。

ここで、自律型移動体とは、自らの意思またはルールに従って行動する実体、または該実体によって制御される移動可能な実体をいい、例えば、人間等の動物、ロボット、動物またはロボットが制御する乗り物などが挙げられる。また、テレビゲームなどのコンピュータゲームに登場するキャラクターを動作させるプログラムを、上記自律型移動体に含むこともできる。また、上記行動の例としては、サッカー、ラグビー、ホッケー、アイスホッケー、ポロなどの球技が挙げられる。この場合、対象物は、サッカーボール、ラグビーボールなどのボールとなる。

また、アクティブネットは、平行性および収縮性を有する動的な網であり、従来、画像から対象となる領域を抽出するために利用している（例えば、非特許文献１３を参照）。これに対し、本発明では、アクティブネットは、経路を推定するために利用している。

すなわち、上記の構成および方法によると、対象画像における各自律型移動体の位置に適合性エネルギーを設定し、設定した適合性エネルギーに基づいてアクティブネットを変形する。このとき、アクティブネットに含まれる格子点は、エネルギー最小化原理に基づき、高いエネルギーから低いエネルギーへ、すなわち、敵方移動体の位置から、対象物所有体または味方移動体の位置へ移動する。

したがって、上記格子点は、敵方移動体の位置から離れ、かつ、対象物所有体または味方移動体の位置に集まる。そして、アクティブネットは平行性および収縮性を有するので、対象物所有体と味方移動体との間に敵方移動体が存在しない場合、対象物所有体と味方移動体との間の領域にも、アクティブネットを構成する格子点および格子点間を結ぶ線が集まることになる。この領域は、敵方移動体が存在しないので、対象物を味方に送る経路となる可能性が高い。

一方、対象物所有体と味方移動体との間に敵方移動体が存在する場合、対象物所有体と味方移動体との間の領域から上記格子点と格子点間を結ぶ線とが離れることになる。この領域は、敵方移動体が存在するので、対象物を味方に送る経路となる可能性が低い。

したがって、変形後のアクティブネットの形状から、アクティブネットを構成する格子点および格子点間の線の集まっている領域を、対象物を味方に送る経路と推定することができる。

以上より、本発明によると、画像認識に利用されるアクティブネットを用いて、自律型移動体の位置から、対象物を味方に送る経路を推定することができる。したがって、非特許文献１２に記載のパスの成否の判定方法と比べて、自律型移動体および対象物の動きを予測する必要が無いので、上記経路を容易に推定することができる。

本発明に係る経路推定装置では、上記対象画像取得手段は、上記対象物所有体と、上記１または複数の味方移動体と、上記１または複数の敵方移動体とを含む画像を取得する画像取得手段と、該画像取得手段が取得した画像から、各自律型移動体の位置を抽出する位置抽出手段と、該位置抽出手段が抽出した各自律型移動体の位置を含む対象画像を作成する対象画像作成手段とを備えてもよい。この場合、対象物所有体、味方移動体、および敵方移動体を含む画像から、対象物を味方に送る経路を推定することができる。具体的には、サッカー映像からパスのコースを推定することができる。

なお、画像から画像に含まれる自律型移動体の位置を抽出するには、公知の画像認識技術を利用すればよい。また、抽出される位置は、上記画像上の位置でもよいし、実際の位置でもよい。

本発明に係る経路推定装置では、上記エネルギー設定手段は、各自律型移動体の位置とその付近とを含む領域である移動体領域に上記適合性エネルギーを設定することが好ましい。この場合、高い適合性エネルギーまたは低い適合性エネルギーが設定される面積が広がることになる。上述のように、アクティブネットに含まれる格子点は、高いエネルギーから低いエネルギーへ移動するので、移動する格子点が増えることになる。したがって、移動体領域に集まるまたは離れる格子点の数も増えることになり、アクティブネットが変形し易くなり、経路を推定し易くなる。

なお、対象画像は、エネルギー設定手段が設定した適合性エネルギーを輝度で表した画像とすることもできる。この場合、対象画像を表示または印刷することにより、適合性エネルギーの分布を容易に把握することができる。また、対象画像と変形後のアクティブネットの形状とを重畳して表示または印刷することにより、適合性エネルギーの分布と、変形後のアクティブネットの形状、すなわち推定される経路との関係を容易に把握することができる。

ところで、対象物を味方に送る経路が長いほど、対象物を味方に送るまでの時間が長くなり、対象物を受け取る或いは奪い取る自律型移動体が移動可能な距離が長くなる。また、後述のように、アクティブネットの初期状態として、対象物所有体を中心とする放射状に形成する場合、対象物所有体からの距離が遠くなるほど、環状方向の格子点の間隔が広がることになり、格子点の上記移動体領域への集まりが悪化する。

そこで、本発明に係る経路推定装置では、上記エネルギー設定手段は、上記対象物所有体との距離が長いほど、上記移動体領域の寸法を大きく設定することが好ましい。これにより、自律型移動体が対象物を受け取る或いは奪い取るために移動可能な距離に即した移動体領域とすることができる。また、対象物所有体からの距離が遠くなっても、移動体領域に集まるまたは離れる格子点の数が減ることを防止でき、アクティブネットが変形し難くなることを防止できる。

なお、上記エネルギー設定手段は、上記移動体領域とその外側との境界にて適合性エネルギーの変化が緩やかになるように設定することが好ましい。これには、位置を変数とするエネルギー関数に対し、ガウシアンフィルタを適用することが考えられる。

また、上記エネルギー設定手段は、上記経路を推定する対象となる領域であって、上記移動体領域以外の領域である背景領域にも、適合性エネルギーを設定することが好ましい。この場合、上記エネルギー設定手段は、上記背景領域における適合性エネルギーが、上記対象物所有体および上記味方移動体の上記移動体領域における適合性エネルギーに比べて高く、かつ、上記敵方移動体の上記移動体領域における適合性エネルギーに比べて低い適合性エネルギーとなるように設定すればよい。

ところで、対象物は対象物所有体から送られるので、上記対象物を味方に送る経路は、対象物所有体から放射状に存在することになる。そこで、本発明に係る経路推定装置では、上記アクティブネット設定手段は、上記アクティブネットの初期状態を、上記対象物所有体の位置を中心とする放射状に形成することが好ましい。これにより、アクティブネットが適切に変形するので、上記経路を適切に推定することができる。

本発明に係る経路推定装置では、上記アクティブネット変形手段は、上記アクティブネットの有するエネルギーの総和が極小値となるように、上記アクティブネットの変形を繰り返すことが好ましい。この場合、アクティブネットを最適な状態まで変形できるので、最適な上記経路を推定することができる。

本発明に係る経路推定装置では、上記アクティブネット変形手段は、上記アクティブネットの縁部を移動させないことが好ましい。この場合、アクティブネットは、変形しても全体の大きさを同じに維持できるので、上記経路を推定する対象となる領域の全体を覆うことができる。

本発明に係る経路推定装置では、上記経路推定手段は、上記経路を推定する対象となる領域における各位置について、上記変形後のアクティブネットの形状に基づいて、上記経路になり得る可能性を評価する経路評価手段を備えることが好ましい。具体的には、上記経路評価手段は、上記経路を推定する対象となる領域における各位置について、該位置とその近傍とを含む領域に存在する、上記アクティブネットを構成する格子点および隣り合う格子点間の線の量が多いほど、上記経路になり得る可能性が高くなるように評価することが好ましい。この場合、推定される複数の経路に関して、経路となりうる可能性を比較することができる。

本発明に係る経路推定装置では、上記経路推定手段は、上記経路評価手段の評価に基づいて、上記経路を可視化する可視化手段をさらに備えることが好ましい。この場合、ユーザは、可視化された画像を参照することにより、推定される複数の経路に関して、経路となりうる可能性を認識することができる。

本発明に係る経路推定装置では、上記経路推定手段が推定した経路を他の装置に出力する経路出力手段をさらに備えることが好ましい。この場合、上記他の装置は、受け取った経路を利用して各種の処理を行うことができる。

特に、上記他の装置が上記自律型移動体である場合、上記自律型移動体は、上記経路推定装置が推定した経路に基づいて、行動を決定し、決定した行動に基づいて移動したり、移動先を決定し、決定した移動先に移動したりすることができる。例えば、対象物所有体は、上記推定した経路に対象物を送るように行動し、対象物の送り先である味方移動体は、上記推定した経路へ移動して対象物を受け取るように行動し、上記推定した経路に近い敵方移動体は、上記推定した経路へ移動して対象物を奪い取るように行動することなどが考えられる。

なお、経路出力手段の例としては、通信媒体を介して情報を送受信する通信デバイスや、着脱可能な記録媒体に情報を記録する記録デバイスなどが挙げられる。

なお、上記経路推定装置における各手段を、経路推定装置制御プログラムによりコンピュータ上で機能させることができる。さらに、上記経路推定装置制御プログラムをコンピュータ読取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で上記経路推定装置制御プログラムを実行させることができる。

本発明に係る経路推定装置は、以上のように、自律型移動体の位置を取得し、取得した位置に適合性エネルギーを設定し、設定した適合性エネルギーに基づいてアクティブネットを変形することにより、変形後のアクティブネットの形状に基づいて、対象物を味方に送る経路を推定できるという効果を奏する。

本発明の一実施形態について図１〜図８を参照して説明する。本実施形態では、本発明に係る経路推定装置を、サッカー映像を解析して、パスコースを推定するパスコース推定装置に適用している。

サッカー競技におけるパスは、チームの戦術における重要な選手行動の１つである。味方のパスが前方に繋がると得点のチャンスが広がり、敵方のパスが後方に繋がると失点のピンチが広がる。また、敵方のボール保持者に対して味方がプレッシャーをかける、いわゆる「プレッシング」戦術の場合、敵方のパスコースを的確に塞ぐことが重要となる。

従って、パスコースを推定して表示すれば、サッカーの試合内容を解析するための１つの指標が得られると共に、視聴者がパスの観点から試合内容を容易に把握することが可能となる。例えば、サッカー映像を解析して、パスコースをリアルタイムに推定し、推定したパスコースの画像を上記サッカー映像に重畳して表示すれば、視聴者は、応援しているチームがこれからチャンスになるかピンチになるかという試合内容の予想を行うことができる。

本実施形態のパスコース推定装置は、アクティブネット手法を用いて、選手の位置からパスコースを推定するものである。ここで、アクティブネット手法とは、動的な網（アクティブネット）のモデルを用い、エネルギー最小化原理に基づいて画像から対象となる領域を抽出する手法をいう。すなわち、アクティブネット手法では、まず、平行性および収縮性を有するアクティブネットを上記画像に対して設定する。次に、上記画像の特徴的な領域が低いエネルギーとなるように、アクティブネットにおけるエネルギー関数を定義する。そして、エネルギー最小化原理に基づいて、アクティブネットを変形することにより、画像の領域抽出が実現される。

本実施形態では、選手の画像上の位置（以下、単に「位置」と称する。）に対してエネルギーを設定している。具体的には、攻撃側（味方）の選手が存在する位置に低いエネルギーを設定する一方、守備側（敵方）の選手が存在する位置に対して高いエネルギーを設定している。このように設定されると、アクティブネットは、その格子点が攻撃側の選手の存在する位置に集まり、かつ守備側の選手の存在する位置から遠ざかるように変形する。

さらに、アクティブネットの平行性により、アクティブネットの格子点は、攻撃側の選手の位置だけでなく、攻撃側の選手同士の間の画像上の領域（以下、単に「領域」と称する。）にも集まる。また、攻撃側の選手同士の間に守備側の選手が存在する場合、アクティブネットの格子点が守備側の選手の存在する位置から遠ざかるので、攻撃側の選手同士の間の領域に集まる格子点の数は、守備側の選手が存在しない場合と比べて少なくなる。

従って、アクティブネットの格子点が集中する領域は、サッカーにおけるパスコースになる可能性が高いと考えられる。そこで、本実施形態では、画像内の各画素に対して、その近傍に存在する格子点および隣り合う格子点を結ぶ直線の位置からその画素がパスコースである確率を定義し、その確率に基づいてパスコースを可視化する。

次に、アクティブネット手法を利用して、選手の位置からパスコースを推定する手法の詳細について説明する。まず、アクティブネット手法の詳細について説明する。

〔アクティブネット手法〕
アクティブネット手法は、上述のように、平行性および収縮性を有するアクティブネットを画像に対して設定し、該画像の特徴的な領域が低いエネルギーとなるように、アクティブネットにおけるエネルギー関数を設定し、かつ、設定したエネルギー関数が極小状態となるようにアクティブネットの変形を繰り返すことによって、画像の領域抽出を行うものである。

図３は、アクティブネット手法で利用されるアクティブネットのモデルの一例を示している。図示のように、初期状態のアクティブネットは、平面（２次元）上に点（格子点）を周期的に配列した網目状の格子となっている。アクティブネットの各格子点は、次式の位置ベクトルｖ(p,q)で表される。
ベクトルｖ(p,q)＝（ｘ(p,q)，ｙ(p,q)） ・・・（１）。
ここで、ｐおよびｑは、アクティブネットの格子点間の関係を表現するためのパラメータであり、０≦ｐ≦１，０≦ｑ≦１である。また、ｘおよびｙは、２次元の直角座標（デカルト座標）の座標成分であり、具体的には、それぞれ画像の水平方向（ｘ方向）および垂直方向（ｙ方向）の座標成分である。

格子点（ベクトルｖ(p,q)）は、近傍に隣り合う４つの格子点（ベクトルｖ(p,q-l)、ベクトルｖ(p-k,q)、ベクトルｖ(p+k,q)、ベクトルｖ(p,q+l)）と結合することによりアクティブネットを形成している。ここで、ｋおよびｌは、それぞれ、ｋ＝１／（ｘ方向の格子点数−１）、ｌ＝１／（ｙ方向の格子点数−１）である。

このアクティブネットは、アクティブネット自身の内部歪みエネルギーＥ^＊ _{ｉｎｔｅｒｎａｌ}と、アクティブネットと画像との適合性エネルギーＥ^＊ _{ｉｍａｇｅ}とを有している。内部歪みエネルギーＥ^＊ _{ｉｎｔｅｒｎａｌ}は、アクティブネットを収縮させ形状を滑らかに保とうとする力に対応しており、適合性エネルギーＥ^＊ _{ｉｍａｇｅ}は、アクティブネットを画像内の特徴的な領域に引き付ける力に対応している。

従って、アクティブネットのエネルギー汎関数Ｅ^＊ _ｎｅｔは両者の和として次式で定義される。
Ｅ^＊ _ｎｅｔ＝Ｅ^＊ _{ｉｎｔｅｒｎａｌ}＋Ｅ^＊ _{ｉｍａｇｅ} ・・・（２）。
ただし、

である。ここで、Ｅ_{ｉｎｔｅｒｎａｌ}(ベクトルｖ(p,q))およびＥ_{ｉｍａｇｅ}(ベクトルｖ(p,q))は、格子点（ベクトルｖ(p,q)）における内部歪みエネルギーおよび適合性エネルギーをそれぞれ表している。アクティブネット手法を用いて画像から特徴的な領域を安定的に抽出するには、内部歪みエネルギーＥ^＊ _{ｉｎｔｅｒｎａｌ}と適合性エネルギーＥ^＊ _{ｉｍａｇｅ}とを適切に定義する必要がある。

まず、内部歪みエネルギーＥ^＊ _{ｉｎｔｅｒｎａｌ}の定義について説明する。内部歪みエネルギーＥ^＊ _{ｉｎｔｅｒｎａｌ}は、上述のように、アクティブネットを収縮させ、かつ形状を滑らかに保とうとするエネルギーであるため、格子点（ベクトルｖ(p,q)）における内部歪みエネルギーＥ_{ｉｎｔｅｒｎａｌ}を次式で定義する。
Ｅ_{ｉｎｔｅｒｎａｌ}(ベクトルｖ(p,q))＝｛α（｜ベクトルｖ_ｐ｜^２＋｜ベクトルｖ_ｑ｜^２）＋β（｜ベクトルｖ_ｐｐ｜^２＋｜ベクトルｖ_ｐｑ｜^２＋｜ベクトルｖ_ｑｑ｜^２）｝／２ ・・・（５）。

ここで、ベクトルｖ_ｐ・ｖ_ｑ・ｖ_ｐｐ・ｖ_ｑｑは次式の通りである。
ベクトルｖ_ｐ＝∂（ベクトルｖ）／∂ｐ＝（∂ｘ／∂ｐ，∂ｙ／∂ｐ） ・・・（６）、
ベクトルｖ_ｑ＝∂（ベクトルｖ）／∂ｑ＝（∂ｘ／∂ｑ，∂ｙ／∂ｑ） ・・・（７）、
ベクトルｖ_ｐｐ＝∂^２（ベクトルｖ）／∂ｐ^２＝（∂^２ｘ／∂ｐ^２，∂^２ｙ／∂ｐ^２） ・・・（８）、
ベクトルｖ_ｐｑ＝∂^２（ベクトルｖ）／∂ｐ∂ｑ＝（∂^２ｘ／∂ｐ∂ｑ，∂^２ｙ／∂ｐ∂ｑ） ・・・（９）、かつ、
ベクトルｖ_ｑｑ＝∂^２（ベクトルｖ）／∂ｑ^２＝（∂^２ｘ／∂ｑ^２，∂^２ｙ／∂ｑ^２） ・・・（１０）。

上記式（５）は２つの項から定義されており、第１項はアクティブネットを収縮する力を表し、第２項はアクティブネットの平行性と直線性とを保つ力を表している。また、αおよびβは、それぞれ第１項と第２項とを考慮する割合を決定する重み係数である。

次に、適合性エネルギーＥ^＊ _{ｉｍａｇｅ}の定義について説明する。アクティブネットは、適合性エネルギーＥ^＊ _{ｉｍａｇｅ}を最小化するための変形を繰り返すことで、画像内の特徴的な領域に向かって収縮する。このため、適合性エネルギーＥ^＊ _{ｉｍａｇｅ}は、目的とする対象領域の特徴に依存すべきである。従って、上記対象領域を顕著に示す適合性エネルギーＥ^＊ _{ｉｍａｇｅ}を定義することで、対象領域を抽出することが可能となる。

本実施形態では、最も簡単な例として、格子点（ベクトルｖ(p,q)）における適合性エネルギーＥ_{ｉｍａｇｅ}を次式で定義する。
Ｅ_{ｉｍａｇｅ}(ベクトルｖ(p,q))＝ωＩ(p,q) ・・・（１１）。
ここで、Ｉ(p,q)は、上記格子点（ベクトルｖ(p,q)）における画素の階調値を表す。また、ωは重み係数であり、ω＞０の場合、適合性エネルギーＥ_{ｉｍａｇｅ}は、アクティブネットを階調値の低い画素へ動かす力となる。重み係数ωを変更することにより、階調値の適合性エネルギーＥ_{ｉｍａｇｅ}への影響力を変更することができる。

以上で定義されたエネルギーを用いて、アクティブネットのエネルギーが最小となるようにアクティブネットの変形を繰り返すことで、アクティブネット手法を用いた画像内の領域抽出が実現される。

〔画像の作成〕
次に、アクティブネットが設定される対象画像の作成について説明する。本実施形態は、選手の位置からパスコースを推定するものであるので、まず、公知の画像認識技術を用いて、サッカー映像から攻撃側および守備側の選手の位置を抽出する。このとき、選手の足の部分を当該選手の位置として抽出することが好ましい。なぜなら、サッカーでは主に足でパスが行われるからである。

また、本実施形態では、アクティブネットの変形によりアクティブネットの格子点が、攻撃側の選手の位置と攻撃側の選手間の領域とに集まるようにするため、攻撃側の選手の位置に対して適合性エネルギーを低く設定し、守備側の選手の位置に対して適合性エネルギーを高く設定する必要がある。そこで、攻撃側の選手の位置に対して階調値が低く、かつ、守備側の選手の位置に対して階調値が高い画像を作成する。この画像の階調値が、適合性エネルギーに対応することになる。

また、一般に、選手は移動しながらパスを出したり受けたり阻止したりする。そこで、本実施形態では、上記画像に対し、選手の位置を中心とする円領域を設定し、設定した円領域を、上記階調値を有する領域としている。

また、一般に、パスはボール保持者から他の攻撃側の選手に対して行われる。そこで、本実施形態ではボール保持者の位置を中心とした放射状のアクティブネットを利用している。この場合、ボール保持者の位置から離れるほど格子点の間隔が広くなる。このとき、選手の位置に集まる或いは離れる格子点の数は、ボール保持者に近い選手に比べて、ボール保持者から遠い選手の方が少なくなるという問題が生じる。また、パスの距離が長くなれば、パスに費やす時間が長くなり、その分、選手が移動できる距離が長くなる。

そこで、本実施形態では、選手の位置を中心とする円領域を、ボール保持者の位置から離れるにつれて広くなるように設定している。具体的には、円領域の半径ｒを次式で設定している。
ｒ＝γＤ／δ（γｄ／δ＞１５），ｒ＝１５（γｄ／δ≦１５） ・・・（１２）。
ここで、ｒの単位は画素数である。また、γは選手が移動する距離を考慮するためのパラメータであり、Ｄはボール保持者の位置と他の選手の位置との距離である。また、δは初期状態のアクティブネットにおける格子点の間隔である。

上記式（１２）において、距離Ｄを間隔δで除算することにより、格子点の周方向の間隔が異なることによる上記問題点を解決することができる。また、パラメータγを利用することによって、選手の移動を考慮することができる。なお、階調値の設定と円領域の設定とは、何れを先に行ってもよい。

サッカー映像から作成される対象画像の一例を図４および図５（ａ）・（ｂ）を参照して説明する。図４は、サッカー映像の一例を示している。図示の例では、左側中央部に位置する、白色のユニフォームの選手ｐがボール（対象物）を保持している。従って、白色のユニフォームの選手ａが攻撃側の選手（自律型移動体、味方移動体）であり、黒色のユニフォームの選手ｄが守備側の選手（自律型移動体、敵方移動体）となる。また、図示の例では、ボール保持者（自律型移動体、対象物所有体）ｐがフィールドの中央からパスを行う様子を示している。

図５（ａ）・（ｂ）は、図４に示されるサッカー映像から作成される対象画像の一例を示している。図５（ａ）に示される対象画像は、サイズがＭ×Ｎであり、かつ背景の階調値がｆ_ｂである画像内に複数の円領域（移動体領域）Ｃ_ａ・Ｃ_ｄが形成された白黒画像である。これらの円領域Ｃ_ａ・Ｃ_ｄは、図４に示されるサッカー映像における複数の選手の位置にそれぞれ対応した位置を中心とし、上記式（１２）に従う半径を有している。攻撃側の選手に関する円領域Ｃ_ａの階調値ｆ_ａは、背景の階調値ｆ_ｂよりも低く、守備側の選手に関する円領域Ｃ_ｄの階調値ｆ_ｄは、背景の階調値ｆ_ｂよりも高い。すなわち、ｆ_ａ＜ｆ_ｂ＜ｆ_ｄである。

ところで、図５（ａ）の例のように、攻撃側の選手に関する円領域Ｃ_ａと守備側の選手に関する円領域Ｃ_ｄとが重なる場合がある。このような重なる部分では、パスが守備側の選手によってインターセプトされる可能性があるので、ボール保持者ｐがパスを行う可能性が低いと考えられる。そこで、本実施形態では、異なる階調値の円領域Ｃ_ａ・Ｃ_ｄが重なる場合、上記重なる部分の階調値は、高い方の階調値、すなわち守備側の選手に関する階調値ｆ_ｄとしている。

また、図４に示されるサッカー映像から途切れている選手に関しては、該選手の正確な位置を特定できない場合が多いため、位置の抽出および円領域の設定を省略している。

図５（ｂ）に示される対象画像は、図５（ａ）に示される対象画像に対し、ガウシアンフィルタを適用したものである。この場合、図示のように、円領域Ｃ_ａ・Ｃ_ｄの境界において階調値が緩やかに変化することになり、すなわち適合性エネルギーが緩やかに変化することになる。これにより、アクティブネットを円滑に変形することができる。以下では、図５（ｂ）に示される画像を対象画像として利用する。

なお、円領域Ｃ_ａ・Ｃ_ｄは、サッカー映像の撮影方向に基づいて変形してもよい。例えば、図４に示されるサッカー映像は、フィールドの真上からではなく、フィールドの横から撮影したものである。したがって、図５（ａ）・（ｂ）に示される円領域Ｃ_ａ・Ｃ_ｄを横（水平）方向に長い楕円領域としてもよい。このように、撮影方向に基づいて円領域Ｃ_ａ・Ｃ_ｄを変形してもよい。

また、選手が単位時間当りに移動可能な範囲は、選手の向き、移動方向、および移動速度などに依存する。例えば、或る選手が或る方向を向いている場合、その反対方向に移動するには、後退するか、反転して前進することになるが、後退する速度は前進する速度に比べて遅いし、反転するには時間がかかる。また、或る選手が或る方向を移動している場合、その反対方向に移動するには、一旦停止する必要があるが、停止するまでに時間がかかり、移動速度が大きいほど時間がかかることになる。

そこで、円領域Ｃ_ａ・Ｃ_ｄは、選手の向き、移動方向、および移動速度に基づいて変形してもよい。なお、選手の向きの情報を取得するには、公知の画像認識技術を利用して、ユニフォームの前面または背面や、選手の顔を抽出することにより実現できる。また、選手の移動方向や移動速度の情報を取得するには、動画像のサッカー映像を利用して、過去の映像と現在の映像とを比較する処理を行うことにより実現できる。

〔アクティブネットの変形〕
次に、アクティブネットの設定と変形とについて説明する。図６は、図５（ｂ）に示される対象画像に、アクティブネットを設定した状態を示している。図示のように、本実施形態で利用されるアクティブネットＡＮは、初期状態では、ボール保持者の位置ｐ_０を中心とした放射状の網である。このようなアクティブネットＡＮは、格子点がボール保持者の位置ｐ_０を中心として放射状に配置されるように、適切なパラメータｐ・ｑを決定するという、単純な拡張で得られる。

本実施形態では、アクティブネットＡＮは、パスコースを推定するために利用されるので、初期状態および変形後の状態においてアクティブネットＡＮで覆われていない対象画像の領域が存在することは好ましくない。換言すると、アクティブネットＡＮは、対象画像（または対象画像のフィールド部分）の全体を常に覆うように設定されることが好ましい。

そこで、図６に示される初期状態のアクティブネットＡＮにおいて、放射方向（径方向）の格子点数がＭ_ａであり、かつ環状方向（周方向）の格子点数がＮ_ａであるとすると、放射方向の格子点の間隔δは、画像における４つの角部のそれぞれと、ボール保持者の位置ｐ_０との距離のうちの最長値Ｄ_ｍａｘを用いて次式で算出される値としている。
δ＝Ｄ_ｍａｘ／Ｍ_ａ ・・・（１３）。

また、初期状態のアクティブネットＡＮにおいて、最も外側の格子点を固定している。これにより、アクティブネットＡＮは、変形しても全体の大きさを同じに維持できるので、対象画像の全体を覆うことができる。なお、対象画像内に存在しない格子点の適合性エネルギーＥ_{ｉｍａｇｅ}は、対象画像の背景の階調値ｆ_ｂに対応する適合性エネルギーＥ_{ｉｍａｇｅ}とすればよい。

次に、アクティブネットＡＮは、図６に示される対象画像に対し上記式（１１）を適用することにより、各画素に適合性エネルギーＥ_{ｉｍａｇｅ}が設定され、設定された適合性エネルギーＥ_{ｉｍａｇｅ}と上述の内部歪みエネルギーＥ_{ｉｎｔｅｒｎａｌ}とを利用して、アクティブネットＡＮのエネルギーが最小となるように変形が繰り返される。

図７は、図６に示される対象画像に基づいて変形が繰り返された後のアクティブネットＡＮを示している。図７を参照すると、格子点と格子点間を結ぶ線とは、攻撃側の選手に関する円領域Ｃ_ａと該円領域Ｃ_ａ同士の間とに集まることが理解できる。

〔パスコースの可視化〕
次に、パスコースの可視化について説明する。図７に示されるような、変形後のアクティブネットＡＮにおいて格子点と格子点間を結ぶ線とが多い領域が、守備側の選手による影響が少ない領域と考えられ、パスコースとなる可能性が高いと考えられる。

そこで、本実施形態では、対象画像の各画素に関して、該画素とその近傍の画素とを含む領域のうち、格子点または格子点間の線が存在する画素の数を求め、該画素の数に基づいてパスコースの確率を求めている。具体的には、パスコースの確率ｐ(i,j)を次式で定義している。

ここで、Ｗは、上記近傍の画素の数を表すパラメータである。また、Ｆ(i,j)は、画素（ｉ，ｊ）に格子点または格子点間の線が存在する場合に１となり、それ以外は０となる関数である。すなわち、上記式（１４）は、画素（ｉ，ｊ）を中心としたＷ×Ｗ画素の正方領域に存在する格子点および格子点間の線の量を表している。

上記式（１４）によってパスコースの確率ｐ(i,j)を画素ごとに算出し、算出した確率ｐ(i,j)を階調値に変換することにより、パスコースを可視化した可視化画像を作成することができる。

図８は、図７に示されるアクティブネットＡＮに対して作成された可視化画像を示している。図示の場合では、階調値の低い（濃い）領域が、階調値の高い（淡い）領域に比べてパスコースの確率が高くなっている。なお、本実施形態のパスコース推定装置は、ボール保持者ｐからのパスコースを推定するものであるから、ボール保持者ｐから他の攻撃側の選手ａへの太線のみがパスコースの対象となり、その他の太線はパスコースの対象から除外される。

以上のように、本実施形態によると、アクティブネット手法を利用して、選手の位置からパスコースを可視化することができる。

したがって、非特許文献１２に記載のパスの成否の判定方法と比べて、選手およびボールの動きを予測する必要が無いので、パスコースを容易に推定することができる。また、本実施形態では、取得した選手の位置が実際の位置からずれていても、変形後のアクティブネットの形状はさほど変わらない。したがって、選手の位置を正確に取得する必要がなく、大まかに取得すればよいので、パスコースを迅速に推定することができる。

〔パスコース推定装置の具体的な構成および処理〕
次に、本実施形態のパスコース推定装置の具体的な構成および処理について図１および図２を参照して説明する。図２は、本実施形態のパスコース推定装置（経路推定装置）１０の概略構成を示している。パスコース推定装置１０は、サッカー映像を解析して、パスコースを推定し、推定したパスコースの画像を出力するものである。図示のように、パスコース推定装置１０は、入力部１１、制御部１２、および表示部１３を備える構成である。

入力部１１は、サッカー映像の入力を受け付けるものである。入力されたサッカー映像情報は、制御部１２に送信される。なお、本実施形態では、サッカー映像として静止画像を利用しているが、動画像を利用してもよい。また、入力部１１は、画像の入力を受け付ける任意のデバイスを利用できる。このようなデバイスの例としては、印刷された画像を読取るスキャナデバイス、無線または有線の伝送媒体を介して画像の信号を受信する受信デバイス、外部または自装置内の記録媒体に記録された画像のデータを再生する再生デバイスなどが挙げられる。

制御部１２は、パスコース推定装置１０内の各種構成を統括的に制御するものである。制御部１２の機能は、例えばＲＡＭ（Random Access Memory）などの記憶素子に記憶されたプログラムをＣＰＵ（Central Processing Unit）が実行することによって実現される。なお、制御部１２の詳細については後述する。

表示部１３は、制御部１２からの指示に基づいて情報を表示するものである。具体的には、表示部１３は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスを備える構成である。なお、表示部１３の代わりに、印刷出力デバイス、記録デバイス、送信デバイスなどを用いて、外部に情報を出力しても良い。

制御部１２は、画像取得部（画像取得手段）２１、位置情報取得部（位置抽出手段）２２、アクティブネット初期設定部（アクティブネット設定手段）２３、対象画像作成部（対象画像作成手段、エネルギー設定手段）２４、アクティブネット変形部（アクティブネット変形手段）２５、パスコース可視化部（経路推定手段、経路評価手段、可視化手段）２６、および表示制御部２７を備える構成である。

画像取得部２１は、入力部１１を介してサッカー映像を取得するものである。画像取得部２１は、取得したサッカー映像を位置情報取得部２２に送信する。

位置情報取得部２２は、画像取得部２１から受信したサッカー映像に対し、公知の画像認識技術を用いて、ボール保持者ｐ、攻撃側の選手ａ、および守備側の選手ｄの位置を抽出することにより、該選手ｐ・ａ・ｄの位置情報を取得する。位置情報取得部２２は、取得した選手ｐ・ａ・ｄの位置情報を対象画像作成部２４およびアクティブネット初期設定部２３に送信する。

アクティブネット初期設定部２４は、位置情報取得部２２から受信したボール保持者ｐの位置情報に基づいて、ボール保持者ｐの位置を中心とする放射状のアクティブネットＡＮを、初期状態のアクティブネットＡＮとして設定するものである。アクティブネット初期設定部２４は、設定された初期状態のアクティブネットＡＮをアクティブネット変形部２５に送信する。

また、アクティブネット初期設定部２４は、上記式（１３）を用いて、ボール保持者ｐの位置情報からアクティブネットＡＮにおける格子点の間隔δを算出する。アクティブネット初期設定部２４は、算出した格子点の間隔δを対象画像作成部２４に送信する。

対象画像作成部２４は、位置情報取得部２２から受信した選手ｐ・ａ・ｄの位置情報と、アクティブネット初期設定部２４から受信した格子点の間隔δとに基づいて、上述のように、対象画像を作成するものである。対象画像作成部２４は、作成した対象画像をアクティブネット変形部２５に送信する。

アクティブネット変形部２５は、アクティブネット初期設定部２４から受信した初期状態のアクティブネットＡＮを、対象画像作成部２３から受信した対象画像に設定して変形するものである。具体的には、アクティブネット変形部２５は、上記対象画像の階調値から上記式（１１）によって算出される適合性エネルギーＥ_{ｉｍａｇｅ}と、アクティブネットＡＮ自身の内部歪みエネルギーＥ_{ｉｎｔｅｒｎａｌ}とに基づいて、アクティブネットＡＮのエネルギー汎関数Ｅ^＊ _ｎｅｔが最小となるように、アクティブネットＡＮの変形を繰り返すものである。アクティブネット変形部２５は、変形後のアクティブネットＡＮをパスコース可視化部２６に送信する。

パスコース可視化部２６は、アクティブネット変形部２５から受信した変形後のアクティブネットＡＮからパスコースを可視化するものである。具体的には、パスコース可視化部２６は、変形後のアクティブネットＡＮに対し上記式（１４）を適用することによって各画素のパスコースの確率ｐ(i,j)を算出し、算出した確率ｐ(i,j)を階調値に変換することにより、パスコースを可視化した可視化画像を作成するものである。パスコース可視化部２６は、作成した可視化画像を表示制御部２７に送信する。

表示制御部２７は、パスコース可視化部２６から受信した可視化画像を表示するように表示部１３を制御するものである。

図１は、上記構成のパスコース推定装置１０におけるパスコースの推定処理の流れを示している。図示のように、まず、画像取得部２１は、入力部１１を介してサッカー映像を取得する（ステップＳ１１。以下、単に「Ｓ１１」と記載することがある。他のステップについても同様である。）
次に、位置情報取得部２２は、画像取得部２１が取得したサッカー映像からボール保持者ｐ、攻撃側の選手ａ、および守備側の選手ｄの位置を抽出して、選手ｐ・ａ・ｄの位置情報を取得する（Ｓ１２）。次に、アクティブネット初期設定部２４は、位置情報取得部２２が取得したボール保持者ｐの位置を中心に、初期状態のアクティブネットＡＮを設定する（Ｓ１３）。また、アクティブネット初期設定部２４は、上記式（１３）を用いて、ボール保持者ｐの位置情報からアクティブネットＡＮにおける格子点の間隔δを算出する。

次に、対象画像作成部２３は、位置情報取得部２２が取得した選手ｐ・ａ・ｄの位置情報と、アクティブネット初期設定部２４が算出した格子点の間隔δとに基づいて、対象画像を作成する（Ｓ１４）。次に、アクティブネット変形部２５は、アクティブネット初期設定部２４が設定した初期状態のアクティブネットＡＮを、対象画像作成部２３が作成した対象画像に設定して変形する（Ｓ１５）。

次に、パスコース可視化部２６は、アクティブネット変形部２５が変形したアクティブネットＡＮの形状から、パスコースの可視化画像を作成する（Ｓ１６）。そして、表示制御部２７は、パスコース可視化部２６が作成した可視化画像を表示部１３に表示させる（Ｓ１７）。その後、上記パスコースの推定処理を終了する。

本実施形態によるパスコース推定の有効性を確認するため、本実施形態のパスコース推定装置１０に種々の場面のサッカー映像を入力してみた。なお、本実施例では、対象画像のサイズを３２０ドット×２４０ドットとし、階調値ｆ_ａ・ｆ_ｂ・ｆ_ｄをそれぞれ０，１２８，２５５とし、アクティブネットＡＮの格子点数Ｍ_ａ・Ｎ_ａをそれぞれ３０，７２とした。また、パラメータα・β・ω・γ・Ｗを、それぞれ１．０，１．０，５．０，１．５，３０とした。

図９〜図１２は、本実施例に関する画像を示している。図９〜図１２において、分図（ａ）は、利用するサッカー映像を示しており、分図（ｂ）は、対象画像と変形後のアクティブネットＡＮとを示しており、分図（ｃ）は、パスコースの可視化画像を示している。なお、なお、上記実施形態で説明した構成と同様の構成には同一の符号を付して、その説明を省略する。

図９〜図１２を参照すると、ボール保持者ｐと攻撃側の選手ａとの間に守備側の選手ｄが存在しない場合、ボール保持者ｐと攻撃側の選手ａとの間の領域にパスコースが表示されることが理解できる。一方、守備側の選手ｄがボール保持者ｐと攻撃側の選手ａとの間に存在する場合、有効なパスコースの表示が存在しないか、或いは守備側の選手ｄが存在しない場合に比べて低い輝度値で表示されていることが理解できる。これは、パスコースになる確率が低いことを意味する。

なお、図９〜図１２に関して、分図（ａ）に示されるサッカー映像では、ボール保持者ｐは、分図（ｃ）に示される可視化画像上にて高い輝度値で表示されているパスコースの中の１つに対してパスを行っていた。したがって、本発明の手法がボール保持者ｐからのパスコースを正しく表示していることが確認できた。

なお、図１０（ａ）・１１（ａ）・１２（ａ）に示されるように、サッカー映像には、選手ａ・ｄ以外に主審ｒ、線審、観客などの人間が含まれる場合がある。このような場合でも、サッカー映像から人間の画像を抽出するときに、該抽出する画像を、フィールド内に限定したり、ユニフォームの色で限定したりすることにより、選手以外の人間の画像を除外することができる。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

例えば、図５（ｂ）に示される対象画像は、円領域Ｃ_ａ・Ｃ_ｄの境界において階調値（適合性エネルギー）が緩やかに変化させているが、円領域Ｃ_ａ・Ｃ_ｄの中心からの距離に応じて階調値を変化させてもよい。すなわち、攻撃側の選手に関する円領域Ｃ_ａに格子点が近づくとき、または守備側の選手に関する円領域Ｃ_ｄから格子点が離れるときに適合性エネルギーが小さくなるように、対象画像の階調値を設定すればよい。

また、上記実施形態では、選手の画像上の位置に対して２次元のアクティブネットを設定することにより、画像上のパスコースを可視化しているが、選手の実際の位置に対して２次元のアクティブネットを設定することにより、実際のフィールドでのパスコースを可視化してもよい。この場合、サッカー映像の撮影角度などによる影響を受けることなく、パスコースを推定することができる。

さらに、選手の実際の位置に対して、３次元のアクティブネットを設定することにより、実際のフィールド上の立体的なパスコースを可視化してもよい。この場合、上述のような平面上のパスの他に、守備側の選手の頭上を越えるパスやロングパスのコースを推定することができる。なお、３次元のアクティブネットは、２次元のアクティブネットの簡単な拡張により実現できる。

また、上記実施形態では、サッカー映像から選手を抽出して、選手の位置情報を取得しているが、サッカーのコンピュータゲームから選手の位置情報を直接受信してもよいし、ユーザが入力部１１を介して選手の位置情報を直接入力してもよい。この場合、画像取得部２１がサッカー映像を取得する必要がなくなる。

また、上記実施形態では、対象画像は、適合性エネルギーを輝度で表した画像としている。しかしながら、対象画像は、適合性エネルギーを求めることができる画像であればよいから、少なくともサッカー選手の位置を含む画像であればよい。

なお、適合性エネルギーを輝度で表した画像を対象画像として利用する場合、ユーザは、表示または印刷された対象画像を参照することにより、適合性エネルギーの分布を容易に把握することができる。また、ユーザは、対象画像と変形後のアクティブネットの形状とを重畳して表示または印刷された画像を参照することにより、適合性エネルギーの分布と、変形後のアクティブネットの形状、すなわち推定されるパスコースとの関係を容易に把握することができる。

また、上記実施形態では、パスコース可視化部２６にてパスコースを可視化した可視化画像が作成され、作成された可視化画像が、表示制御部２７の制御により表示部１３に表示されている。これに対し、変形後のアクティブネットＡＮから推定されたパスコースを他の装置に出力するパスコース出力部（経路出力手段）を設けても良い。この場合、上記他の装置は、推定されたパスコースを利用して各種の処理を行うことができる。

具体的には、パスコース出力部は、変形後のアクティブネットＡＮに対し上記式（１４）を適用することによって各画素のパスコースの確率ｐ(i,j)を算出し、算出した確率ｐ(i,j)を他の装置に出力すればよい。或いは、パスコース出力部は、上記算出した各画素の確率ｐ(i,j)からパスコースを推定し、推定したパスコースの位置情報を他の装置に出力してもよい。

特に、上述のサッカーが複数のロボット同士で行われるものであり、かつ上記他の装置が上記ロボットである場合、上記ロボットは、パスコース推定装置１０が推定したパスコースに基づいて、行動を決定し、決定した行動に基づいて移動したり、移動先を決定し、決定した移動先に移動したりすることができる。例えば、ボールを保持するロボットは、上記推定したパスコースにボールを送るように行動し、ボールの受け手である攻撃側のロボットは、上記推定したパスコースへ移動してボールを受け取るように行動し、上記推定したパスコースに近い守備側のロボットであれば、上記推定したパスコースへ移動してボールを奪い取るように行動することなどが考えられる。

なお、パスコース出力部がパスコースを出力するためのデバイスの例としては、無線または有線により、情報を送受信する通信デバイスや、メモリカードなどの着脱可能な記録媒体に情報を記録する記録デバイスなどが挙げられる。

また、上記ロボットは、パスコース推定装置１０を内蔵してもよい。この場合、各ロボットの位置情報を、通信デバイスを介して取得し、取得した位置情報に基づいて対象画像を作成することが考えられる。なお、パスコース推定装置１０を内蔵するロボットは、上記複数のロボットの何れか１つであってもよいし、上記攻撃側のロボットの何れか１つと、上記守備側のロボットの何れか１つとであってもよいし、全てのロボットであってもよい。

また、上記実施形態では、本発明をサッカーに適用しているが、ラグビー、ホッケー、アイスホッケー、ポロなどのその他の競技にも適用可能である。また、現実の競技だけでなく、コンピュータゲームなどによる仮想的な競技にも本発明を適用可能である。また、人間以外の動物やロボットが行う競技にも本発明を適用可能である。このように、本発明は、複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する任意の経路推定装置に適用可能である。

最後に、パスコース推定装置１０の各ブロック、特に制御部１２は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、パスコース推定装置１０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるパスコース推定装置１０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記パスコース推定装置１０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、パスコース推定装置１０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明に係る経路推定装置は、サッカーにおけるパスコースを推定する以外にも、ラグビー、ホッケーなど、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する任意の経路推定装置に適用可能である。

本発明の一実施形態であるパスコース推定装置における処理動作を示すフローチャートである。 上記パスコース推定装置の概略構成を示すブロック図である。 アクティブネット手法で利用されるアクティブネットのモデルの一例を示す図である。 サッカー映像の一例を示す図である。 上記サッカー映像から作成される対象画像の一例を示す図であり、同図（ｂ）は、同図（ａ）に示される対象画像に対しガウシアンフィルタを適用したものである。 上記対象画像にアクティブネットを設定した状態を示す図である。 上記対象画像に基づいて変形が繰り返された後のアクティブネットを示す図である。 上記変形後のアクティブネットに対して作成された可視化画像を示す図である。 同図（ａ）は、上記サッカー映像の別の例を示す図であり、同図（ｂ）は、該サッカー映像に基づく対象画像と、該対象画像に基づく変形後のアクティブネットとを示す図であり、同図（ｃ）は、該変形後のアクティブネットに基づく可視化画像を示す図である。 同図（ａ）は、上記サッカー映像のさらに別の例を示す図であり、同図（ｂ）は、該サッカー映像に基づく対象画像と、該対象画像に基づく変形後のアクティブネットとを示す図であり、同図（ｃ）は、該変形後のアクティブネットに基づく可視化画像を示す図である。 同図（ａ）は、上記サッカー映像のさらに別の例を示す図であり、同図（ｂ）は、該サッカー映像に基づく対象画像と、該対象画像に基づく変形後のアクティブネットとを示す図であり、同図（ｃ）は、該変形後のアクティブネットに基づく可視化画像を示す図である。 同図（ａ）は、上記サッカー映像の他の例を示す図であり、同図（ｂ）は、該サッカー映像に基づく対象画像と、該対象画像に基づく変形後のアクティブネットとを示す図であり、同図（ｃ）は、該変形後のアクティブネットに基づく可視化画像を示す図である。

符号の説明

１０ パスコース推定装置（経路推定装置）
２１ 画像取得部（画像取得手段）
２２ 位置情報取得部（位置抽出手段）
２３ アクティブネット初期設定部（アクティブネット設定手段）
２４ 対象画像作成部（対象画像作成手段、エネルギー設定手段）
２５ アクティブネット変形部（アクティブネット変形手段）
２６ パスコース可視化部（経路推定手段、経路評価手段、可視化手段）
ＡＮ アクティブネット
ａ 攻撃側の選手（自律型移動体、味方移動体）
ｄ 守備側の選手（自律型移動体、敵方移動体）
ｐ ボール保持者（自律型移動体、対象物所有体）
Ｃ_ａ 攻撃側の選手に関する円領域（移動体領域）
Ｃ_ｄ 守備側の選手に関する円領域（移動体領域）

Claims (16)

1. 複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する経路推定装置であって、
   上記対象物を所有する自律型移動体である対象物所有体の位置と、該対象物所有体の味方の自律型移動体である１または複数の味方移動体の位置と、上記対象物所有体の敵方の自律型移動体である１または複数の敵方移動体の位置とを含む対象画像を取得する対象画像取得手段と、
   該対象画像に対して、平行性および収縮性を有する動的な網であるアクティブネットの初期状態を設定するアクティブネット設定手段と、
   上記アクティブネットと上記対象画像との適合性エネルギーを設定するエネルギー設定手段であって、上記対象物所有体および上記味方移動体の位置における適合性エネルギーが、上記敵方移動体の位置におけるエネルギーに比べて低い適合性エネルギーとなるように設定するエネルギー設定手段と、
   上記エネルギー設定手段が設定した適合性エネルギーと、上記アクティブネットの内部歪みエネルギーとに基づいて、上記アクティブネットを変形するアクティブネット変形手段と、
   変形後のアクティブネットの形状に基づいて、上記経路を推定する経路推定手段とを備えることを特徴とする経路推定装置。
2. 上記対象画像取得手段は、
   上記対象物所有体と、上記１または複数の味方移動体と、上記１または複数の敵方移動体とを含む画像を取得する画像取得手段と、
   該画像取得手段が取得した画像から、各自律型移動体の位置を抽出する位置抽出手段と、
   該位置抽出手段が抽出した各自律型移動体の位置を含む対象画像を作成する対象画像作成手段とを備えることを特徴とする請求項１に記載の経路推定装置。
3. 上記エネルギー設定手段は、各自律型移動体の位置とその付近とを含む領域である移動体領域に上記適合性エネルギーを設定することを特徴とする請求項１に記載の経路推定装置。
4. 上記エネルギー設定手段は、上記対象物所有体との距離が長いほど、上記移動体領域の寸法を大きく設定することを特徴とする請求項３に記載の経路推定装置。
5. 上記エネルギー設定手段は、上記移動体領域とその外側との境界にて適合性エネルギーの変化が緩やかになるように設定することを特徴とする請求項３に記載の経路推定装置。
6. 上記エネルギー設定手段は、上記経路を推定する対象となる領域であって、上記移動体領域以外の領域である背景領域における適合性エネルギーが、上記対象物所有体および上記味方移動体の上記移動体領域における適合性エネルギーに比べて高く、かつ、上記敵方移動体の上記移動体領域における適合性エネルギーに比べて低い適合性エネルギーとなるように設定することを特徴とする請求項３に記載の経路推定装置。
7. 上記アクティブネット設定手段は、上記アクティブネットの初期状態を、上記対象物所有体の位置を中心とする放射状に形成することを特徴とする請求項１に記載の経路推定装置。
8. 上記アクティブネット変形手段は、上記アクティブネットの有するエネルギーの総和が極小値となるように、上記アクティブネットの変形を繰り返すことを特徴とする請求項１に記載の経路推定装置。
9. 上記アクティブネット変形手段は、上記アクティブネットの縁部を移動させないことを特徴とする請求項１に記載の経路推定装置。
10. 上記経路推定手段は、上記経路を推定する対象となる領域における各位置について、上記変形後のアクティブネットの形状に基づいて、上記経路になり得る可能性を評価する経路評価手段を備えることを特徴とする請求項１に記載の経路推定装置。
11. 上記経路評価手段は、上記経路を推定する対象となる領域における各位置について、該位置とその近傍とを含む領域に存在する、上記アクティブネットを構成する格子点および隣り合う格子点間の線の量が多いほど、上記経路になり得る可能性が高くなるように評価することを特徴とする請求項１０に記載の経路推定装置。
12. 上記経路推定手段は、上記経路評価手段の評価に基づいて、上記経路を可視化する可視化手段をさらに備えることを特徴とする請求項１０に記載の経路推定装置。
13. 上記経路推定手段が推定した経路を他の装置に出力する経路出力手段をさらに備えることを特徴とする請求項１に記載の経路推定装置。
14. 請求項１ないし１３の何れか１項に記載の経路推定装置を動作させるための経路推定装置制御プログラムであって、コンピュータを上記の各手段として機能させるための経路推定装置制御プログラム。
15. 請求項１４に記載の経路推定装置制御プログラムが記録されたコンピュータ読取り可能な記録媒体。
16. 複数の自律型移動体が、味方および敵方に分かれて、或る対象物を奪い合う行動に関して、上記対象物を味方に送る経路を推定する経路推定装置の制御方法であって、
    上記対象物を所有する自律型移動体である対象物所有体の位置と、該対象物所有体の味方の自律型移動体である１または複数の味方移動体の位置と、上記対象物所有体の敵方の自律型移動体である１または複数の敵方移動体の位置とを含む対象画像を取得する対象画像取得ステップと、
    該対象画像に対して、平行性および収縮性を有する動的な網であるアクティブネットの初期状態を設定するアクティブネット設定ステップと、
    上記アクティブネットと上記対象画像との適合性エネルギーを設定するエネルギー設定ステップであって、上記対象物所有体および上記味方移動体の位置における適合性エネルギーが、上記敵方移動体の位置におけるエネルギーに比べて低い適合性エネルギーとなるように設定するエネルギー設定ステップと、
    上記エネルギー設定ステップにて設定された適合性エネルギーと、上記アクティブネットの内部歪みエネルギーとに基づいて、上記アクティブネットを変形するアクティブネット変形ステップと、
    変形後のアクティブネットの形状に基づいて、上記経路を推定する経路推定ステップとを備えることを特徴とする経路推定装置の制御方法。