JP7302477B2 - 情報処理装置、情報処理方法および情報処理プログラム - Google Patents

Description

本技術は、情報処理装置、情報処理方法および情報処理プログラムに関する。

従来技術において、カメラ映像から、対象物の位置、移動方向、動作に関する情報を抽出し、その情報に基づいて複数の映像を切り替える手法が提案されている。さらに、ユーザによる入力によるパンチルト操作に基づいて、映像を遷移させる手法も提案させている。

特開２０１３－１７０７１号公報

しかし、特許文献１における方法では、映像を遷移させるためにはパンチルト操作が必要であり、映像内の被写体に基づいて自動制御されるものではない。また、導入のためにはパンチルト動作のための機構、制御など必要となり、導入が容易ではないなどの問題がある。

本技術はこのような問題点に鑑みなされたものであり、映像中における複数の領域を、その映像の中の状態に応じて切り替えて表示させることができる情報処理装置、情報処理方法および情報処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、撮像領域において複数の注視領域を設定し、複数の注視領域のそれぞれに対応する検出領域を注視領域単位で設定し、撮像領域に存在する対象物が複数の検出領域のうちの２以上の検出領域に存在している場合、対象物が存在する２以上の検出領域に対応した２以上の注視領域を連結して連結注視領域を作成し、連結注視領域を表示する領域とする情報処理装置である。

また、第２の技術は、撮像領域において複数の注視領域を設定し、複数の注視領域のそれぞれに対応する検出領域を注視領域単位で設定し、撮像領域に存在する対象物が複数の検出領域のうちの２以上の検出領域に存在している場合、対象物が存在する２以上の検出領域に対応した２以上の注視領域を連結して連結注視領域を作成し、連結注視領域を表示する領域とする情報処理方法である。

さらに、第３の技術は、撮像領域において複数の注視領域を設定し、複数の注視領域のそれぞれに対応する検出領域を注視領域単位で設定し、撮像領域に存在する対象物が複数の検出領域のうちの２以上の検出領域に存在している場合、対象物が存在する２以上の検出領域に対応した２以上の注視領域を連結して連結注視領域を作成し、連結注視領域を表示する領域とする情報処理方法をコンピュータに実行させる情報処理プログラムである。

本技術によれば、映像中における複数の領域を、その映像の中の状態に応じて切り替えて表示させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

映像表示システムの構成を示す図である。 第１の実施の形態に係る情報処理装置の構成を示すブロック図である。 特徴量の割合算出の説明図である。 特徴量の割合算出の説明図である。 合成処理の説明図である。 合成処理の説明図である。 特徴量の割合算出の説明図である。 情報処理装置による処理の流れを示すフローチャートである。 注視領域と検出領域の設定の他の例を示す図である。 第２の実施の形態に係る情報処理装置の構成を示すブロック図である。 第２の実施の形態における映像表示システムの利用状態を示す図である。 注視領域の連結の説明図である。 注視領域の連結の説明図である。 第３の実施の形態に係る情報処理装置の構成を示すブロック図である。 第３の実施の形態における映像表示システムの利用状態を示す図である。 射影変換の説明図である。 ユーザインターフェースの例を示す図である。 情報処理装置の第１の利用態様を示す図である。 情報処理装置の第２の利用態様を示す図である。 表示映像の遷移を示す図である。 変形例に係る情報処理装置の構成を示すブロック図である。 変形例に係るアイコンを示す図である。 変形例に係る映像表示システムの構成を示すブロック図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 本技術を車両に適用した第１の例の説明図である。 本技術を車両に適用した第２の例の説明図である。 本技術を車両に適用した第３の例の説明図である。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．映像表示システムの構成］
［１－２．情報処理装置の構成］
［１－３．情報処理装置による処理］
＜２．第２の実施の形態＞
＜３．第３の実施の形態＞
＜４．ユーザインターフェースの例＞
＜５．本技術の利用態様の具体例＞
［５－１．第１の利用態様］
［５－２．第２の利用態様］
＜６．変形例＞
＜７．応用例＞

＜１．第１の実施の形態＞
［１－１．映像表示システムの構成］
本技術に係る情報処理装置１００を含む映像表示システム１０は、撮像装置２０、情報処理装置１００および表示装置３０とから構成されている。撮像装置２０、情報処理装置１００および表示装置３０は例えば、ＬＡＮ（Local Area Network）ケーブル、ＵＳＢ（Universal Serial Bus）ケーブルなどで接続されている。なお、有線に限らずWi-Fi、無線ＬＡＮなどの無線通信で接続されていてもよい。

映像表示システム１０は、１台の撮像装置２０により撮像されて情報処理装置１００に入力される映像（以下、入力映像と称する。）に対象物の位置や動作などに応じて情報処理装置１００が処理を施して、入力映像中の所定の領域を表示装置３０に表示させるものである。入力映像は表示装置３０に表示すべき被写体を全て含んだ映像である必要がある。図１に示すように本実施の形態においては、表示装置３０に３つの筆記板である第１筆記板１、第２筆記板２、第３筆記板３を表示させるため、撮像装置２０は第１筆記板１、第２筆記板２、第３筆記板３の全てを画角（撮像領域）内に収めるように設けられている。そして、筆記板を用いて講義を行う人物Ｔを特許請求の範囲における対象物として、その人物Ｔの位置、動きに合わせて３つの筆記板のうちのいずれかを表示装置３０に表示させる。

第１の実施の形態においては、映像表示システム１０は、対象物としての人物Ｔが第１筆記板１の前に立っている場合、表示装置３０には第１筆記板１を表示させる。また、人物Ｔが移動して第２筆記板２の前に立っている場合、表示装置３０には第２筆記板２を表示させる。さらに、人物Ｔが第３筆記板３の前に立っている場合、表示装置３０には第３筆記板３を表示させる。なお、筆記板とは例えば、黒板、ホワイトボードなど文字、図表、絵などを描くことができる板状部材である。本実施の形態はこのように筆記板と筆記板の前の立つ講師などの人物を例にして説明を行うが、本技術はそのような利用態様に限られるものではない。

撮像装置２０は動画撮影可能なデジタルビデオカメラまたは、動画撮影可能な機能を備えるパーソナルコンピュータ、タブレット端末、スマートフォンなどの電子機器である。撮像装置２０は、パンチルト動作はせずに、図１に示すように画角内に表示装置３０に表示させる被写体としての３つの筆記板、第１筆記板１、第２筆記板２、第３筆記板３を収めることができるように設けられている。撮像装置２０は、ユーザの映像表示システム１０の利用時においては、撮像した入力映像のデータを常に情報処理装置１００に供給し続ける。

表示装置３０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示装置３０には、撮像装置２０で撮像された入力映像中における所定の領域が対象物の位置や動作などに応じて表示される。

情報処理装置１００は、撮像装置２０が撮像した入力映像に対して本技術に係る映像処理を施して、入力映像中の所定の領域を表示する領域として決定して表示装置３０に表示させるものである。情報処理装置１００は、撮像装置２０により撮像された入力映像をリアルタイムに処理することも可能であるし、撮像完了後に映像コンテンツに対して処理を行うことも可能である。

情報処理装置１００は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンなどの電子機器で構成されている。情報処理装置１００はプログラムで構成され、そのプログラムは、予め電子機器内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、情報処理装置１００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。なお、撮像装置２０が情報処理装置１００としての機能を備え、または、表示装置３０が情報処理装置１００としての機能を備え、撮像装置２０と表示装置３０とが直接接続されていてもよい。

［１－２．情報処理装置の構成］
次に図２のブロック図を参照して情報処理装置１００の構成について説明する。情報処理装置１００は、映像入力部１１０、領域設定部１２０、特徴量取得部１３０、特徴量比算出部１４０、注視領域合成部１５０、映像出力部１６０とから構成されている。

映像入力部１１０には撮像装置２０から供給された入力映像のデータが入力され、映像入力部１１０から領域設定部１２０に入力映像のデータが供給される。なお、映像入力部１１０から領域設定部１２０には入力映像を構成する連続する一連のフレーム画像が再生順序に従って順に供給される。領域設定部１２０以降における一連の処理は、入力映像を構成する連続する一連のフレーム画像にそれぞれに対して行われる。フレーム画像のそれぞれに対して処理を施し、処理が施されたフレーム画像（以下、合成フレーム画像と称する）を順次表示装置３０に供給する。連続する一連の合成フレーム画像が再生順序に従って表示されることにより、表示装置３０では情報処理装置１００により処理が施された映像が表示されることになる。

領域設定部１２０は、予めユーザからの入力により決定されている注視領域と検出領域とを入力映像を構成するフレーム画像のそれぞれに対して設定するものである。ユーザは、映像表示システム１０を利用する前に注視領域と検出領域とを情報処理装置１００に入力しておく必要がある。注視領域と検出領域の入力方法と入力用ユーザインターフェースについては後述する。

注視領域とは、入力映像中から切り出して表示装置３０に表示させる領域であり、注視領域の位置、形状、サイズおよび数はユーザが任意に決定することができる。本実施の形態においては、図１に示すように、３つの筆記板のそれぞれに対して、第１筆記板１を含むように注視領域Ａ、第２筆記板２を含むように注視領域Ｂ、第３筆記板３を含むように注視領域Ｃが予めユーザにより決定されているとする。

また、それら注視領域のそれぞれに対応するようにフレーム画像に対して検出領域が設定される。図１に示すように、注視領域Ａに対しては検出領域ａ、注視領域Ｂに対しては検出領域ｂ、注視領域Ｃに対しては検出領域ｃが予めユーザにより決定されて、それが領域設定部１２０によりフレーム画像に設定される。検出領域とは、それぞれの注視領域と対応させるように注視領域ごとに設定され、どの注視領域を表示装置３０に表示させるかの判断となる特徴量を検出するための領域である。この特徴量により把握される検出領域内の状態が特許請求の範囲における「状態」に相当するものである。なお、検出領域は注視領域に重なっている必要はなく、一つの注視領域に一つの検出領域が対応さえしていれば、検出領域の位置、形状およびサイズはユーザが自由に決定することができる。

第１の実施の形態においては、どの注視領域を表示装置３０に表示させる領域として決定するかは人物Ｔの位置に対応させるため、図１に示すように、検出領域は対応する注視領域の横方向の一端から他端までに及ぶ領域として予めユーザにより決定されているとする。なぜなら人物Ｔは筆記板の前において横方向に移動するからである。横方向とは、人物Ｔが歩くことにより移動可能な方向、筆記板の幅方向と同方向である。

本実施の形態においては、人物Ｔが第１筆記板１の前、すなわち検出領域ａの前に立っている場合は入力映像から注視領域Ａを切り出して表示装置３０に表示させる。人物Ｔが第２筆記板２の前、すなわち検出領域ｂの前に立っている場合は入力映像から注視領域Ｂを切り出して表示装置３０に表示させる。人物Ｔが第３筆記板３の前、すなわち検出領域ｃの前に立っている場合は入力映像から注視領域Ｃを切り出して表示装置３０に表示させる。

領域設定部１２０により設定された注視領域と検出領域を示す情報は入力映像データと共に特徴量取得部１３０に供給される。

図２の説明に戻る。特徴量取得部１３０は、検出領域から特徴量を取得するものである。特徴量とは、どの注視領域を表示装置３０に表示させる領域として決定するかの判断に用いるものである。特徴量の第１の例は、各検出領域内における人物Ｔの存在領域を構成する画素の数である。特徴量取得部１３０は、まず、公知の被写体検出技術などを用いて処理対象のフレーム画像から人物Ｔの存在領域を検出する。被写体検出方法としては、テンプレートマッチングによる物体検出技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。

そして、各検出領域内における人物Ｔの存在領域を構成する画素数を計測することにより特徴量を取得する。特徴量取得部１３０により取得された特徴量は入力映像データと共に特徴量比算出部１４０に供給される。

特徴量比算出部１４０は、検出領域ごとに取得された特徴量を用いて、全ての検出領域を合わせた全検出領域に対する各検出領域における人物Ｔの特徴量の割合を算出する。この割合は、例えば、全検出領域における人物Ｔの全画素数の割合を１．０として算出するものである。特徴量比算出部１４０により算出された特徴量の割合は入力映像データ、注視領域および検出領域情報と共に注視領域合成部１５０に供給される。

例えば、図３Ａに示すように、人物Ｔが第１筆記板１の前に立っており、検出領域ａにのみ人物Ｔの特徴量が存在する場合、検出領域全体に対する検出領域ａに占める特徴量の割合は１．０となり、検出領域ｂと検出領域ｃの特徴量の割合はともに０となる。また、図３Ｂに示すように、人物Ｔが第２筆記板２の前に立っており、検出領域ｂにのみ人物Ｔの特徴量が存在する場合、検出領域全体に対する検出領域ｂに占める特徴量の割合は１．０となり、検出領域ａと検出領域ｃの特徴量の割合はともに０となる。さらに、人物Ｔが第３筆記板３の前に立っており、検出領域ｃにのみ人物Ｔの特徴量が存在する場合、検出領域全体に対する検出領域ｃに占める特徴量の割合は１．０となり、検出領域ａと検出領域ｂの特徴量の割合はともに０となる。

また、図４Ａに示すように、人物Ｔが第１筆記板１と第２筆記板２とにまたがって存在している場合、図４Ｂに示すように人物Ｔは注視領域Ａと注視領域Ｂの両方、さらに検出領域ａと検出領域ｂの両方にまたがって存在することになる。図４Ｂは注視領域Ａと注視領域Ｂ、検出領域ａと検出領域ｂとを分離させて示したものである。この場合、検出領域ａにも検出領域ｂにも特徴量が存在することになり、全検出領域内に存在する人物Ｔの全画素数の割合を１．０として、検出領域ａ内の人物Ｔの画素数が２５００であり、検出領域ｂ内の人物Ｔの画素数が７５００だとすると、図４Ｃに示すように、特徴量の割合は「検出領域ａ：０．２５」、「検出領域ｂ：０．７５」となる。このように画素数の割合から特徴量の割合を算出する。なお、人物Ｔが存在していない検出領域ｃの特徴量の割合は０である。このようにして特徴量比算出部１４０は各検出領域における特徴量の割合を算出する。

注視領域合成部１５０は、入力映像を構成するフレーム画像中に存在する全ての注視領域を切り出して、特徴量比算出部１４０で算出された各検出領域における特徴量の割合に基づいて全ての注視領域を合成するものである。注視領域合成部１５０の合成処理により作成された合成フレーム画像が再生順序に従って表示装置３０に供給されて表示されることにより、情報処理装置１００により処理が施された映像が表示されることになる。

図１の例をもとに注視領域の合成について説明する。注視領域の合成は各注視領域を構成する全ての画素ごとに、特徴量の割合に基づいて注視領域Ａ、注視領域Ｂ、注視領域Ｃを合成することにより行われる。まず、注視領域合成部１５０はフレーム画像中から注視領域Ａ、注視領域Ｂ、注視領域Ｃを切り出す。

次に、各注視領域に対応する検出領域における特徴量の割合から注視領域の合成を行う。ここで、注視領域Ａに対応する検出領域ａにおける特徴量の割合をＬ、注視領域Ｂに対応する検出領域ｂにおける特徴量の割合をＭ、注視領域Ｃに対応する検出領域ｃにおける特徴量の割合をＮとする。

また、図５に示すように、注視領域Ａ内における点（ｘ,ｙ）における画素値をＩ_A（ｘ,ｙ）とし、注視領域Ｂ内における同一の点（ｘ,ｙ）における画素値をＩ_B（ｘ,ｙ)とし、注視領域Ｃ内における同一の点（ｘ,ｙ）における画素値をＩ_C（ｘ,ｙ）とする。そうすると、最終的に表示装置３０に出力する合成フレーム画像における同一の点（ｘ,ｙ）における画素値Ｉ_(A+B+C)（ｘ,ｙ）は下記の式１で表すことができる。

［式１］
Ｉ_(A+B+C)（ｘ,ｙ）
＝Ｌ・Ｉ_A（ｘ,ｙ）＋Ｍ・Ｉ_B（ｘ,ｙ) ＋Ｎ・Ｉ_C（ｘ,ｙ)

この処理により、点（ｘ,ｙ）における画素について、特徴量の割合に応じて全ての注視領域が合成された状態を得ることができる。これを注視領域を構成する全ての画素について行うことにより、注視領域Ａ、注視領域Ｂ、注視領域Ｃを特徴量の割合に応じて合成した合成フレーム画像を得ることができる。

例えば図１に示すように、人物Ｔが第１筆記板１の前、すなわち検出領域ａの前にいる場合、全検出領域に対する各検出領域における特徴量の割合は、
検出領域ａ：特徴量の割合Ｌ＝１．０
検出領域ｂ：特徴量の割合Ｍ＝０．０
検出領域ｃ：特徴量の割合Ｎ＝０．０
となる。この特徴量の割合を式１に代入すると、合成フレーム画像における点（ｘ,ｙ）における画素値Ｉ_(A+B+C)（ｘ,ｙ）は下記の式２のようになる。

［式２］
Ｉ_(A+B+C)（ｘ,ｙ）
＝１・Ｉ_A（ｘ,ｙ）＋０・Ｉ_B（ｘ,ｙ)＋０・Ｉ_C（ｘ,ｙ)
＝Ｉ_A（ｘ,ｙ）

検出領域ａ以外の検出領域は特徴量の割合が０であるため、注視領域Ａ、注視領域Ｂ、注視領域Ｃにおける同一の点（ｘ,ｙ）の合成結果は注視領域Ａにおける点（ｘ,ｙ）と同一となる。これを各注視領域を構成する全てに画素に対して行うことにより、注視領域Ａ、注視領域Ｂ、注視領域Ｃを合成した合成フレーム画像を得ることができる。この例の場合、注視領域Ａ、注視領域Ｂ、注視領域Ｃの合成結果は注視領域Ａと同一のもの、すなわち、合成フレーム画像は注視領域Ａと同一となる。この合成フレーム画像が表示装置３０に送信される。これにより、人物Ｔが検出領域ａの前に立っている場合、注視領域Ａのみが表示装置３０に表示されることになる。同様にして、人物Ｔが検出領域ｂの前に立っている場合は注視領域Ｂのみが表示装置３０に表示され、人物Ｔが検出領域ｃの前に立っている場合は注視領域Ｃのみが表示装置３０に表示されることになる。

次に、人物Ｔが２つの検出領域にまたがって存在している場合について説明する。人物Ｔが一の注視領域から他の注視領域へ移動する場合、例えば、注視領域Ａから注視領域Ｂへ移動している場合を考える。この場合、人物Ｔは注視領域Ｂへの移動が完了するまでは図４Ａに示すように、検出領域ａと検出領域ｂの両方にまたがって存在していることとなる。

図４Ｂに示すように、人物Ｔが検出領域ａと検出領域ｂの両方にまたがって存在している場合で、図４Ｃに示すように検出領域全体に対する各検出領域における特徴量の割合が、
検出領域ａ：特徴量の割合Ｌ＝０．２５
検出領域ｂ：特徴量の割合Ｍ＝０．７５
検出領域ｃ：特徴量の割合Ｎ＝０．０
となっているとする。なお、検出領域ｃには人物Ｔは存在していないので、検出領域ｃの特徴量の割合は０となる。そして、注視領域Ａにおける点（ｘ,ｙ）の画素値をＩ_A（ｘ,ｙ）とし、注視領域Ｂにおける同一の点（ｘ,ｙ）の画素値をＩ_B（ｘ,ｙ)とし、注視領域Ｃの同一の点（ｘ,ｙ）における画素値をＩ_C（ｘ,ｙ)し、この特徴量の割合を式１に代入すると、合成フレーム画像における同一の点（ｘ,ｙ）における画素値Ｉ_(A+B+C)（ｘ,ｙ）は下記の式３のようになる。

［式３］
Ｉ_(A+B+C)（ｘ,ｙ）
＝０．２５・Ｉ_A（ｘ,ｙ）＋０．７５・Ｉ_B（ｘ,ｙ）＋０・Ｉ_C（ｘ,ｙ)
＝０．２５・Ｉ_A（ｘ,ｙ）＋０．７５・Ｉ_B（ｘ,ｙ）

これは、合成フレーム画像における点（ｘ,ｙ）は、注視領域Ａの点（ｘ,ｙ）の画素と注視領域Ｂの点（ｘ,ｙ）の画素とが特徴量の割合である「０．２５：０．７５」の割合で合成されたものであることを意味する。検出領域ｃは特徴量の割合が０であるため、注視領域Ｃの画素は合成されていない。

これを各注視領域を構成する全てに画素に対して行うことにより、注視領域Ａ、注視領域Ｂ、注視領域Ｃの合成結果である合成フレーム画像を得ることができる。この例の場合、図６に示すように、注視領域Ａ、注視領域Ｂ、注視領域Ｃの合成結果は人物Ｔが存在している注視領域Ａと注視領域Ｂとを特徴量の割合である「０．２５：０．７５」で合成したものとなる。よって、合成フレーム画像では注視領域Ａ内の人物Ｔの一部と注視領域Ｂ内に人物Ｔの一部が共に存在しており、特徴量の割合に対応して人物Ｔの濃淡が異なっている。検出領域ｂに対応する注視領域Ｂ内の人物Ｔと、検出領域ａに対応する注視領域Ａ内の人物Ｔは共に入力映像よりも薄く表示され、さらに、特徴量の割合が大きい検出領域ｂに対応する注視領域Ｂ内の人物Ｔが特徴量の割合が小さい検出領域ａに対応する注視領域Ａ内の人物Ｔよりも濃く表示される。

このように生成された合成フレーム画像が表示装置３０に送信され、これにより、人物Ｔが検出領域ａと検出領域ｂの前にまたがって存在している場合、注視領域Ａと注視領域Ｂが合成された映像が表示装置３０に表示されることになる。

人物Ｔが検出領域ａから検出領域ｂに移動していくと、人物Ｔの位置の変化に伴い、図７Ａ乃至図７Ｅに示すように検出領域ａの特徴量の割合は徐々に減っていき、検出領域ｂの特徴量の割合は徐々に増えていく。そして、図７Ｅに示すように人物Ｔの検出領域ｂへの移動が完了すると、検出領域ｂの特徴量の割合は１．０となり、検出領域ａの特徴量の割合は０．０となる。検出領域ｂの特徴量の割合が１．０となり、検出領域ａの特徴量の割合が０．０となると、合成フレーム画像の点（ｘ,ｙ）における画素値Ｉ_(A+B+C)（ｘ,ｙ）は、式１を用いて下記の式４のようになる。

［式４］
Ｉ_(A+B+C)（ｘ,ｙ）＝０＋１・Ｉ_B（ｘ,ｙ）＋０＝Ｉ_B（ｘ,ｙ）

このように、注視領域Ａ、注視領域Ｂ、注視領域Ｃにおける同一点（ｘ,ｙ）の合成結果は注視領域Ｂにおける点（ｘ,ｙ）と同一となり、合成フレーム画像は注視領域Ｂと同一になる。よって、表示装置３０には注視領域Ｂのみが表示されることになる。なお、図７では、人物Ｔの注視領域Ａから注視領域Ｂへの移動を５つの図で表しているが、特徴量の取得と特徴量の割合の算出はこのように飛び飛び間隔で行っているのではなく、連続するフレーム画像の全てにおいて行っている。

この合成処理を、映像を構成する一連のフレーム画像全てに対して行うことにより、注視領域Ａから注視領域Ｂへの人物Ｔの移動、すなわち検出領域ａと検出領域ｂにおける特徴量の変化に対応して、注視領域Ａから注視領域Ｂに徐々に滑らかに変化していく映像を得ることができる。

人物Ｔが注視領域Ａから注視領域Ｂへ素早く動けば検出領域ａと検出領域ｂにおける特徴量の割合の変化も早くなるため、表示装置３０における注視領域Ａから注視領域Ｂへ表示の切り替わりも早く行われることになる。一方、人物Ｔが注視領域Ａから注視領域Ｂへゆっくりと動けば検出領域ａと検出領域ｂにおける特徴量の割合の変化もゆっくりになるため、表示装置３０における注視領域Ａから注視領域Ｂへ表示の切り替わりもゆっくり行われることになる。

これは、人物Ｔの注視領域Ｂから注視領域Ｃへの移動、注視領域Ｃから注視領域Ｂへの移動、注視領域Ｂから注視領域Ａへの移動においても同様である。

なお、人物Ｔがいずれか１つの注視領域から他の注視領域に移動しない限り、全ての検出領域における特徴量は変わらないため、表示装置３０に表示される注視領域は切り替わらない。人物Ｔが注視領域Ａに存在し続ける場合、表示装置３０には注視領域Ａが表示され続ける。

図２の説明に戻る。映像出力部１６０は、上述の処理が施されて生成された合成フレーム画像を表示順序に従って順次表示装置３０に送信する。これにより情報処理装置１００で処理が施された映像が表示装置３０において表示される。なお、映像出力部１６０は、処理を施した合成フレーム画像単位で表示装置３０に送信してもよいし、複数の合成フレーム画像をある程度の長さの映像データとして表示装置３０に送信してもよい。

以上のようにして情報処理装置１００が構成されている。

［１－３．情報処理装置による処理］
次に図８のフローチャートを参照して、情報処理装置１００により行われる処理の流れを説明する。まずステップＳ１１で、映像表示システム１０を利用するユーザにより入力された注視領域および検出領域の情報を保持する。

ユーザからの処理開始を指示する入力があると、次にステップＳ１２で映像処理が開始される。これ以降の処理は撮像装置２０から供給される入力映像を構成するフレーム画像ごとに行われる。

次にステップＳ１３で特徴量取得部１３０が各検出領域における特徴量を取得し、その特徴量を特徴量比算出部１４０に供給する。次にステップＳ１４で、特徴量比算出部１４０が特徴量の検出領域ごとの特徴量の割合を算出し、その特徴量割合を示す情報を注視領域合成部１５０に供給する。

次にステップＳ１５で、注視領域合成部１５０が検出領域における特徴量の割合に応じて注視領域の合成処理を行って合成フレーム画像を作成する。そしてステップＳ１６で映像出力部１６０が合成フレーム画像を表示装置３０に送信する。表示装置３０において合成フレーム画像が映像を構成する一連のフレーム画像として表示されることにより、表示装置３０に映像が表示される。

次にステップＳ１７で、ユーザから処理終了を指示する入力があったか否かが判定され、終了を指示する入力がない限りステップＳ１３乃至ステップＳ１７が繰り返されて表示装置３０に映像が表示され続ける。ステップＳ１７でユーザから処理終了を指示する入力があった場合、処理は終了となり、表示装置３０における映像の表示が終了する。

本技術の第１の実施の形態は以上のようにして処理を行う。第１の実施の形態によれば、一台の撮像装置２０で撮像した映像を用いて、まるで複数台の撮像装置で撮像したかのような映像を表示装置３０に表示させることができる。その際、検出領域における特徴量を用いることで、表示装置３０に表示させる映像中の領域の切り替えを自動で行うことができる。

また、検出領域と特徴量を用いて表示装置３０に表示させる映像中の領域の切り替えを行うことにより、表示領域の切り替えを滑らかに行うことができる。本技術を用いることにより、あらゆる映像制作現場での撮像装置などの機材コスト削減や、映像切り替えに伴う編集コストの削減を図ることができる。なお、情報処理装置１００による処理は、撮像装置２０からリアルタイムに供給される入力映像に対して行うだけでなく、撮像終了後に映像コンテンツに対しても行うことができ、その処理が施された映像をアーカイブとして映像配信することも可能である。

なお、検出領域は必ずしも図１のように設定する必要はない。これはあくまで人物Ｔの動きに合わせた注視領域の表示を実現するための設定である。例えば常に３つの筆記板のうち追記されたり、消されたりした筆記板を自動選択して切り替えたい場合は、検出領域をそれぞれの筆記板の大きさに合わせて設定し、それぞれの検出領域内の板面内容の変化を特徴量とすればよい。

なお、注視領域と検出領域とは必ずしも重なるように設定される必要もない。注視領域とそれに対応する検出領域とは、離れた状態で設定されてもよい。さらに、図１に示したように、注視領域は必ずしも入力映像中の特定の領域を切り出すように設定する必要はなく、入力映像全体を注視領域として設定してもよい。例えば図９に示すように、入力映像に対して注視領域Ａ、注視領域Ｃを設定し、さらに入力映像の画角と同サイズの注視領域Ｂを設定し、それぞれの注視領域と重ならないように検出領域ａ、検出領域ｂ、検出領域ｃを設定してもよい。このように注視領域と検出領域を設定した場合、第２ディスプレイ前に人物Ｔが存在する場合には検出領域ｂにのみ特徴量が存在し、注視領域Ｂの範囲の映像、すなわち入力映像と同じ映像が表示装置３０に表示させることができる。このような例は、メディア放送用映像の撮像において有用である。

＜２．第２の実施の形態＞
次に本技術の第２の実施の形態について説明する。図１０は第２の実施の形態に係る情報処理装置２００の構成を示すブロック図である。第２の実施の形態は、情報処理装置２００が特徴量時間変化検出部２１０および注視領域連結部２２０を備える点で第１の実施の形態と相違する。それら以外の構成は第１の実施の形態と同様であるため、その説明を省略する。また、本実施の形態も図１と同様の具体例を用いて説明を行う。

図１１に示すように、人物Ｔが第１筆記板１と第２筆記板２の間に立ったままその場からしばらく移動しないような場合、すなわち、人物Ｔが２つの検出領域にまたがって存在している状態が継続し、特徴量の割合が変化しない場合を考える。

特徴量時間変化検出部２１０は特徴量比算出部１４０から特徴量の割合情報を随時受信しており、特徴量の割合の変化が所定時間以上ないことを検出するものである。この所定時間はユーザが任意に決定して情報処理装置１００に設定できるものである。特徴量時間変化検出部２１０は、特徴量の割合の変化が所定時間以上ないことが検出した場合、それを注視領域連結部２２０に通知する。注視領域連結部２２０には入力映像データも供給される。

注視領域連結部２２０は、人物Ｔが複数の検出領域にまたがっている状態が継続しており特徴量の割合が所定時間以上変化をしない場合、その複数の検出領域を連結して新たな注視領域（以下、連結注視領域と称する。）を作成するものである。注視領域連結部２２０による処理は、第１の実施の形態における注視領域合成部１５０の合成処理と同様に、入力映像を構成する連続する一連のフレーム画像に対して行われる。ここでは、図１１に示すように、図１と同様の例において、人物Ｔが注視領域Ａと注視領域Ｂの両方にまたがる位置に留まっている場合を例にして説明を行う。

図１２Ａに示すように注視領域Ａと注視領域Ｂの両方に重なるように人物Ｔが立っており、その状態が続くと、第１の実施の形態では注視領域Ａ全体と注視領域Ｂ全体とが合成された状態が表示装置３０に表示されることになる。そこで、第２の実施の形態においては、注視領域Ａと注視領域Ｂに重なるように人物Ｔが存在し続けている場合、図１２Ｂに示すようにその注視領域Ａと注視領域Ｂの境界を略中心とした注視領域Ａと注視領域Ｂを連結した連結注視領域Ｒを作成し、この連結注視領域Ｒを入力映像から切り出したフレーム画像を表示装置３０に送信する。これにより、注視領域Ａの一部と注視領域Ｂの一部を含む映像が表示装置３０に表示されることになり、人物Ｔが立っている位置を略中心とした見やすい映像を表示装置３０に表示させることができる。

表示装置３０における表示が注視領域Ｂが表示されている状態から即座に図１２Ｂに示す連結注視領域Ｒが表示される状態に切り替わると視聴者に見づらさを感じさせたり、違和感を与えるおそれがある。よって、少しずつ注視領域の境界が中心にするような遷移過程をたどるようにするのが望ましい。図１２の例では、人物Ｔが第２筆記板２側、すなわち注視領域Ｂ側に寄っており、検出領域ａと検出領域ｂとでは検出領域ｂのほうが特徴量の割合が大きいので注視領域Ｂ側から注視領域Ａ側へ少しずつ表示が遷移していくようにする。

その際の表示装置３０に表示される範囲である連結注視領域Ｒの遷移は図１３に示すようになる。図１３Ａから図１３Ｆに示すように、特徴量の割合が大きい検出領域ｂに対応する注視領域Ｂ側から注視領域Ａ側に向かって連結注視領域Ｒが徐々に遷移していく。そして、最終的に図１３Ｆに示すように、注視領域Ａと注視領域Ｂの境界（連結部分）が連結注視領域Ｒの中央に位置するまで遷移する。

なお、このとき、注視領域Ａと注視領域Ｂの境界が連結注視領域Ｒの略中央に位置するまでの連結注視領域Ｒの遷移する速度は１フレーム画像ごとにどの程度連結注視領域Ｒが移動するかによって決定されるものである。１フレーム画像ごとの連結注視領域Ｒの移動距離が大きければ遷移速度は速くなり、１フレーム画像ごとの連結注視領域Ｒの移動距離が小さければ遷移速度は遅くなる。この遷移速度はユーザが任意で決めることができる。

この第２の実施の形態によれば、特徴量の検出対象である対象物が２以上の検出領域にまたがっており、かつ、特徴量が変化しない場合、その対象物を含んだ状態で２以上の注視領域を見やすい状態で表示装置３０に表示させることができる。

なお、特徴量時間変化検出部２１０は特徴量の割合の変化が所定時間以上ないことを検出するだけでなく、特徴量の割合の変化が所定の上限と下限の閾値内であるかを検出するようにしてもよい。これにより、人物Ｔがわずかに動いてはいるが、複数の検出領域にまたがって存在し続けている場合も上記と同様に処理を行うことができる。

なお、特徴量が何れの検出領域においても一定時間以上検出されなかった場合には、その際に遷移すべき注視領域を予め設定しておき、その注視領域を表示装置３０に表示させるか、入力映像全体を注視領域として表示装置３０に表示させる、などの方法がある。

特徴量が何れの検出領域においても一定時間以上検出されなかった場合とは、一定時間以上対象物がどの検出領域にも存在していないということである。このような場合、その対象物（人物）や映像表示システム１０の利用者に対して、音声メッセージ、メッセージ表示などで検出領域に入るように促す通知を行ってもよい。

＜３．第３の実施の形態＞
次に本技術の第３の実施の形態について説明する。図１４は第３の実施の形態に係る情報処理装置３００の構成を示すブロック図である。第３の実施の形態は、情報処理装置３００が射影変換部３１０を備える点で第１の実施の形態と相違する。それ以外の構成は第１の実施の形態と同様であるため、その説明を省略する。

射影変換部３１０は、撮像装置２０のレンズに対する入射方向に正対していない注視領域に対して射影変換処理を施すものである。例えば、図１５に示すように、長方形状の注視領域Ｂと、略平行四辺形状に設定された注視領域Ａと注視領域Ｃがある場合、このまま注視領域合成部１５０により合成処理を行おうとすると、注視領域の形状が一致していないため、適切に合成処理を行うことができないおそれがある。そこで、第３の実施の形態では、注視領域が撮像装置２０に正対しておらず正方形または長方形状ではない場合、射影変換部３１０により、その正対していない注視領域に対して射影変換処理を施す。図１５の注視領域Ｃに対して射影変換処理を施すことにより、図１６に示すように、注視領域Ｂと形状に合った長方形状の注視領域Ｃを得ることができる。これにより、第１の実施の形態と同様に注視領域合成処理を行うことができる。図示は省略するが、図１５における注視領域Ａについても射影変換処理を施すのが望ましい。

射影変換部３１０により注視領域に射影変換処理を施すか否かは、例えば、領域設定部１２０により設定された複数の注視領域のうち、注視領域を構成する４つの角のうち９０度ではない角を有するか否かなどにより判断することができる。また、ユーザが射影変換処理を施す注視領域を具体的に状態で表示装置３０への入力で指定してもよい。

なお、情報処理装置３００は、処理対象である映像を構成するフレーム画像が領域設定部１２０から特徴量取得部１３０および射影変換部３１０に供給されるように構成されている。よって、射影変換部３１０により注視領域に射影変換を施すのと並行して第１の実施の形態で説明したように特徴量取得部１３０および特徴量比算出部１４０による処理が行われる。そして、特徴量比算出部１４０による比較結果に基づいた注視領域合成処理が、射影変換が施された注視領域に対して行われる。

なお、射影変換部３１０による処理の後に複数の注視領域を注視領域合成部１５０で合成するため、射影変換部３１０で、出力映像の仕様に合わせて縦幅や横幅を拡大または縮小し、それぞれの注視領域を均一に調整する処理をさらに行ってもよい。

この第３の実施の形態によれば、注視領域同士の形状が異なっていた場合でも射影変換処理により形状を一致させるので、注視領域同士の形状が異なっていたとしても注視領域合成処理を行って表示装置３０に適切な状態で注視領域を表示させることができる。

なお、上述の第１乃至第３の実施の形態において、検出領域内における対象物の状態は、検出領域内における対象物を構成する画素の存在率（特徴量の割合）に基づいて求めることもでき、また、対象物の移動の状況に基づいて求めることもできる。検出領域内における対象物を構成する画素の存在率は図４乃至図７などを参照して説明した通りである。検出領域内における対象物を構成する画素の数を計測し、全ての検出領域を合わせた全検出領域に対する各検出領域における対象物の画素の割合を算出することにより求めることができる。この画素の存在率（特徴量の割合）に基づいて注視領域の切り替え、遷移を行うことができる。

対象物の移動の状況に基づく場合、公知の速度検出技術を用いて対象物の移動速度を求め、その移動速度に応じて表示させる注視領域の切り替え、合成、遷移を行うようにする。対象物の移動速度を検出すれば対象物の移動速度から図７に示したのと同様に対象物の検出領域における位置と対象物の存在率（特徴量の割合）を得ることができ、それに基づいて注視領域の切り替え、合成、遷移を行うことができる。

対象物の移動速度は例えば、入力映像を構成する一のフレーム画像とその次のフレーム画像とにおける対象物の位置の差とフレームレートから求めることができる。また、撮像装置が備えるまたは撮像装置以外の装置としての速度センサにより対象物の速度を求めるようにしてもよい。速度センサとしては、レーザ光、マイクロ波、超音波などを測定対象（対象物）に当て、その反射波の周波数変化から速度を測定するものなどがある。

また、表示装置３０への表示については、検出領域における上述した対象物の状態に応じて入力映像中に設定された複数の注視領域から表示させる注視領域を選択して切り替えるようにしてもよいし、対象物の状態に応じて注視領域を滑らかに遷移させるようにしてもよい。さらに、対象物の状態に応じて注視領域として入力映像から切り出す位置および範囲を変更して表示装置３０に表示させてもよい。

＜４．ユーザインターフェースの例＞
次に本技術を利用する際におけるユーザインターフェースの例について説明する。このユーザインターフェースは、情報処理装置１００が備える表示部（図示せず。）または表示装置３０などに表示されるものであり、ユーザが注視領域および検出領域を入力するためのものである。図１７に示す注視領域および検出領域入力用ユーザインターフェースは注視領域入力ボタン４０２、検出領域入力ボタン４０３を備えている。ユーザから注視領域入力ボタン４０２に入力がなされるとユーザインターフェースは図１７Ａに示す注視領域入力モードに遷移する。また、ユーザから検出領域入力ボタン４０３に入力がなされるとユーザインターフェースは図１７Ｂに示す検出領域入力モードに遷移する。

図１７Ａに示す注視領域入力モードは、撮像領域表示領域４０１、注視領域入力ボタン４０２、検出領域入力ボタン４０３、領域追加ボタン４０４、領域削除ボタン４０５を備えている。

注視領域入力モードに遷移後、ユーザはマウスカーソル、スタイラスペン、自らの指などで撮像領域表示領域４０１内を指定することで４点を指定して注視領域を示す注視領域アイコン４１０を表示させることができる。注視領域アイコン４１０は矩形の枠と、枠の４つの角にそれぞれ設けられた点とから構成されている。注視領域アイコン４１０を示す構成する点をクリックして移動させることにより注視領域の形状、サイズを変更することができ、注視領域アイコン４１０内部をクリックして移動させることにより注視領域の位置を変更することができる。

注視領域の形状、サイズおよび位置が決定するとユーザは領域追加ボタン４０４に対して入力を行う。これにより、注視領域情報が情報処理装置１００内に保存されることになる。一度決定した、またはサイズおよび位置の調整中の注視領域を削除する場合、ユーザは領域削除ボタン４０５に対して入力を行う。

検出領域入力モードに遷移後、ユーザがマウスカーソルなどで撮像領域表示領域４０１内を指定することで４点を指定して検出領域を示す検出領域アイコン４２０を表示させることができる。検出領域アイコン４２０は矩形の枠と枠の４つの角にそれぞれ設けられた点とから構成されている。検出領域アイコン４２０を示す構成する点をクリックして移動させることにより検出領域の形状、サイズを変更することができ、検出領域アイコン４２０内部をクリックして移動させることにより検出領域の位置を変更することができる。

注視領域の形状、サイズおよび位置が決定するとユーザは領域追加ボタン４０４に対して入力を行う。これにより、検出領域情報が情報処理装置１００内に保存されることになる。一度決定した、またはサイズおよび位置の調整中の検出領域を削除する場合、ユーザは領域削除ボタン４０５に対して入力を行う。

また、検出領域入力モードにおいては、特徴量がどの検出領域においても検出されなかった場合の情報処理装置１００の動作を選択する動作項目４０６が表示される。オーバービューは撮像装置２０による撮像領域全体、すなわち情報処理装置１００に入力される映像全体を表示させるものである。プリセットは、ユーザの任意により決定されたように、または情報処理装置１００において予め設定されたように情報処理装置１００を動作させるものである。

また、検出領域入力モードにおいては、特徴量の検出対象である対象物を選択するための被写体選択ボタン４０７が設けられている。

なお、図１７に示したユーザインターフェースはあくまで一例であり、ユーザインターフェースはこれに限られるものではない。また、注視領域および検出領域は四角形状に限られるものではなく、三角形状や五角形以上の多角形状、円状でもよい。

＜５．本技術の利用態様の具体例＞
［５－１．第１の利用態様］
次に本技術の利用態様の具体例について説明する。本技術は、図１８に示すような広い教室や会議室などにおける講演や講義（以下、講演とする）において有用である。本技術利用のために、外部表示装置５０１に表示するホワイトボード５０２全体を撮像装置５０３で撮像する必要がある。情報処理装置１００は教壇などに設置しておき、事前に撮像装置５０３と外部表示装置５０１と接続しておく。講師は講演の前に事前に注視領域と検出領域を決定して情報処理装置１００に入力しておく。

講演を開始する際に教壇などにあるシステム起動スイッチ５０４をオンにすることにより、本技術に係る情報処理装置１００による処理が開始される。撮像装置５０３によって撮影された講演の入力映像に対して情報処理装置１００による処理が行われ、処理が施された映像がリアルタイムに外部表示装置５０１に表示される。図のように大きな会場において講師から離れた位置にいる受講者にとっては、外部表示装置５０１に映し出された映像が補助映像として機能し、講演が見やすくなる。また、遠隔地へのリアルタイムの映像配信にも本技術を利用することができる。さらに情報処理装置１００で作成された映像を記録して講演終了後にはアーカイブとして映像配信することも可能である。講演終了時には、システム起動スイッチをオフにすることにより処理および収録を終了する。

［５－２．第２の利用態様］
第１の実施形態では、筆記板の前に特徴量の検出対象である対象物としての１人の人物Ｔが立っている例を用いて説明を行った。しかし、本技術はそのような例以外にも利用可能である。例えば、図１９に示すように、講演や講義において複数の聴講者を撮像する場合にも利用することができる。

図１９の例では、聴衆者全体を撮像装置２０で撮像し、聴衆者が座っている位置などに基づいて、複数の聴衆者を囲う範囲を注視領域Ａ、注視領域Ｂ、注視領域Ｃとして設定する。さらにそれら注視領域に対応するように、各注視領域内の聴衆者全員が含まれるように検出領域ａ、検出領域ｂ、検出領域ｃを設定する。そして、聴講者の立ち上がり具合を特徴量して、第１乃至第３の実施の形態と同様の処理を行う。この聴衆者の立ち上がり具合が特許請求の範囲における「変化の度合い」の一例である。なお、聴衆者の立ち上がり具合は、公知の姿勢検出技術により得ることができるし、公知の顔検出技術により検出した顔の位置の変化などによっても得ることができる。

表示装置３０において表示される映像の遷移は図２０に示すようになる。聴衆者全員が座っている場合、特徴量は検出されないため、図２０Ａに示すように表示装置３０には入力映像を表示する。注視領域Ｃの聴衆者Ｓが立ち上がると、その立ち上がり具合が特徴量として検出され、その特徴量に応じて全体領域と注視領域Ｃとが合成されて合成フレーム画像が作成される。そして合成フレーム画像が表示装置３０に送信されて、一連の合成フレーム画像が映像として表示される。

いずれの検出領域にも特徴量が検出されない場合を図２０Ａの初期状態としており、その際には入力映像と同じ入力映像が表示されるようにしている。注視領域Ｃの聴衆者Ｓが立ち上がると、立ち上がり具合を特徴量としてその特徴量の変化に応じて、図２０Ｂから図２０Ｄに示すように入力映像と注視領域Ｃとが合成されて、最終的に図２０Ｅに示すように注視領域Ｃのみが表示装置３０に表示される。この後、例えば注視領域Ａに存在する聴衆者が立ち上がった場合、表示装置３０における表示は注視領域Ｃから注視領域Ａに切り替わることになる。

この利用態様により、例えば、公演での質疑等において聴講者が発言する際のその聴講者がいる注視領域を切り出して表示装置３０に表示することができる。これにより、聴衆者の中の誰が発言するかわからない状態であっても発言する聴衆者を自動的に表示装置３０に表示させることができる。

＜６．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

特徴量の検出対象である対象物は、公知の被写体検出技術により入力映像中から検出されたものでもよいし、予めユーザが指定したものでもよい。ユーザが予め対象物を指定する方法としては、例えば、公知の被写体認識技術により認識した被写体を表示装置３０などに表示してユーザに提示し、その中からユーザが対象物を選択して決定する入力を行う方法がある。また、ユーザが入力映像中の領域を枠アイコンなどで指定して、その枠アイコン内に存在する被写体を特徴量の検出対象である対象物にするという方法もある。また、対象物は、人物に限らず、動物、乗り物、ロボットなど動くものであればどのようなものであってもよい。

図２１に示すように、情報処理装置は、第１、第２、第３の実施の形態を組み合わせて、特徴量時間変化検出部２１０、注視領域連結部２２０および射影変換部３１０を備える情報処理装置４００のように構成してもよい。

また、本技術では表示装置３０に入力映像中に設定された複数の注視領域のうちのいずれかが表示されるが、どの注視領域が現在表示されているのかを視聴者が把握したい場合がある。そこで図２２に示すように、補助機能として複数の注視領域のうちのどの注視領域を現在表示しているのかを示すアイコン６００を表示装置３０に表示するようにしてもよい。

アイコン６００は、設定されている注視領域の数および注視領域の配列を示すように、各注視領域の位置関係が維持された状態で等分割された矩形状の四角形により構成されている。図２２の例では、アイコンは３つの四角形で構成され、３つの注視領域が横並びに並んでいることを表している。図２２Ａに示すように、３つの注視領域のうち中央の注視領域が表示装置３０に表示されている場合、アイコン６００の中央の四角形が色付きで表示するとよい。これにより、視聴者は今現在表示装置３０に表示されているのがどの注視領域であるかを把握することができる。また、図２２Ｂに示すようにアイコン６００と検出領域とを対応させて、それぞれの検出領域で検出される特徴量の割合をアイコン６００の表示態様（色の濃淡など）の変化に反映させるようにしてもよい。これにより、視聴者は、特徴量の対象となる被写体が今現在どこにいるかを把握することができる。さらに、表示装置３０に注視領域を示すアイコンおよび検出領域を示すアイコンの両方を表示するようにしてもよい。なお、アイコン６００は四角形上に限られず、丸形状、三角形状などどのような形状でもよいし、文字により現在表示している注視領域をユーザに示すものでもよい。

第１乃至第３の実施の形態は撮像装置が１台である場合を例にして説明を行ったが、撮像装置の数は１つに限られるものではない。複数台の撮像装置を用いて映像表示システム１０を構成してもよい。例えば図２３に示すように、第１撮像装置７０１で注視領域Ａを撮像し、第２撮像装置７０２で注視領域Ｂを撮像し、第３撮像装置７０３で注視領域Ｃを撮像し、第４撮像装置７０４で全ての注視領域を含む入力映像を撮像し、全ての撮像装置の映像データを情報処理装置１００に供給する。情報処理装置１００は、第４撮像装置７０４により撮像された入力映像から検出領域における特徴量を検出し、その特徴量に基づいていずれかの注視領域を表示装置３０に表示させるようにする。

なお、本技術はリアルタイムで映像を処理する以外にも利用が可能である。例えば、録画済みの映像コンテンツを表示装置に表示させる際に本技術の処理を施すようにしてもよい。また、リアルタイムで映像に対して本技術の処理を施し、録画済み映像コンテンツのメタデータとして注視領域、検出領域、特徴量、注視領域の切り替え情報などを記録し、後からそのメタデータを用いることにより注視領域の位置や範囲、注視領域の切り替え速度などの編集を行えるようにしてもよい。その際、リアルタイムでの映像に対する処理はユーザの入力に従って行われてもよいし、情報処理装置１００が被写体認識技術、テンプレートなどを用いて自動で行うようにしてもよい。さらに、映像を視聴する人物が表示装置に表示すべき被写体を全て含んだ入力映像から見たい任意の領域を注視領域として指定して視聴できるようにしてもよい。これは撮像装置をパンチルトさせる手法とは異なり、本技術における入力映像が表示すべき被写体を全て含んだ映像であるから可能となっている。

＜７．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図２４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図２５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図２５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図２４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図２４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

図２６は、本技術を上述した車両７９００に適用した第１の例を示す図である。車両７９００の屋根に３６０度方向の撮像が可能な魚眼レンズ８０００が設けられている。魚眼レンズ８０００が撮像した映像は車両７９００内に設けられた情報処理装置１００を介してモニターや電子ミラー（以下、モニター等と称する）に表示されるように構成されている。

魚眼レンズ８０００で撮像した３６０度全方向の映像を入力映像とし、例えば、フロント方向の９０度幅を注視領域Ａ、サイドＲ方向の９０度幅を注視領域Ｂ、リア方向の９０度幅を注視領域Ｃ、Ｌサイド方向の９０度幅を注視領域Ｄとする。さらに、フロント方向の９０度幅を検出領域ａ、Ｒサイド方向の９０度幅を検出領域ｂ、リア方向の９０度幅を検出領域ｃ、サイドＬ方向の９０度幅を検出領域ｄとする。このように各注視領域および検出領域を設定し、魚眼レンズ８０００の映像を情報処理装置１００で処理して車両７９００内のモニター等に表示する。

これにより、例えば、車両７９００の近傍で動く人物を特徴量の検出対象である対象物として、第１乃至第３の実施の形態と同様の映像処理を行えば、車両７９００のフロント方向にその人物がいる場合には車両７９００のフロント方向の映像をモニター等に表示することができる。車両７９００のＲサイド方向にその人物がいる場合には車両７９００のＲサイド方向の映像を自動でモニター等に表示させることができる。車両７９００のリア方向にその人物がいる場合には車両７９００のリア方向の映像を自動でモニター等に表示させることができる。車両７９００のＬサイド方向にその人物がいる場合には車両７９００のＬサイド方向の映像をモニター等に表示させることができる。これにより、車両７９００運転時または停車時の周囲の状況をより詳細に把握することができ、安全性を向上させることができる。

また、車両７９００の一方向を撮像する撮像装置からの入力映像を利用することも可能である。図２７に示す本技術の適用の第２の例のように、車両７９００のリア方向に向けた撮像装置９０００の撮像映像を入力映像として、注視領域Ａ、注視領域Ｂ、注視領域Ｃ、注視領域Ｄを車両７９００内のモニター等に表示させることもできる。このような利用態様は、フロント方向、Ｒサイド方向、Ｌサイド方向についても可能である。

このような本技術の車両への適用においては、撮像装置は１台に限られず複数台であってもよい。例えば、図２８に示す車両への適用の第３の例のように、車両７９００の周囲３６０度方向の撮像が可能な魚眼レンズ８０００と、フロント方向を撮像する第１撮像装置９１００、リア方向を撮像する第２撮像装置９２００、Ｌサイド方向を撮像する第３撮像装置９３００、Ｒサイド方向を撮像する第４撮像装置９４００を設けてもよい。この場合、魚眼レンズ８０００の３６０度全方向映像から対象物の特徴量を検出し、その特徴量に応じて第１撮像装置９１００、第２撮像装置９２００、第３撮像装置９３００、第４撮像装置９４００の撮像映像を選択、合成等してモニター等に表示させる。

撮像装置を複数台用いる場合、３６０度方向の撮像が可能な魚眼レンズ以外の撮像装置は４つ限られず、Ｌサイド方向用撮像装置およびＲサイド方向用撮像装置の組み合わせでもよい。また、魚眼レンズと、リア方向用撮像装置、Ｌサイド方向用撮像装置およびＲサイド方向用撮像装置という組み合わせでもよい。

また、自動車に限られず、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクターなど移動体においても同様に本技術を適用可能である。

本技術は以下のような構成も取ることができる。
（１）
撮像領域における注視領域を設定し、
対象物の状態に応じて前記注視領域から表示する領域を決定する
情報処理装置。
（２）
前記注視領域に対応する検出領域を設定し、
前記対象物の前記検出領域における特徴量に基づいて複数の前記注視領域を合成して表示する領域とする（１）に記載の情報処理装置。
（３）
前記特徴量は、前記検出領域内における前記対象物を構成する画素数に基づく値である（２）に記載の情報処理装置。
（４）
前記対象物が複数の前記検出領域のうちのいずれか１つの検出領域に存在している状態では、前記対象物が存在する前記１つの検出領域に対応した１つの前記注視領域を表示する領域とする（２）に記載の情報処理装置。
（５）
前記対象物が複数の前記検出領域のうちの２以上の検出領域に存在している状態では、前記対象物が存在する前記２以上の検出領域のそれぞれに対応した２以上の前記注視領域を合成して表示する領域とする（２）に記載の情報処理装置。
（６）
前記特徴量は、前記対象物が前記検出領域において一の状態から他の状態に変化する場合における該変化の度合いである（２）に記載の情報処理装置。
（７）
前記特徴量に応じて、表示されている前記注視領域と、前記被写体の状態が変化した前記検出領域に対応した前記注視領域とを合成して表示する領域とする（６）に記載の情報処理装置。
（８）
前記対象物が前記複数の検出領域のうちの２以上の検出領域に存在している状態で所定時間が経過した場合、前記２以上の検出領域に対応した２以上の前記注視領域を表示する領域とする（２）に記載の情報処理装置。
（９）
前記対象物が２つの前記検出領域に存在している状態で所定時間が経過した場合、２つの前記検出領域に対応した２つの前記注視領域の境界が表示装置の表示領域の略中央に位置するように表示させる（８）に記載の情報処理装置。
（１０）
前記撮像領域を撮像する撮像装置のレンズに対する入射方向に正対していない前記注視領域に射影変換処理を施す（１）から（９）のいずれかに記載の情報処理装置。
（１１）
前記合成は、前記撮像領域を撮像した映像を構成するフレーム画像ごとに行われる（２）から（１０）のいずれかに記載の情報処理装置。
（１２）
前記撮像領域は、１台の撮像装置により撮像される（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
前記撮像領域は、前記１台の撮像装置により全ての前記注視領域を画角内に収めるよう領域である（１２）に記載の情報処理装置。
（１４）
前記撮像領域は、複数台の撮像装置により撮像される（１）から（１３）のいずれかに記載の情報処理装置。
（１５）
前記対象物は、前記撮像領域中において検出された被写体である（１）から（１４）のいずれかに記載の情報処理装置。
（１６）
前記対象物は、前記撮像領域中において予め指定された被写体である（１）から（１４）のいずれかに記載の情報処理装置。
（１７）
表示装置に前記注視領域を示すアイコンを表示させる（１）から（１６）に記載の情報処理装置。
（１８）
撮像領域における注視領域を設定し、
対象物の状態に応じて前記注視領域から表示する領域を決定する
情報処理方法。
（１９）
撮像領域における注視領域を設定し、
対象物の状態に応じて前記注視領域から表示する領域を決定する
情報処理方法をコンピュータに実行させる情報処理プログラム。

２０・・・・撮像装置
３０・・・・表示装置
１００・・・情報処理装置

Claims (19)

1. 撮像領域において複数の注視領域を設定し、
   複数の前記注視領域のそれぞれに対応する検出領域を前記注視領域単位で設定し、
   前記撮像領域に存在する対象物が複数の前記検出領域のうちの２以上の検出領域に存在している場合、前記対象物が存在する前記２以上の検出領域に対応した２以上の前記注視領域を連結して連結注視領域を作成し、前記連結注視領域を表示する領域とする
   情報処理装置。
2. 前記対象物が前記複数の検出領域のうちの２以上の検出領域に存在している状態で所定時間が経過した場合、前記２以上の検出領域に対応した２以上の前記注視領域を連結して連結注視領域を作成し、前記連結注視領域を表示する領域とする
   請求項１に記載の情報処理装置。
3. 前記対象物が２つの前記検出領域に存在している状態で所定時間が経過した場合、２つの前記検出領域に対応した２つの前記注視領域の境界が表示装置の表示領域の略中央に位置するように表示させる
   請求項２に記載の情報処理装置。
4. 前記対象物の前記検出領域における特徴量に基づいて表示する領域を決定する場合、前記対象物が存在する前記２以上の検出領域に対応した２以上の前記注視領域を連結せずに、複数の前記注視領域を前記特徴量の割合に基づいた画素値の加算により合成して表示する領域とする
   請求項１に記載の情報処理装置。
5. 前記特徴量は、前記検出領域内における前記対象物を構成する画素数に基づく値である
   請求項４に記載の情報処理装置。
6. 前記対象物が複数の前記検出領域のうちの２以上の検出領域に存在している状態では、前記対象物が存在する前記２以上の検出領域のそれぞれに対応した２以上の前記注視領域を前記特徴量の割合に基づいた画素値の加算により合成して表示する領域とする
   請求項４または５に記載の情報処理装置。
7. 前記特徴量は、前記対象物が前記検出領域において一の状態から他の状態に変化する場合における該変化の度合いである
   請求項４から６のいずれかに記載の情報処理装置。
8. 前記特徴量に応じて、表示されている前記注視領域と、前記対象物の状態が変化した前記検出領域に対応した前記注視領域とを合成して表示する領域とする
   請求項４から７のいずれかに記載の情報処理装置。
9. 前記合成は、前記撮像領域を撮像した映像を構成するフレーム画像ごとに行われる
   請求項４から８のいずれかに記載の情報処理装置。
10. 前記対象物が複数の前記検出領域のうちのいずれか１つの検出領域に存在している状態では、前記対象物が存在する前記１つの検出領域に対応した１つの前記注視領域を表示する領域とする
    請求項１から９のいずれかに記載の情報処理装置。
11. 前記撮像領域を撮像する撮像装置のレンズに対する入射方向に正対していない非長方形状の前記注視領域に射影変換処理を施して長方形状の前記注視領域に変換する
    請求項１から１０のいずれかに記載の情報処理装置。
12. 前記撮像領域は、１台の撮像装置により撮像される
    請求項１から１１のいずれかに記載の情報処理装置。
13. 前記撮像領域は、前記１台の撮像装置により全ての前記注視領域を画角内に収める領域である
    請求項１２に記載の情報処理装置。
14. 前記撮像領域は、複数台の撮像装置により撮像される
    請求項１から１３のいずれかに記載の情報処理装置。
15. 前記対象物は、前記撮像領域中において検出された被写体である
    請求項１から１４のいずれかに記載の情報処理装置。
16. 前記対象物は、前記撮像領域中において予め指定された被写体である
    請求項１から１４のいずれかに記載の情報処理装置。
17. 表示装置に前記注視領域を示すアイコンを表示させる
    請求項１から１６のいずれかに記載の情報処理装置。
18. 撮像領域において複数の注視領域を設定し、
    複数の前記注視領域のそれぞれに対応する検出領域を前記注視領域単位で設定し、
    前記撮像領域に存在する対象物が複数の前記検出領域のうちの２以上の検出領域に存在している場合、前記対象物が存在する前記２以上の検出領域に対応した２以上の前記注視領域を連結して連結注視領域を作成し、前記連結注視領域を表示する領域とする
    情報処理方法。
19. 撮像領域において複数の注視領域を設定し、
    複数の前記注視領域のそれぞれに対応する検出領域を前記注視領域単位で設定し、
    前記撮像領域に存在する対象物が複数の前記検出領域のうちの２以上の検出領域に存在している場合、前記対象物が存在する前記２以上の検出領域に対応した２以上の前記注視領域を連結して連結注視領域を作成し、前記連結注視領域を表示する領域とする
    情報処理方法をコンピュータに実行させる情報処理プログラム。

Images