JP5114235B2

JP5114235B2 - 画像表示装置，画像表示方法及び撮像装置

Info

Publication number: JP5114235B2
Application number: JP2008027553A
Authority: JP
Inventors: 徹上田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2008-02-07
Filing date: 2008-02-07
Publication date: 2013-01-09
Anticipated expiration: 2028-02-07
Also published as: JP2009188800A; US20090201424A1; US8314888B2

Description

本発明は、撮像している画像の一部に所定の画像を合成して表示する画像表示装置，画像表示方法及び撮像装置に関する。

現在、撮像されているメイン画像の一部に、所定の画像を合成して表示する、所謂、ピクチャー・イン・ピクチャー（PinP）技術が知られている。PinPを用いた画像の表示手法としては、例えば下記文献が知られている。

特許文献１は、通信相手から送信される受信画像の動きに対してPinP合成領域のサイズを変えたり、または、合成処理事態のＯＮ／ＯＦＦを自動で制御するものである。

特許文献２は、ユーザが特に注目するコンテンツ、シーン、被写体をその表示優先度に応じた画面表示領域を記憶し、受信したコンテンツを設定された表示優先度に応じた画面表示領域に、決定した表示優先度に基づいてコンテンツを表示するものである。

特開平５−２５２５１０号公報特開２００５−２８６５９０号公報

ところで、図２０は、PinPを用いて動画を表示している状態を示すものであるが、主画像Aに撮像対象である動体Mを表示するとともに、PinPで合成された副画像Pを表示する場合に、動体Mが時間経過とともに移動し、副画像Pが合成された位置と重なってしまい、撮像対象である動体Mを適正に表示できなくなるため、使用者にとって見づらくなることがあった。

本発明は、上記事情に鑑みてなされたもので、その目的は、動画撮像時において、移動する被写体を含む画像の中にPinPで所定の画像を合成する際に、視認上、適正な位置にPinPの合成領域を設定することができる画像表示装置，画像表示方法及び撮像装置を提供することにある。

本発明の上記目的は、下記構成によって達成される。
（１）主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示装置であって、前記主画像において相対的に移動する動体を検出する動体検出手段と、前記動体検出手段により検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を合成する副画像合成領域を決定する合成領域決定手段とを有する画像表示装置。
（２）前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出する（１）に記載の画像表示装置。
（３）前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する（１）又は（２）に記載の画像表示装置。
（４）前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する（１）又は（２）に記載の画像表示装置。
（５）前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない（１）から（４）のいずれか１つに記載の画像表示装置。
（６）主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示方法であって、前記主画像において相対的に移動する動体を検出するステップと、前記動体を検出するステップにより検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を表示する副画像合成領域を決定するステップとを有する画像表示方法。
（７）前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出するステップを有する（６）に記載の画像表示方法。
（８）前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する（６）又は（７）に記載の画像表示方法。
（９）前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する（６）又は（７）に記載の画像表示方法。
（１０）前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない請求項（６）〜（９）のいずれか１項記載の画像表示方法。
（１１）（１）〜（５）のいずれか１項記載の画像表示装置と、前記主画像及び前記副画像のうち少なくとも一方を撮像する撮像部と、を有することを特徴とする撮像装置。

ここで、動体とは、主画像において相対的に移動するものを意味し、被写体自身が移動しているものに限定されず、例えば、撮像装置を撮像時に所定の速度で移動させたときに、主画像に対してその位置が移動して表示される静止した被写体を含む。

本発明は、主画像において相対的に移動する動体を検出し、その動体の移動する方向に基づいて、主画像における該動体が移動すると予測される動体移動領域を決定している。このとき、動体移動領域には時間経過によっていずれ動体が表示される領域であるため、動体移動領域の情報に基づいて、動体移動領域以外の領域に副画像を合成することで、合成された副画像と動体とが重なって表示されてしまうことを回避することができる。こうすれば、副画像を主画像における動体と重なることがない適性な位置に自動的に合成することができ、主画像及び副画像を快適に閲覧することができ、また、使用者は自身で副画像の合成領域を設定するなどの処理をする必要がないため、使い勝手がよい。

本発明によれば、移動する被写体を含む画像の中にPinPで所定の画像を合成する際に、視認上、適正な位置にPinPの合成領域を設定することができる画像表示装置，画像表示方法及び撮像装置を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、本発明にかかる画像表示装置及び撮像装置の一例を示す構成図である。以下の実施形態では、デジタルカメラの構成を例に説明するが、画像表示装置及び撮像装置は特にこれに限定されない。

デジタルカメラ１は、被写体を撮像する撮像部１０を備えている。撮像部１０には、レンズなどを含む光学ユニット１１と、入射光に応じて画像データを生成する固体撮像素子（ＣＣＤ）１２と、固体撮像素子１２で生成されたアナログ信号の画像データが入力されるアナログ信号処理部１３と、信号処理されたアナログ信号をデジタル信号に変換するＡ／Ｄ変換部１４と、Ａ／Ｄ変換部１４からの入力信号に基づいてデジタル画像データを生成する画像入力コントローラ１５と、光学ユニット１１を駆動するモータ駆動部１６と、駆動時に固体撮像素子の駆動信号を生成して出力するタイミングジェネレータ１７と、を備えている。

また、デジタルカメラ１は、ＣＰＵ４２と、フラッシュ４４と、フラッシュ４４の充電部４３とを備えている。撮像部１０とＣＰＵ４２とはバスを介して接続されている。

ＣＰＵ４２にバスを介して表示部（６ＬＣＤ）インターフェース部２１と、メモリインターフェース部２３と、圧縮伸張回路２５とが接続されている。表示部（６ＬＣＤ）インターフェース部２１には、撮像画像を表示する表示部として機能するＬＣＤ２２が接続されている。また、メモリインターフェース部２３にはＲＡＭ（Random Access Memory）２４ａ及びＲＯＭ（Read Only Memory）２４ｂを含むメモリ２４が接続されている。

本実施形態のデジタルカメラ１は、動画撮影時に、撮像している画像に、さらに、該画像よりも小さい別の画像を合成し、ＬＣＤ２２で表示することができる。ここで、本発明では、動画撮影時に、撮影している画像を主画像とし、該主画像に合成される別の画像を副画像とする。副画像としては、例えば、ピクチャー・イン・ピクチャーで表示される画像を含み、単に画像だけでなく、文字情報、アニメーション、模様、記号であってもよい。

デジタルカメラ１は、主画像の領域において相対的に移動する動体（例えば、歩いている人物）を検出する動体検出演算部２６を備えている。動体検出演算部２６は、動画撮像時に、所定の間隔ごとの主画像の差分データから動体を検出する。差分データとしては、主画像における座標情報を用いることができ、この座標情報によって主画像における動体の位置を表すことができる。なお、動体検出の手法としては、従来のものを用いることができる。

また、デジタルカメラ１は、動体検出演算部２６で検出された差分データに基づいて、動体の移動ベクトルを算出し、動体の移動する方向、及び、移動速度を算出することができる動体予測情報演算部３４とを備えている。

さらに、デジタルカメラ１は、動体予測情報演算部３４で求められた動体の移動する方向及び移動速度に基づいて、主画像における副画像（以下の実施形態では、PinPともいう。）を合成する副画像合成領域（以下の実施形態では、PinP合成領域ともいう。）を決定するPinP合成領域演算部３２と、PinP合成領域演算部３２によって求められたPinP合成領域に副画像を合成するPinP合成部２８とを備えている。主画像における副画像を合成する領域を決定する手順については後述する。

本発明にかかる第１実施形態を図面に基づいて説明する。
図２は、本実施形態の手順を示すフローチャートである。図３は、図２の手順で示される主画像及び副画像の状態を説明する図である。図４は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。

図２に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部２６によって主画像に動体が存在するか否かを判別する。ここで、動体とは、主画像において相対的に移動するものを意味し、被写体が移動しているものに限定されず、例えば、デジタルカメラ１を撮像時に所定の速度で移動させたときに、主画像において移動して表示される静止した被写体を含む。

動体が検出された場合には、動体の進行方向を予測するステップへ移る。動体が検出されなかった場合には、主画像に合成された副画像を表示する副画像合成領域を移動することなく、処理を終了する。

図４（ａ）は、複数の領域に分割された主画像において、主画像のどの領域に動体M１と、副画像を表示する副画像合成領域Ｐがあるかを示している。主画像を分割した複数の領域の数や大きさは特に限定されず、撮像対象とする被写体や合成する副画像の大きさ等に応じて適宜設定することができる。

動体の進行方法は、動体予測情報演算部において、例えば、動体の移動ベクトルに基づいて決定される。フレーム間の動体の差分データに基づき、所定時間における動体の移動した方向を演算することで、動体の進行方向を求めることができる。

図４（ｂ）に示すように、求められた動体の進行方向によって、時間経過とともに、主画像における動体が移動する領域を特定する。図４（ｂ）において、トーンで示す領域は動体が移動する領域を示している。この動体が移動する領域を以下、動体移動領域という。

動体の進行方向を予測した後、動体の進行方向に副画像を合成する領域が重複して存在するか否かを判別する。具体的には、図４（ｂ）に示すように、動体移動領域に副画像合成領域Ｐが存在する場合には、動体の進行方向に副画像を合成する領域が重複して存在すると判断する。動体移動領域に副画像合成領域Pが存在しない場合には、副画像合成領域Ｐを移動せず処理を終了する。主画像Ａに副画像がまだ合成されていない場合には、上記手順によってデフォルトで設定された副画像合成領域が動体移動領域に重複しないかを判別し、重複しない場合に、その領域に合成し、ＬＣＤ２２に表示することができる。

動体の進行方向に副画像を合成する領域が重複して存在する場合には、図４（ｃ）に示すように主画像Ａにおける動体移動領域以外の領域を演算により指定し、所定の領域に副画像合成領域Ｐを移動して合成及び表示処理を行う。こうすることで、図３に示すように、主画像Ａにおける動体Ｍ１の表示が副画像合成領域Ｐと重なることを回避することができる。

主画像Ａにおいて相対的に移動する動体Ｍ１を検出し、その動体Ｍ１の移動する方向に基づいて、主画像Ａにおける該動体Ｍ１が移動すると予測される動体移動領域Ｐを決定している。このとき、動体が表示される領域である動体移動領域Ｐの情報に基づいて、動体移動領域Ｐ以外の領域に副画像を合成することで、合成された副画像と動体とが重なって表示されてしまうことを回避することができる。こうすれば、副画像を主画像Ａにおける動体Ｍ１と重なることがない適性な位置に自動的に合成することができ、主画像Ａ及び副画像を快適に閲覧することができ、また、使用者は自身で副画像を合成する領域を手動で設定するなどの処理をする必要がないため、使い勝手がよい。

次に、本発明にかかる第２実施形態を図面に基づいて説明する。
上記第１実施形態では、動体が単体である場合において副画像合成領域を決定する手順を説明したが、本実施形態では、動体が複数個ある場合において副画像合成領域を決定する手順を説明する。

図５は、本実施形態の手順を示すフローチャートである。図６は、本実施形態の手順を用いない場合の主画像と副画像の状態を説明する図である。図７は、図５の手順で示される主画像及び副画像の状態を説明する図である。図８は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。

図５に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部２６によって主画像に動体が存在するか否かを判別する。動体があると判別された場合には、動体が複数あるか否かを判別する。動体が単数である場合には、図２で示す上記実施形態と同様の処理手順によって副画像合成領域を決定することができる。

動体が複数あると検出された場合には、複数の動体のそれぞれについて、その進行方向を予測するステップへ移る。なお、図６及び図７では、主画像Ａに２個の動体Ｍ１，Ｍ２が表示されている場合を示している。図８（ａ）では、主画像Ａにおける分割された領域に、動体Ｍ１，Ｍ２及び副画像合成領域Ｐを設定した状態を示している。

次のステップにおいて、それぞれの動体Ｍ１，Ｍ２ごとに動体移動領域を算出するとともに（図８（ｂ））、複数個の動体の進行方向が全て同じか否かを判別する。ここで、複数個の動体Ｍ１，Ｍ２の進行方向が全て同じではない場合には、複数個の動体Ｍ１，Ｍ２のうちいずれかを注目動体（本実施形態では動体Ｍ１）に設定する。ここで、注目動体の設定の仕方は特に限定されず、大きさや移動速度等に基づいて自動的に決定してもよい。

複数個の動体Ｍ１，Ｍ２の進行方向が全て同じ場合には、複数個の動体Ｍ１，Ｍ２のうち最も早く副画像合成領域Ｐに到達する動体を注目動体とする。ここで、動体Ｍ１，Ｍ２の到達する時間は、上記差分データに基づき算出することができる。図７においては、複数個の動体Ｍ１，Ｍ２のうち、動体Ｍ１の方が動体Ｍ２に比べて現在の複画像合成領域Ｐに早く到達するため、動体Ｍ１を注目動体に設定している。

図８（ｂ）及び（ｃ）に示すように、注目動体に設定された動体Ｍ１の動体移動領域に副画像合成領域Ｐが設定されている場合には、動体Ｍ１の動体移動領域及び動体Ｍ２の動体移動領域に重ならない領域を演算により算出し、副画像合成領域Ｐを変更する。

このように、本実施形態では、複数個の動体Ｍ１，Ｍ２が主画像Ａに存在する場合に、複数個の動体Ｍ１，Ｍ２から注目動体を設定し、該注目動体に対して副画像合成領域Ｐを決定することで、主画像に複数個の動体Ｍ１，Ｍ２が存在する場合であっても、いずれの動体も副画像合成領域Ｐに重なって見にくくなることがない。例えば、図６に示すように、複数個の動体（例えば、走る人間）Ｍ１，Ｍ２が所定の位置（例えば、ゴール）へ移動する場合に、所定の位置に副画像合成領域Ｐが表示されつづけると、動体Ｍ１が副画像合成領域Ｐと重なりあってしまう。そこで、本実施形態の手順によって動体Ｍ１を注目動体に設定し、副画像合成領域Ｐを決定すれば、動体Ｍ１と副画像合成領域Ｐと重なりあってしまうことを回避できる。

次に、本発明にかかる第３実施形態を図面に基づいて説明する。
上記第２実施形態では、複数の動体の移動方向が同じである場合において副画像合成領域を決定する手順を説明したが、複数の動体の移動方向がそれぞれ異なる場合でも以下の手順によって副画像合成領域を決定することができる。図９は、本実施形態の手順を示すフローチャートである。図１０は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図１１は、図９の手順を用いた場合において、主画像及び副画像の状態を説明する図である。図１２は、本実施形態において、副画像を合成する領域を決定する手順を示す図である。

図９に示すように、最初に、動画撮像を開始して、主画像に副画像を合成する処理が設定されると、動体検出演算部２６によって主画像に動体が存在するか否かを判別する。動体があると判別された場合には、動体が複数あるか否かを判別する。動体が単数である場合には、図２で示す上記実施形態と同様の処理手順によって副画像合成領域Ｐを決定することができる。

動体が複数あると検出された場合には、複数の動体のそれぞれについて、その進行方向を予測するステップへ移る。なお、図１０及び図１１では、主画像Ａに２個の動体Ｍ１，Ｍ２が表示されている場合を示している。図１０及び図１１に示すように、本実施形態では、複数の動体Ｍ１，Ｍ２がそれぞれ異なる方向に移動している。また、図１２（ａ）では、主画像Ａにおける分割された領域に、動体Ｍ１，Ｍ２及び副画像合成領域Ｐを設定した状態を示している。

本実施形態では、複数の動体Ｍ１，Ｍ２のうちいずれかを注目動体に設定する。ここで、注目動体に決定する基準は特に限定されず、例えば、それぞれの動体Ｍ１，Ｍ２の移動速度、移動量、動体の大きさ等を基準として用いることができる。

次に、注目動体に設定された動体Ｍ１の動体移動領域に副画像合成領域Ｐが設定されているか否かを判別する。動体Ｍ１の動体移動領域に副画像合成領域Ｐが設定されていない場合には、副画像合成領域Ｐを変更することなく処理を終了する。

一方、図１２（ｂ）に示すように、注目動体に設定された動体Ｍ１の動体移動領域に副画像合成領域Ｐが設定されている場合には、続いて、主画像Ａにおける動体Ｍ１の動体移動領域以外の領域を演算によって算出する。そして、動体移動領域以外の領域のうち、更に他の動体Ｍ２の動体移動領域に重なっていないかを判別する。本実施形態では、動体が２個である場合において説明しているが、３個以上である場合には、全ての動体の動体移動領域に対して、副画像合成領域Ｐを移動させる領域が重ならないかを判別する。ここで、動体の動体移動領域に対して移動させた副画像合成領域Ｐが重なってしまう場合には、副画像合成領域Ｐを変更できないと判断して、処理を終了する。

図１２（ｃ）に示すように、他の動体Ｍ２の動体移動領域に重ならない領域がある場合には、その領域に副画像合成領域Ｐを変更し、該副画像を合成し、ＬＣＤ２２に表示する。

本実施形態によれば、図１１に示すように、主画像Ａに複数の動体Ｍ１，Ｍ２が存在し、かつ、それら動体Ｍ１，Ｍ２がそれぞれ異なる方向に移動する場合に、注目動体Ｍ１と副画像とが重なって表示されることがなく、また、副画像を移動させた場合に、他の動体Ｍ２と重なって表示されることを回避することができる。

次に、本発明にかかる第４実施形態を図面に基づいて説明する。
図１３は、本実施形態の手順を示すフローチャートである。図１４は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図１５は、図１３に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。図１４及び図１５は、主画像Ａに副画像合成領域Ｐを設定した状態を示しており、主画像Ａに複数（図では３個）の動体Ｍ１，Ｍ２，Ｍ３が存在している。図１６（ａ）は、複数の領域に分割された主画像Ａにおいて動体Ｍ１，Ｍ２，Ｍ３の位置と、副画像合成領域が設定されている状態を示している。図１６（ｂ）は、動体Ｍ１，Ｍ２，Ｍ３のそれぞれの動体移動領域を示している。図１６（ｃ）は、副画像合成領域Ｐを他の領域に変更した後の状態を示している。

本実施形態は、図１６（ａ）に示すように、主画像Ａにおいて複数の動体Ｍ１，Ｍ２，Ｍ３を検出した場合に、いずれか一つの動体Ｍ１，Ｍ２，Ｍ３を注目動体に設定し、注目動体の動体移動領域と副画像合成領域Ｐとが重なる場合に、注目動体及び他の動体の動体移動領域以外の領域に副画像合成領域Ｐを変更する点で、上記実施形態と同様の処理を実行する。上記実施形態と同じ処理についは説明を省略する。

本実施形態では、注目動体Ｍ１の動体移動領域と副画像合成領域Ｐとが重なる場合であって、かつ、他の動体Ｍ２，Ｍ３の動体移動領域と副画像合成領域Ｐとが重なる場合に、該他の物体Ｍ２，Ｍ３が副画像合成領域Ｐと重なる領域に到達する時間を算出する点で、上記実施形態と異なっている。他の物体Ｍ２，Ｍ３が副画像合成領域Ｐと重なる領域に到達する時間は、例えば、該他の物体Ｍ２，Ｍ３の差分データに基づいて移動ベクトルを算出し、該移動ベクトルから速度を求めることで算出することができる。

他の物体が副画像合成領域Ｐと重なる領域に到達する時間が予め設定されたしきい値以上である場合には、副画像合成領域Ｐの変更を実行する。一方で、他の物体が副画像合成領域Ｐと重なる領域に到達する時間がしきい値未満である場合には、未だ判別を行っていない他の領域の有無を判別し、更に、その領域が他の動体の動体移動領域と重ならないか判別し、重なる場合に、上記と同様に他の物体Ｍ２，Ｍ３が副画像合成領域Ｐと重なる領域に到達する時間としきい値に基づく判定処理を実行する。副画像合成領域Ｐが、他の動体Ｍ２，Ｍ３の動体移動領域と重なってしまう場合であって、かつ、その重なる領域に動体Ｍ２，Ｍ３が到達する時間がいずれもしきい値未満である場合には、副画像合成領域Ｐを変更できないと判断して、処理を終了する。

図１４に示すように、主画像Ａに複数の動体Ｍ１，Ｍ２，Ｍ３が存在する場合には、注目動体Ｍ１の動体移動領域以外の領域が全て他の動体Ｍ２，Ｍ３の動体移動領域と重なってしまい、副画像合成領域Ｐが変更できない場合がある。そこで、上記手順に示すように、他の動体が、副画像合成領域Ｐを変更しようとしている領域に到達する時間がしきい値以上であれば、副画像合成領域Ｐを変更することを許容することで、注目動体Ｍ１が副画像と重なってしまうことを回避することができる。

次に、本発明にかかる第５実施形態を図面に基づいて説明する。
図１７は、本実施形態の手順を示すフローチャートである。図１８は、本実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図１９は、図１７の手順を用いた場合において、主画像及び副画像の状態を説明する図である。

図１８に示すように、最初に主画像Ａに複数の動体Ｍ１が表示されている状態で、短時間の間に動体Ｍ２が主画像Ａに表示される場合には、動体Ｍ１，Ｍ２の移動速度が早いと、副画像合成領域の変更も短時間の間に繰り返し実行され、該副画像合成領域の位置が著しく変化してしまうことが考えられる。このような場合には、使用者にとって主画像Ａ及び副画像がかえって見づらくなる。そこで、本実施形態では、動体Ｍ１，Ｍ２の速度に基づいて副画像合成領域を決定するものである。

図１７に示すように、最初に、主画像Ａに動体Ｍ１，Ｍ２が存在しているか否かを判別し、存在している場合には、動体Ｍ１，Ｍ２の速度を計算する。ここで、動体Ｍ１，Ｍ２の速度は、動体Ｍ１，Ｍ２のフレーム間の差分データに基づいて算出することができる。そして、複数の動体Ｍ１，Ｍ２のうち注目動体の速度（動体が１個である場合には、その速度）がしきい値以下であるか否かを判別する。注目動体の速度がしきい値以下である場合には、図１３で示す実施形態と同様に、注目動体及び他の動体の動体移動領域を算出し、これら動体移動領域以外の領域に副画像合成領域Ｐを変更する。注目動体の速度がしきい値を超える場合には、副画像合成領域Ｐの変更を実行せず、処理を終了する。

本実施形態によれば、図１９に示すように、主画像Ａに早い移動速度で動体Ｍ１，Ｍ２が表示され場合に、副画像合成領域Ｐが短時間で変更されてしまうことを回避し、主画像Ａにおける一定の位置に固定される。このため、主画像Ａに対して副画像の位置が著しく移動することを回避できるため、見づらくなることを防止することができる。

なお、本発明は、前述した実施形態に限定されるものではなく、適宜な変形、改良などが可能である。
例えば、上記実施形態では、撮像装置の一例としてデジタルカメラの構成を用いて説明したが、これに限定されない。また、本発明は、撮像部を備えていない構成であって、外部から動画データを取り込み、主画像及び副画像を表示するＬＣＤ等の表示部を備えた構成の画像表示装置であってもよい。

本発明にかかる画像表示装置及び撮像装置の一例を示す構成図である。第１実施形態の手順を示すフローチャートである。図２の手順で示される主画像及び副画像の状態を説明する図である。第１実施形態において、副画像を合成する領域を決定する手順を示す図である。第２実施形態の手順を示すフローチャートである。第２実施形態の手順を用いない場合の主画像と副画像の状態を説明する図である。図５に示す手順で示される主画像及び副画像の状態を説明する図である。第２実施形態において、副画像を合成する領域を決定する手順を示す図である。第３実施形態の手順を示すフローチャートである。第３実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図９の手順を用いた場合において、主画像及び副画像の状態を説明する図である。第３実施形態において、副画像を合成する領域を決定する手順を示す図である。第４実施形態の手順を示すフローチャートである。図１３に示す実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図１３に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。第４実施形態において、副画像を合成する領域を決定する手順を示す図である。第５実施形態の手順を示すフローチャートである。第５実施形態の手順を用いない場合において、主画像と副画像の状態を説明する図である。図１７に示す手順を用いた場合において、主画像及び副画像の状態を説明する図である。従来のPinPを用いて動画を表示している状態を示すものである。

符号の説明

１デジタルカメラ（撮像装置）
１０撮像部
２６動体検出演算部
２８副画像（PinP）合成部
３２副画像（PinP）合成領域演算部
３４動体予測情報演算部

Claims

主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示装置であって、
前記主画像において相対的に移動する動体を検出する動体検出手段と、
前記動体検出手段により検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を合成する副画像合成領域を決定する合成領域決定手段とを有する画像表示装置。
前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出する請求項１に記載の画像表示装置。
前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する請求項１又は２に記載の画像表示装置。
前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する請求項１又は２に記載の画像表示装置。
前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない請求項１から４のいずれか１つに記載の画像表示装置。
主画像と、前記主画像の一部の領域に合成された副画像とを表示する画像表示方法であって、
前記主画像において相対的に移動する動体を検出するステップと、
前記動体を検出するステップにより検出された動体が複数ある場合に、各動体の移動する方向に基づいて、前記主画像における該各動体が移動すると予測される動体移動領域を決定し、前記複数の動体の各々の移動速度と前記動体移動領域の情報に基づいて前記副画像を表示する副画像合成領域を決定するステップとを有する画像表示方法。
前記動体の移動ベクトルに基づいて、該動体の移動する方向及び移動速度を算出するステップを有する請求項６に記載の画像表示方法。
前記複数の動体のうち、最も早く前記副画像を合成する領域に到達するものを前記移動速度から求めて注目動体とし、前記注目動体が移動すると予測される動体移動領域以外の領域に前記副画像合成領域を決定する請求項６又は７に記載の画像表示方法。
前記複数の動体のいずれかを注目動体とし、前記注目動体の前記動体移動領域以外の領域に前記副画像合成領域を決定し、決定した副画像合成領域が他の動体の前記動体移動領域と重複するかを判別して、重複する場合に、他の動体が前記決定した副画像合成領域に到達するまでの時間を前記他の動体の移動速度から算出し、前記到達するまでの時間が一定以上の場合には、前記他の物体の前記動体移動領域と重複する領域に前記副画像合成領域を設定する請求項６又は７に記載の画像表示方法。
前記動体の移動速度が予め定められた値より大きい場合には、前記副画像合成領域を変更しない請求項６〜９のいずれか１項記載の画像表示方法。
請求項１〜５のいずれか１項記載の画像表示装置と、
前記主画像及び前記副画像のうち少なくとも一方を撮像する撮像部と、を有することを特徴とする撮像装置。