JP4516536B2 - 動画生成装置、動画生成方法、及びプログラム - Google Patents

Description

本発明は、動画生成装置、動画生成方法、及びプログラムに関する。特に本発明は、動画を生成する動画生成装置及び動画生成方法、並びに、動画生成装置用のプログラムに関する。

従来、動画の記録中に静止画を撮影しても滑らかな動きのある動画を得るムービ・スチル・カメラがある（例えば、特許文献１参照。）。この技術によると、一駒が水平方向６４０画素、垂直方向４８０画素をもつ動画データが一定周期で得られる。そして、動画データを記録中にレリーズボタンが押されると、水平方向１２８０画素、垂直方向９６０画素の静止画像データが取得され、メモリ・カードに記録される。このとき、静止画像データから、動画用の一駒の画像と同じ大きさをもつ縮小画像が生成され、静止画像データが得られた位置に挿入される。
特開２００３−２１９３４１号公報

しかしながら、特許文献１の技術によると、ユーザがレリーズボタンを押したタイミング以外のタイミングにおける静止画像を閲覧したいときには、静止画像データよりも解像度の劣る動画データの一駒から静止画像データを生成する必要がある。ユーザにとっては、動画を楽しむのと同時に、ユーザの欲する任意のタイミングにおける鮮明な静止画像を鑑賞できるのが望ましい。鮮明な静止画像を得るためには、動画向けの露光時間より短い露光時間で撮像されるのが望ましい。しかし、露光時間を短くして撮像された静止画像を動画用の一駒の画像として再生すると、被写体の動きがぎこちないものになってしまうという課題があった。

そこで本発明は、上記の課題を解決することができる動画生成装置、動画生成方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における動画生成装置は、所定の露光時間で連続して撮像された複数の撮像画像を格納する画像格納部と、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出部と、動き算出部が算出した被写体の動きに応じて、一の撮像画像に含まれる被写体の領域画像のぼけ量を他の領域画像のぼけ量より大きくすべく、前記複数の撮像画像に画像処理を施して、一の撮像画像からフレーム画像を生成するフレーム画像生成部と、フレーム画像生成部が複数の撮像画像のそれぞれに対応させてそれぞれ生成した複数のフレーム画像を動画として記録する動画記録部とを備える。

フレーム画像生成部は、一の撮像画像に含まれる被写体が動いている方向に対してぼかし処理を施して、一の撮像画像からフレーム画像を生成してよい。フレーム画像生成部は、動き算出部が算出した被写体の動きに応じて、一の撮像画像が撮像されたときの露光時間より長い露光時間で撮像された撮像画像を表すように、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成してよい。

動き算出部が算出した被写体の動きに基づいて、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間に被写体が撮像された場合に撮像され得る予測画像を生成する予測画像生成部をさらに備え、フレーム画像生成部は、予測画像生成部が生成した予測画像を一の撮像画像に重ね合わせることにより、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成してよい。

予測画像生成部は、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間に所定間隔で連続して被写体が撮像された場合に撮像され得る複数の予測画像を生成し、フレーム画像生成部は、予測画像生成部が生成した複数の予測画像を一の撮像画像に重ね合わせることにより、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成してよい。

所定の露光時間で撮像画像を連続して撮像する撮像部をさらに備え、画像格納部は、撮像部が撮像した複数の撮像画像を格納してよい。動画記録部が記録している複数のフレーム画像を連続して表示して動画として再生する動画再生部をさらに備えてよい。

動き算出部は、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間で被写体が動いた動き量を算出し、フレーム画像生成部は、動き算出部が算出した被写体の動き量がより大きい場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成してよい。

動き算出部は、複数の撮像画像における被写体の位置の変化及び複数の撮像画像が撮像された時刻に基づいて、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間における被写体の動きの速度を算出し、フレーム画像生成部は、動き算出部が算出した被写体の速度の大きさがより大きい場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成してよい。

動画記録部が記録している複数のフレーム画像が表示される表示画面における被写体の位置と、表示画面に表示された複数のフレーム画像を観察する観察者の位置との間の距離を取得する距離取得部をさらに備え、フレーム画像生成部は、距離取得部がより小さい距離を取得した場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成してよい。

動画記録部が観察者に３次元表示による動画を観察させるべく複数のフレーム画像を記録する場合に、観察者の視点と動き算出部が動きを算出した被写体との間の３次元表示の表示空間における距離を取得する距離取得部をさらに備え、フレーム画像生成部は、距離取得部がより小さい距離を取得した場合に、一の撮像画像に含まれる当該被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成してよい。

本発明の第２の形態における動画生成方法は、動画のフレーム周期より短い露光時間で連続して撮像された複数の撮像画像を格納する画像格納段階と、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出段階と、動き算出段階において算出された被写体の動きに応じて、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成するフレーム画像生成段階と、フレーム画像生成段階において複数の撮像画像のそれぞれに対応させてそれぞれ生成された複数のフレーム画像を動画として記録する動画記録段階とを備える。

本発明の第３の形態によると、動画を生成する動画生成装置用のプログラムであって、動画生成装置を、動画のフレーム周期より短い露光時間で連続して撮像された複数の撮像画像を格納する画像格納部、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出部、動き算出部が算出した被写体の動きに応じて、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成するフレーム画像生成部、フレーム画像生成部が複数の撮像画像のそれぞれに対応させてそれぞれ生成した複数のフレーム画像を動画として記録する動画記録部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、撮像された静止画像から、滑らかに再生される動画データを生成することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る動画生成装置１６０の利用環境の一例を示す。図１では、カメラを動画生成装置１６０の一例として示す。動画生成装置１６０は、動画を撮像する場合の露光時間よりも短い露光時間で連続的に被写体を撮像して、撮像された複数の撮像画像を記録する。そして、動画生成装置１６０は、撮像された画像から被写体の動きを判断して、被写体が動く方向に被写体をぼかす処理を施すことによって、動画用のフレーム画像を擬似的に生成して記録する。そして、動画生成装置１６０は、ユーザ１８０から動画を再生するよう指示されると、生成したフレーム画像を連続して再生し、ユーザ１８０から任意のタイミングで撮像された静止画を表示するよう指示されると、指示されたタイミングで撮像された撮像画像を表示する。

なお、動画生成装置１６０は、デジタルスチルカメラ、カメラ付携帯電話、ＰＤＡ等であってよい。そして、動画生成装置１６０は、生成した動画を例えばモニタ画面等の表示デバイスに出力させてよいし、生成したフレーム画像を含む動画データを外部に出力してもよい。また、動画生成装置１６０は、パーソナルコンピュータ、電子アルバム、ＨＤＴＶ等であってよく、カメラから複数の画像を受け取って動画用のフレーム画像を生成して、動画として記録又は表示するなどして出力してよい。なお、本実施形態におけるフレーム画像とは動画を構成する動画構成画像を意味し、例えば複数の画像によって１フレームの画像を表現するフィールド画像を含む概念である。

以上説明した動画生成装置１６０によれば、滑らかに再生される動画をユーザ１８０に提供することができるとともに、任意のタイミングにおける鮮明な静止画をユーザ１８０に提供することができる。したがって、例えばユーザ１８０がスポーツ観戦に行ったときに動画生成装置１６０を用いて撮像しておけば、ユーザ１８０は静止画を撮るシャッタチャンスに気をとられることなくスポーツ観戦を十分に楽しむことができる。そしてユーザ１８０は、動画及び静止画を後でゆっくりと鑑賞することができる。

図２は、動画生成装置１６０のブロック構成の一例を示す。動画生成装置１６０は、撮像部２０２、画像格納部２４０、動き算出部２４２、予測画像生成部２４４、フレーム画像生成部２４６、動画記録部２４８、及び動画再生部２５０を備える。

撮像部２０２は、所定の露光時間で撮像画像を連続して撮像する。例えば、撮像部２０２は、動画のフレーム周期より短い露光時間で撮像画像を連続して撮像する。具体的には、撮像部２０２は、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。例えば、１／６０秒周期で動画のフレーム画像が取得されるべき場合に、撮像部２０２は、１／６０秒で動画の一フレーム画像を取得するときの露光時間より短い時間の露光時間で撮像画像を連続して撮像する。このとき、撮像部２０２は、絞りを制御して、当該動画のフレーム画像と略同一の明るさの撮像画像を撮像する。

画像格納部２４０は、所定の露光時間で連続して撮像された複数の撮像画像を格納する。例えば、画像格納部２４０は、動画のフレーム周期より短い露光時間で連続して撮像された複数の撮像画像を格納する。より具体的には、画像格納部２４０は、撮像部２０２が撮像した複数の撮像画像を格納する。

動き算出部２４２は、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間の被写体の動きを算出する。例えば、動き算出部２４２は、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間の一以上のタイミングにおける被写体の位置を算出する。

予測画像生成部２４４は、動き算出部２４２が算出した被写体の動きに基づいて、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間に被写体が撮像された場合に撮像され得る予測画像を生成する。

フレーム画像生成部２４６は、動き算出部２４２が算出した被写体の動きに応じて、一の撮像画像に含まれる被写体の領域画像のぼけ量を他の領域画像のぼけ量より大きくすべく、複数の撮像画像に画像処理を施して、一の撮像画像から動画のフレーム画像を生成する。具体的には、フレーム画像生成部２４６は、動き算出部２４２が算出した被写体の動きに応じて、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成する。具体的には、フレーム画像生成部２４６は、一の撮像画像に含まれる被写体が動いている方向に対してぼかし処理を施して、一の撮像画像からフレーム画像を生成する。

より具体的には、フレーム画像生成部２４６は、動き算出部２４２が算出した被写体の動きに応じて、一の撮像画像が撮像されたときの露光時間より長い露光時間で撮像された撮像画像を表すように、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成する。更に具体的には、フレーム画像生成部２４６は、予測画像生成部２４４が生成した予測画像を一の撮像画像に重ね合わせることにより、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成する。

なお、予測画像生成部２４４は、一の撮像画像が撮像されたタイミングと、一の撮像画像の次に撮像された撮像画像が撮像されたタイミングとの間に所定間隔で連続して被写体が撮像された場合に撮像され得る複数の予測画像を生成してもよい。そして、フレーム画像生成部２４６は、予測画像生成部２４４が生成した複数の予測画像を一の撮像画像に重ね合わせることにより、一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、一の撮像画像からフレーム画像を生成してよい。

動画記録部２４８は、フレーム画像生成部２４６が複数の撮像画像のそれぞれに対応させてそれぞれ生成した複数のフレーム画像を動画として記録する。そして、動画再生部２５０は、動画記録部２４８が記録している複数のフレーム画像を連続して表示して動画として再生する。

なお、動画生成装置１６０は、図２において説明した動画生成装置１６０の機能のうち、画像を撮像する機能及び動画を表示する機能を除く、動画を生成する機能を有してもよい。例えば、動画生成装置１６０は、画像格納部２４０、動き算出部２４２、予測画像生成部２４４、フレーム画像生成部２４６、及び動画記録部２４８を備えてよい。例えば、動画生成装置１６０は、カメラ等の撮像装置によって撮像された、動画のフレーム周期より短い露光時間で連続して撮像された複数の撮像画像と、それぞれの画像が撮像された時刻又はタイミングとを受け取って、フレーム画像を生成して動画として記録する装置であってよい。そして、動画生成装置１６０は、記録した動画データを動画生成装置１６０の外部に出力してよい。

動き算出部２４２は、複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間で被写体が動いた動き量を算出する。そして、フレーム画像生成部２４６は、動き算出部２４２が算出した被写体の動き量がより大きい場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成する。

また、動き算出部２４２は、複数の撮像画像における被写体の位置の変化及び撮像画像が撮像された時刻に基づいて、一の撮像画像が撮像されたタイミングと、次の撮像画像が撮像されたタイミングとの間における被写体の動きの速度を算出する。そして、フレーム画像生成部２４６は、動き算出部２４２が算出した被写体の速度の大きさがより大きい場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成する。

また、距離取得部２６０は、動画記録部２４８が記録している複数のフレーム画像が表示される表示画面における被写体の位置と、表示画面に表示された複数のフレーム画像を観察する観察者の位置との間の距離を取得する。そして、フレーム画像生成部２４６は、距離取得部２６０がより小さい距離を取得した場合に、一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成する。具体的には、動き算出部２４２は、距離取得部２６０が取得した距離がより大きい場合により大きい動き量を算出する。そして、フレーム画像生成部２４６は、動き算出部２４２が算出した動き量がより大きい場合に、より大きいぼかし量でぼかし処理を施してフレーム画像を生成する。

なお、距離取得部２６０は、動画記録部２４８が観察者に３次元表示による動画を観察させるべく複数のフレーム画像を記録する場合に、観察者の視点と動き算出部２４２が動きを算出した被写体との間の３次元表示の表示空間における距離を取得してよい。そして、フレーム画像生成部２４６は、距離取得部２６０がより小さい距離を取得した場合に、一の撮像画像に含まれる当該被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、一の撮像画像から動画のフレーム画像を生成する。具体的には、動き算出部２４２は、距離取得部２６０が取得した距離がより大きい場合に、より大きい動き量を算出する。

以上説明した動画生成装置１６０によれば、動画向けの露光時間よりも短い露光時間で撮像された静止画用の画像から、滑らかに再生される動画用のフレーム画像を生成することができる。このため、ユーザ１８０は、動画を楽しみつつ、ユーザ１８０が欲する任意のタイミングでの鮮明な静止画像を容易に閲覧することができる。

図３は、動画フレームを生成する処理の一例を示す。撮像部２０２は、動画のフレーム周期Ｔ３９０で得られるフレーム画像を生成すべく、フレーム周期Ｔ３９０よりも短い露光時間Δｔ３８０で撮像する。例えば、撮像部２０２は、動画のフレーム周期１／６０秒に対して、１／６０秒より短い１／１０００秒、１／１００００秒の露光時間で撮像する。図３の例では、撮像部２０２は、フレーム周期Ｔ３９０の撮像周期で、時刻ｔ３０１、ｔ３０５、及びｔ３１０において被写体を撮像している。なお、撮像部２０２による被写体の撮像周期は、フレーム周期Ｔ３９０より短くてもよいし長くてもよい。

そして、動き算出部２４２は、時刻ｔ３０１及び時刻ｔ３０５で撮像された撮像画像３２１及び撮像画像３２５から、同じ被写体が占める画像上の位置を検出する。具体的には、動き算出部２４２は、時刻ｔ３０１及び時刻ｔ３０５で撮像された撮像画像３２１及び撮像画像３２５に対して、エッジ抽出等によって被写体の輪郭を抽出する。そして、動き算出部２４２は、時刻ｔ３０１及び時刻ｔ３０５の画像において得られた被写体の輪郭同士のパターンマッチング等によって、同じ被写体の画像上における位置を判断する。そして、動き算出部２４２は、時刻ｔ３０１及び時刻ｔ３０５における被写体の画像上の位置と、期間ｔ３０１〜ｔ３０５における時刻ｔ３０３の時間的位置とに基づいて、時刻ｔ３０３において撮像され得る画像における被写体位置を決定する。

そして、予測画像生成部２４４は、動き算出部２４２によって算出された被写体の画像上の位置に基づいて、時刻ｔ３０３において撮像され得る予測画像３４３を生成する。そして、フレーム画像生成部２４６は、撮像画像３２１、予測画像３４３、及び撮像画像３２５を重ね合わせて、フレーム画像３６１を生成する。同様にして、時刻ｔ３０５及び時刻ｔ３１０における撮像画像３２５及び撮像画像３３０から予測画像３４７が生成され、撮像画像３２５、予測画像３４７、及び撮像画像３３０を重ね合わせてフレーム画像３６２が生成される。

なお、動き算出部２４２は、時刻ｔ３０１及び時刻ｔ３０５の間における複数のタイミング、例えば時刻ｔ３０２、ｔ３０３、及びｔ３０４において撮像され得る画像における被写体の位置を算出してよい。そして、予測画像生成部２４４は、時刻ｔ３０２、ｔ３０３、及びｔ３０４のそれぞれに対する予測画像を生成して、生成された複数の予測画像と、撮像画像３２１及び撮像画像３２５を重ね合わせることによって、一のフレーム画像を生成してよい。なお、フレーム周期Ｔ３９０は、ユーザ１８０によって設定されてよい。また、撮像部２０２は、画像上において同じ被写体の位置が移動する速度に応じて撮像周期を変更してもよい。また、撮像部２０２は、移動する被写体の速度がより速い場合に、より短い露光時間で被写体を撮像してよい。なお、上記においては、フレーム画像生成部２４６は、動き算出部２４２が動きを算出した被写体に対してぼかし処理を施す場合の動作の一例について説明したが、フレーム画像生成部２４６は、動き算出部２４２が動きを算出した被写体の領域以外の領域に対してシャープネスを強調する画像処理を施してもよい。以上説明した画像処理によって、動画生成装置１６０は、動きが算出された被写体の領域画像のぼけ量を、動きが算出されない被写体の領域の画像である他の領域画像のぼけ量より大きくすることができる。このように、動画生成装置１６０は、被写体が鮮明に撮像された複数の画像から、移動する被写体の動きが滑らかに見える動画用のフレーム画像をユーザ１８０に提供することができる。

図４は、ぼかし量の算出方法の一例を示す。動画再生部２５０は、動画記録部２４８が記録した複数のフレーム画像を連続して表示画面４００に表示させることによって、２次元の動画を表示画面４００に表示する。表示画面４００は例えば液晶等の表示装置であってよい。以下に、表示画面４００に２次元の動画を表示する場合の、ぼかし量の算出方法の一例を示す。

距離取得部２６０は、動画の閲覧者であるユーザ１８０と表示画面４００との間の距離Ｄ４５０を取得する。例えば、距離取得部２６０は、表示画面４００の近傍に設けられたレーザ距測器等の距測装置によって距離Ｄ４５０を測定してよい。距離Ｄ４５０は、例えばユーザ１８０の位置と表示画面４００の中心の位置との間の距離であってよい。

そして、動き算出部２４２は、連続するフレーム画像の間で、被写体が表示画面４００において位置４５１から位置４５２まで移動することを算出した場合、当該被写体の動き量として、位置４５１から位置４５２への移動ベクトルＶ４１０を算出する。なお、動き算出部２４２は、予め記憶している表示画面４００の画像サイズを参照して、位置４５１から位置４５２を算出する。また、距離取得部２６０は、距離Ｄ４５０、位置４５１、及び位置４５２から、ユーザ１８０から位置４５１までの距離Ｄ４０１及びユーザ１８０から位置４５１までの距離Ｄ４０２を算出する。そして、予測画像生成部２４４は、Ｄ４０１及びＤ４０２の平均値でＶ４１０を除した値αをぼかし量を示す指標として算出する。ぼかし量は、移動ベクトルＶ４１０の大きさがより大きい場合により大きく算出され、距離Ｄ４０１とＤ４０２との和がより小さい場合により大きく算出される。

そして、予測画像生成部２４４は、ぼかし量に応じた予測画像を生成する。図３に関連して説明したように、予測画像生成部２４４は、動き算出部２４２が算出した移動ベクトルＶ４１０が示す移動方向に被写体が移動する予測画像を生成することによって、移動ベクトルＶ４１０が示す方向にぼかし処理を施すことができる。このとき、予測画像生成部２４４は、ぼかし量の指標となる値αの大きさがより大きい場合に、より多い数の予測画像を生成してよい。そして、フレーム画像生成部２４６は、予測画像生成部２４４が生成した予測画像を平均化して重ねあわせることによって、フレーム画像を生成する。このようにして、フレーム画像生成部２４６は、動き量の大きさがより大きい被写体をより大きくぼかしたフレーム画像を生成することができる。

なお、予測画像生成部２４４は、被写体の位置が位置４５１として撮像された時刻と、位置４５２として撮像された時刻との差である撮像時刻差で移動ベクトルＶ４１０を除した値を、Ｄ４０１及びＤ４０２の平均値で除した値を、ぼかし量として算出してもよい。また、予測画像生成部２４４は、値αに比例する量をぼかし量として算出してよいし、所定の関数によって値αを変換した値をぼかし量として算出してもよい。また、予測画像生成部２４４は、ユーザ１８０と位置４５１とを結ぶ線と、ユーザ１８０と位置４５２とを結ぶ線とのなす角θ４２０を、ぼかし量として算出してもよい。また、予測画像生成部２４４は、角θ４２０を撮像時刻差で除した値をぼかし量として算出してもよい。

なお、動画生成装置１６０は、ユーザ１８０が動画を再生した場合に、画像格納部２４０が格納している画像からフレーム画像を生成しながら、生成したフレーム画像を連続的に表示することによって動画再生部２５０から動画として再生してよい。これにより、動画生成装置１６０は、動画の再生時における観察者と表示画面との間の距離に応じて、適切なぼかし量で動く被写体をぼかした動画を再生することができる。なお、距離取得部２６０は、ユーザ１８０からの入力によって、観察者と表示画面との間の距離を取得してしてよい。例えば、ユーザ１８０が自宅のＴＶで動画を鑑賞する場合に、距離取得部２６０は、ＴＶを鑑賞する位置からＴＶまでの距離を、ユーザ１８０からの入力によって取得してよい。他にも、動画生成装置１６０が生成した動画が映画館で上映される場合には、距離取得部２６０は、映画館における観客席の位置とスクリーンとの間の距離の典型的な値を、ユーザ１８０からの入力によって取得してよい。この場合、距離取得部２６０は、ＴＶ、スクリーンの画面サイズを取得することが望ましい。

以上説明したように、動画生成装置１６０は、表示画面４００により近い位置からユーザ１８０が動画を鑑賞する場合には、移動するオブジェクトをより大きくぼかしたフレーム画像を生成する。ユーザ１８０が表示画面４００に近いほど、オブジェクトに追随するユーザ１８０の視線の変化量が大きくなり、ユーザ１８０にとってオブジェクトがより早く移動したように感じる。このような場合、動画生成装置１６０は、ユーザ１８０のより近くを動くオブジェクトをより大きくぼかすことができるので、移動するオブジェクトの動きが滑らかに見える動画をユーザ１８０に提供することができる。

図５は、３次元動画におけるぼかし量の算出方法の一例を示す。動画再生部２５０は、動画記録部２４８が記録した動画を、表示画面４００に３次元で表示する。表示画面４００は、３次元動画を表示する３次元ディスプレイであってよい。例えば、動画再生部２５０は、左目用及び右目用のそれぞれの複数のフレーム画像を連続的に表示画面４００に表示することによって、ユーザ１８０に３次元表示による動画を閲覧させる。表示画面４００は、右目用のフレーム画像を、ユーザ１８０の左目に入らないようユーザ１８０の右目に向けて表示し、左目用のフレーム画像を、ユーザ１８０の左目に入らないようユーザ１８０の左目に向けて表示する。この場合、フレーム画像生成部２４６は、左目用のフレーム画像と、右目用のフレーム画像をそれぞれ生成する。

そして、動き算出部２４２は、連続するフレーム画像の間で、３次元の表示空間において、表示空間における位置５５１から位置５５２まで被写体が移動することを算出した場合、表示空間におけるユーザ１８０の視点からの視線に垂直な、位置５５１を含む面と、ユーザ１８０の視点から位置５５２を結ぶ線との交点の位置５６２を算出する。そして、動き算出部２４２は、位置５５１から位置５６２への移動ベクトルＶ５１１を、動き量として算出する。

そして、距離取得部２６０は、位置５５１、位置５６２、及びユーザ１８０の視点から、ユーザ１８０から位置５５１までの距離Ｄ５０１及びユーザ１８０から位置５６２までの距離Ｄ５０２を算出する。そして、予測画像生成部２４４は、Ｄ５０１及びＤ５０２の平均値でＶ５１１を除した値αを、ぼかし量として算出する。

なお、フレーム画像生成部２４６が、ぼかし量に応じて予測画像生成部２４４が生成した予測画像からフレーム画像を生成する方法については、右目用のフレーム画像と左目用のフレーム画像とを別々に生成するという点を除いて、図３及び４に関連して説明した方法と同様の方法によって生成することができるので、説明を省略する。

なお、動き算出部２４２は、位置５５１から位置５５２への移動ベクトルＶ５１０を、動き量として算出してもよい。また、図４に関連して説明したように、予測画像生成部２４４は、被写体の位置が位置５５１として撮像された時刻と位置５５２として撮像された時刻との差である撮像時間差で移動ベクトルＶ５１０又はＶ５１１を除した値をＤ５０１及びＤ５０２の平均値で除して得られる値を、ぼかし量として算出してもよい。また、予測画像生成部２４４は、値αに比例する量をぼかし量として算出してよいし、所定の関数によって値αを変換した値をぼかし量として算出してもよい。また、予測画像生成部２４４は、ユーザ１８０の視点と位置５５１とを結ぶ線と、ユーザ１８０の視点と位置５５２とを結ぶ線とのなす角θ５２０を動き量として算出してもよい。また、予測画像生成部２４４は、角θ５２０を撮像時間差で除した値をぼかし量として算出してもよい。

以上説明したように、動画生成装置１６０は、３次元の表示空間においてユーザ１８０から見てより手前を移動するオブジェクトを、より大きくぼかすことができる。したがって、動画生成装置１６０は、移動するオブジェクトの動きが滑らかに見える３次元の動画をユーザ１８０に提供することができる。なお、図４及び図５において、予測画像生成部２４４が動き量及び距離に基づいてぼかし量を算出する動作の一例について説明したが、フレーム画像生成部２４６がシャープネスを強調する画像処理を画像に施す場合においては、フレーム画像生成部２４６は、動き量及び距離に基づいて、動き算出部２４２が動きを算出した被写体の領域以外の領域に対するシャープネスの強調度を算出してよい。この場合、フレーム画像生成部２４６は、動き量がより大きいほど又は距離がより小さいほどより高いシャープネスの強調度を算出することは言うまでもない。

以上説明した動画生成装置１６０によれば、静止画用の画像から、滑らかに再生される動画用のフレーム画像を適切に生成することができる。このため、ユーザ１８０は、動画を楽しみつつ、ユーザ１８０が欲する任意のタイミングでの鮮明な静止画像を容易に閲覧することができる。

図６は、動画生成装置１６０に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して動画生成装置１６０と通信し、動画生成装置１６０にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して動画生成装置１６０に送信される。動画生成装置１６０に送信されたプログラムは、動画生成装置１６０においてインストールされて実行される。

動画生成装置１６０にインストールされて実行されるプログラムは、動画生成装置１６０を、図１から図５において説明した撮像部２０２、画像格納部２４０、動き算出部２４２、予測画像生成部２４４、フレーム画像生成部２４６、動画記録部２４８、距離取得部２６０、及び動画再生部２５０として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

動画生成装置１６０の利用環境の一例を示す図である。 動画生成装置１６０のブロック構成の一例を示す図である。 動画フレームを生成する処理の一例を示す図である。 ぼかし量の算出方法の一例を示す図である。 ３次元動画におけるぼかし量の算出方法の一例を示す図である。 動画生成装置１６０に係るコンピュータのハードウェア構成の一例を示す図である。

符号の説明

１８０ ユーザ
１６０ 動画生成装置
２０２ 撮像部
２４０ 画像格納部
２４２ 動き算出部
２４４ 予測画像生成部
２４６ フレーム画像生成部
２４８ 動画記録部
２５０ 動画再生部
２６０ 距離取得部

Claims (13)

1. 所定の露光時間で連続して撮像された複数の撮像画像を格納する画像格納部と、
   前記複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、前記一の撮像画像の次に撮像された次の撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出部と、
   前記動き算出部が算出した被写体の動きに応じて、前記一の撮像画像に含まれる被写体の領域画像のぼけ量を他の領域画像のぼけ量より大きくすべく、前記複数の撮像画像に画像処理を施して、前記一の撮像画像から動画のフレーム画像を生成するフレーム画像生成部と、
   前記フレーム画像生成部が前記複数の撮像画像のそれぞれに対応させてそれぞれ生成した複数のフレーム画像を動画として記録する動画記録部と
   を備える動画生成装置。
2. 前記フレーム画像生成部は、前記一の撮像画像に含まれる被写体が動いている方向に対して前記一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、前記一の撮像画像からフレーム画像を生成する
   請求項１に記載の動画生成装置。
3. 前記フレーム画像生成部は、前記動き算出部が算出した被写体の動きに応じて、前記一の撮像画像が撮像されたときの露光時間より長い露光時間で撮像された撮像画像を表すように、前記一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、前記一の撮像画像からフレーム画像を生成する
   請求項１に記載の動画生成装置。
4. 前記動き算出部が算出した被写体の動きに基づいて、前記一の撮像画像が撮像されたタイミングと、前記次の撮像画像が撮像されたタイミングとの間に被写体が撮像された場合に撮像され得る予測画像を生成する予測画像生成部
   をさらに備え、
   前記フレーム画像生成部は、前記予測画像生成部が生成した予測画像を前記一の撮像画像に重ね合わせることにより、前記一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、前記一の撮像画像からフレーム画像を生成する
   請求項１に記載の動画生成装置。
5. 前記予測画像生成部は、前記一の撮像画像が撮像されたタイミングと、前記次の撮像画像が撮像されたタイミングとの間に所定間隔で連続して被写体が撮像された場合に撮像され得る複数の予測画像を生成し、
   前記フレーム画像生成部は、前記予測画像生成部が生成した複数の予測画像を前記一の撮像画像に重ね合わせることにより、前記一の撮像画像に含まれる被写体の領域画像にぼかし処理を施して、前記一の撮像画像からフレーム画像を生成する
   請求項４に記載の動画生成装置。
6. 所定の露光時間で撮像画像を連続して撮像する撮像部
   をさらに備え、
   前記画像格納部は、前記撮像部が撮像した複数の撮像画像を格納する
   請求項１に記載の動画生成装置。
7. 前記動き算出部は、前記複数の撮像画像における被写体の位置の変化に基づいて、前記一の撮像画像が撮像されたタイミングと、前記次の撮像画像が撮像されたタイミングとの間で被写体が動いた動き量を算出し、
   前記フレーム画像生成部は、前記動き算出部が算出した被写体の動き量がより大きい場合に、前記一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、前記一の撮像画像から動画のフレーム画像を生成する
   請求項１に記載の動画生成装置。
8. 前記動き算出部は、前記複数の撮像画像における被写体の位置の変化及び前記複数の撮像画像が撮像された時刻に基づいて、前記一の撮像画像が撮像されたタイミングと、前記次の撮像画像が撮像されたタイミングとの間における被写体の動きの速度を算出し、
   前記フレーム画像生成部は、前記動き算出部が算出した被写体の速度の大きさがより大きい場合に、前記一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、前記一の撮像画像から動画のフレーム画像を生成する
   請求項１に記載の動画生成装置。
9. 前記動画記録部が記録している複数のフレーム画像を連続して表示して動画として再生する動画再生部
   をさらに備える請求項１に記載の動画生成装置。
10. 前記動画記録部が記録している複数のフレーム画像が表示される表示画面における被写体の位置と、表示画面に表示された複数のフレーム画像を観察する観察者の位置との間の距離を取得する距離取得部
    をさらに備え、
    前記フレーム画像生成部は、前記距離取得部がより小さい距離を取得した場合に、前記一の撮像画像に含まれる被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、前記一の撮像画像から動画のフレーム画像を生成する
    請求項１に記載の動画生成装置。
11. 前記動画記録部が観察者に３次元表示による動画を観察させるべく複数のフレーム画像を記録する場合に、観察者の視点と前記動き算出部が動きを算出した被写体との間の３次元表示の表示空間における距離を取得する距離取得部
    をさらに備え、
    前記フレーム画像生成部は、前記距離取得部がより小さい距離を取得した場合に、前記一の撮像画像に含まれる当該被写体の領域画像に、より大きいぼかし量でぼかし処理を施して、前記一の撮像画像から動画のフレーム画像を生成する
    請求項１に記載の動画生成装置。
12. 所定の露光時間で連続して撮像された複数の撮像画像を格納する画像格納段階と、
    前記複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、前記一の撮像画像の次に撮像された次の撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出段階と、
    前記動き算出段階において算出された被写体の動きに応じて、前記一の撮像画像に含まれる被写体の領域画像のぼけ量を他の領域画像のぼけ量より大きくすべく、前記複数の撮像画像に画像処理を施して、前記一の撮像画像からフレーム画像を生成するフレーム画像生成段階と、
    前記フレーム画像生成段階において前記複数の撮像画像のそれぞれに対応させてそれぞれ生成された複数のフレーム画像を動画として記録する動画記録段階と
    を備える動画生成方法。
13. 動画を生成する動画生成装置用のプログラムであって、前記動画生成装置を、
    所定の露光時間で連続して撮像された複数の撮像画像を格納する画像格納部、
    前記複数の撮像画像における被写体の位置の変化に基づいて、一の撮像画像が撮像されたタイミングと、前記一の撮像画像の次に撮像された次の撮像画像が撮像されたタイミングとの間の被写体の動きを算出する動き算出部、
    前記動き算出部が算出した被写体の動きに応じて、前記一の撮像画像に含まれる被写体の領域画像のぼけ量を他の領域画像のぼけ量より大きくすべく、前記複数の撮像画像に画像処理を施して、前記一の撮像画像からフレーム画像を生成するフレーム画像生成部、
    前記フレーム画像生成部が前記複数の撮像画像のそれぞれに対応させてそれぞれ生成した複数のフレーム画像を動画として記録する動画記録部
    として機能させるプログラム。
    

Images