JP5948927B2 - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents

Description

この技術は、画像処理装置と画像処理方とプログラムおよび撮像装置に関する。詳しくは、撮像時の臨場感を再現して画像の再生を行うことができるようにする。

従来、１回の撮像範囲がレンズの画角によって制限されている電子スチルカメラでは、レンズの画角を超えた広範囲の撮影ができない。このため、撮像方向を移動させつつ撮像を行い、複数の撮像画像からパノラマ状の全体画像（以下「パノラマ合成画像」という）を生成することが行われている。また、撮像開始から撮像終了までの撮像方向と撮像時間情報をパノラマ合成画像に関連付けて記録することで、複数のパノラマ合成画像をスクロール再生する際に、視聴者が閲覧したい画像を短時間で効率よく閲覧することが可能とされている（特許文献１参照）。

特開２００９−２６８０３７号公報

ところで、パノラマ合成画像は、撮像方向を移動しながら撮像を行うことにより得られ複数の撮像画像を合成して生成されており、移動方向に長い画像となっている。このため、画像表示装置の表示サイズが例えば1枚の撮像画像のサイズであると、パノラマ合成画像の長手方向を画像表示装置の表示サイズに合わせて、パノラマ合成画像の全体を表示した場合に画像が小さくなってしまう。このため、パノラマ合成画像を表示する場合にスクロール再生が行われる。しかし、スクロール再生におけるスクロール速度は一定速度に固定されており、パノラマ合成画像の撮像時における動作にかかわらず、パノラマ合成画像のスクロール再生は常に同じ動作となってしまう。

そこで、この技術では、撮像時の臨場感を再現して画像の再生を行うことができる画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。

この技術の第１の側面は、撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行うスクロール再生部と、前記移動される撮像方向の動きに応じて前記スクロール再生におけるスクロール速度を制御するスクロール速度制御部とを備え、前記スクロール速度制御部は、前記撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする画像処理装置にある。

この技術においては、撮像方向を移動しながら生成された複数枚の撮像画像を合成処理した撮像画像よりも広画角のパノラマ合成画像をスクロール再生する場合、移動される撮像方向の動きに応じてスクロール速度が制御される。パノラマ合成画像は、例えば撮像画像間で検出された撮像方向の動きを示す動き情報を含む付属情報と関係付けられており、この動き情報に基づき、撮像方向の動きが小さくなるに伴いスクロール速度が遅くされて、動きが大きくなるに伴いスクロール速度が速くされる。また、付属情報には、パノラマ合成画像サイズと複数の撮像画像を生成したときのフレームレートを示す情報が含まれており、これらの情報およびスクロール再生における表示サイズとフレームレートに基づきスクロール速度を制御して、複数枚の撮像画像の生成時における撮像方向の動きを再現してスクロール再生が行われる。スクロール再生を行うパノラマ合成画像に関係付けられている付属情報がない場合にはスクロール速度が一定速度とされる。さらに、スクロール再生を行うパノラマ合成画像に音声信号が関係付けられている場合、スクロール速度に応じて音声信号の再生速度を制御する。また、スクロール再生を行うパノラマ合成画像に関係付けられている音声信号の信号レベルが予め設定された信号レベルよりも高い場合、スクロール速度を一定速度から撮像方向についての動きに応じた速度として、スクロール速度に応じて音声信号の再生速度を制御するようにしてもよい。

この技術の第２の側面は、撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行う工程と、前記移動される撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする工程とを含む画像処理方法にある。

この技術の第３の側面は、パノラマ合成画像のスクロール再生をコンピュータで実行させるプログラムであって、撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行う手順と、前記移動される撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする手順とを前記コンピュータで実行させるプログラムにある。

なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。

この技術の第４の側面は、撮像画像を生成する撮像部と、撮像方向を移動しながら前記撮像部で生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像を生成するパノラマ合成処理部と、前記移動される撮像方向の動きを検出する動き検出部と、前記動き検出部で検出された動きを示す動き情報を含む付属情報を生成して前記パノラマ合成画像に関係付ける情報生成部と、前記パノラマ合成画像のスクロール再生を行うスクロール再生部と、前記動き検出部で検出された動きに基づいて前記スクロール再生におけるスクロール速度を制御するスクロール速度制御部とを備え、前記スクロール速度制御部は、前記撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする撮像装置にある。

この技術によれば、撮像方向を移動しながら生成された複数枚の撮像画像を合成処理した撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行う場合、移動される撮像方向の動きに応じてスクロール速度が制御される。このため、撮像方向を移動しながら複数枚の撮像画像を生成したときの移動速度が遅いときにはスクロール速度を遅く、移動速度が速いときにはスクロール速度を速くして、撮像時の臨場感を再現してパノラマ合成画像のスクロール再生を行うことができる。

撮像装置の概略構成を例示した図である。 撮像装置のパノラマ合成画像生成動作を示すフローチャートである。 パノラマ合成処理を説明するための図である。 撮像方向を移動させたときの移動動作を説明するための図である。 パノラマ合成画像付属情報を例示した図である。 画像処理装置の概略構成を例示した図である。 第１の画像再生動作を示すフローチャートである。 固定速度スクロール再生について説明するための図である。 動き再現スクロール再生について説明するための図である。 第２の画像再生動作を示すフローチャートである。 他のスクロール再生を示す図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置の構成
２．パノラマ合成画像生成動作
３．画像処理装置の構成
４．第１の画像再生動作
５．第２の画像再生動作

＜１．撮像装置の構成＞
図１は、本技術の撮像装置の概略構成を例示している。撮像装置１０は、撮像レンズ部１１，撮像部１２、カメラ信号処理部１３、計測部１４、画像メモリ部２１、パノラマ合成処理部２２、音声取得部２３、コーデック部２４、記録再生部２５、通信部２６、表示部２７、音声出力部２８、ユーザインタフェース部３１、制御部３５を有している。また、各部は、バス４１を介して接続されている。

撮像レンズ部１１は、被写体光を撮像部１２に導くための撮像光学系として機能するものである。撮像レンズ部１１は、撮像部１２に設けられている撮像素子の撮像面上に結像される光学像の焦点の調節を行うためのフォーカスレンズや、光学像の変倍を行うためのズームレンズ等を有している。

撮像部１２は、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）やＣＣＤ(Charge Coupled Device）等の撮像素子を用いて構成されている。撮像素子は、撮像レンズ部１１によって受光面に結像された光学像に応じた撮像信号を生成する。また、撮像部１２は、撮像素子で生成された撮像信号に対して相関二重サンプリング処理（ＣＤＳ：Correlated Double Sampling）やアナログ増幅処理、Ａ／Ｄ変換処理等を行い画像データを生成する。撮像部１２は、生成した画像データをカメラ信号処理部１３または画像メモリ部２１に出力する。

カメラ信号処理部１３は、撮像部１２から供給される画像データまたは画像メモリ部２１に記憶されている画像データに対してホワイトバランス調整処理、ガンマ補正処理、色調整処理等のカメラ信号処理を行う。

計測部１４は、撮像時刻等の計測を行う。また、計測部１４は、移動される撮像方向の動き例えば撮像方向を移動させたときの移動方向や移動速度等を、ジャイロセンサ等を用いて計測してもよい。計測部１４は、計測結果を制御部３５に出力する。

画像メモリ部２１は、撮像部１２またはカメラ信号処理部１３から出力された画像データや後述するコーデック部２４で復号処理を行うことにより得られた画像データを一時記憶する。

パノラマ合成処理部２２は、撮像部１２やカメラ信号処理部１３から出力された複数枚の撮像画像の画像データや画像メモリ部２１から読み出された複数枚の撮像画像の画像データを用いて合成処理を行う。合成処理では、撮像画像を切り出して繋ぎ合わせることで撮像画像よりも広画角であるパノラマ合成画像の画像データを生成する。撮像画像の切り出しは、例えば撮像方向を移動させたときの移動速度に応じて切り出し幅の調整を行う。移動速度に応じた切り出し幅の調整では、例えば移動速度が速い場合に切り出し幅を狭く、移動速度が遅い場合に切り出し幅を広くする。また、合成処理では、画像の繋ぎ目で画像の欠落や重複が生じないようにパノラマ合成画像の画像データを生成する。パノラマ合成処理部２２は、生成した画像データを画像メモリ部２１またはコーデック部２４に出力する。また、パノラマ合成処理部２２は、画像の繋ぎ目で画像の欠落や重複が生じないように合成処理するため撮像画像間の動き検出する場合、検出された動きすなわち移動される撮像方向の動きを制御部３５に出力する。なお、パノラマ合成処理部２２は、計測部１４で計測された撮像方向の動きに基づき、画像の欠落や重複が生じないようにパノラマ合成画像の生成を行うようにしてもよい。すなわち、請求項の動き検出部は、計測部１４やパノラマ合成処理部２２に相当する。

音声取得部２３は、マイクロフォンやＡ／Ｄ変換器等を用いて構成されている。音声取得部２３はマイクロフォンで集音した音を示す音声データを生成してコーデック部２４または記録再生部２５に出力する。

コーデック部２４は、撮像部１２やカメラ信号処理部１３またはパノラマ合成処理部２２から出力された画像データのデータ圧縮処理を行い、得られた符号化データを記録再生部２５や通信部２６に出力する。また、コーデック部２４は、記録媒体から読み出された符号化データや通信部２６を介して供給された符号化データのデータ伸長処理を行い、得られた画像データを画像メモリ部２１や表示部２７等に出力する。なお、データ圧縮伸長では、例えばＪＰＥＧ（Joint Photographic Coding Experts Group）等の手法が適用される。また、コーデック部２４は、音声取得部２３から供給された音声データのデータ圧縮処理を行い、得られた符号化データを記録再生部２５や通信部２６に出力する。また、コーデック部２４は、記録媒体から読み出された音声符号化データや通信部２６を介して供給された音声符号化データのデータ伸長処理を行い、得られた音声データを音声出力部２８に出力する。

記録再生部２５は、画像メモリ部２１から読み出された画像データや音声取得部２３から供給された音声データ、コーデック部２４でデータ圧縮処理を行うことにより得られた符号化データ等を記録媒体に記録する。また、記録再生部２５は、記録媒体に記録されている画像データを読み出して画像メモリ部２１に出力する。また、記録再生部２５は、記録媒体に記録されている音声データを読み出して音声出力部２８に出力する。また、記録再生部２５は、記録媒体に記録されている符号化データを読み出してコーデック部２４に出力する。

通信部２６は、撮像装置１０と外部機器（図示せず）間で通信を行うためのインタフェースである。例えば撮像装置１０は、通信部２６を介して外部機器に画像データや音声データ、符号化データ、種々の情報等を送信する。また、撮像装置１０は、通信部２６を介して外部機器から供給されたプログラム等のインストールを行う。

表示部２７は、液晶表示素子や有機ＥＬ等の表示素子を用いて構成されている。表示部２７は、撮像部１２またはカメラ信号処理部１３から出力された画像データや画像メモリ部２１に記録されている画像データに基づいて表示素子を駆動して、撮像動作時におけるカメラスルー画像や記録媒体に記録する画像や記録されていた画像の表示を行う。また、表示部２７は、撮像装置１０に搭載される機能を選択するためのメニュー表示や撮像装置１０の設定状態等の表示を行う。

音声出力部２８は、音声取得部２３やコーデック部２４から供給された音声データに基づき音声出力を行う。

ユーザインタフェース部３１は、撮像装置１０に設けられた操作スイッチや操作ボタン、表示部２７の表示画面に設けられたタッチパネル等で構成されており、ユーザによる操作に応じた操作信号を生成して制御部３５に出力する。

制御部３５は、ＣＰＵ(Central Processing Unit)やＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)等を用いて構成されている。制御部３５は、ＲＯＭに記憶されているプログラムを読み出してＣＰＵで実行して、操作信号に基づき撮像装置１０の動作がユーザ操作に応じた動作となるように各部の動作を制御する。例えば制御部３５は、撮像画像の生成やパノラマ合成画像の生成を行う。また、制御部３５は、計測部１４やパノラマ合成処理部２２で検出された撮像方向の動きを示す動き情報を含むパノラマ合成画像付属情報を生成してパノラマ合成画像に関係付ける処理等を行う。さらに、制御部３５は、生成したパノラマ合成画像のスクロール再生を表示部２７で行う場合、制御信号を画像メモリ部２１に出力して、パノラマ合成画像における画像データの読み出し領域を順次移動されて、パノラマ合成画像のスクロール再生を行う。また、制御部６５は、パノラマ合成画像付属情報を用いて、移動される撮像方向の動きに応じてスクロール再生におけるスクロール速度を制御する。すなわち、請求項のスクロール再生部は画像メモリ部２１と制御部３５、スクロール速度制御部と情報生成部は制御部３５に相当する。

制御部３５は、事前に記憶されているプログラムに代えて、上述のように通信部２６を介して供給されたプログラムをインストールして実行するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供されたプログラムをインストールして実行するようにしてもよい。

＜２．パノラマ合成画像生成動作＞
次に、パノラマ合成画像生成動作について説明する。図２は、撮像装置１０のパノラマ合成画像生成動作を示すフローチャートである。ステップＳＴ１で撮像装置１０は、１フレーム撮像処理を行う。撮像装置１０は、１フレーム撮像処理を行い１フレームの撮像画像の画像データを生成する。また、撮像装置１０は、撮像画像の画像データ例えば画像メモリ部２１に保存してステップＳＴ２に進む。

ステップＳＴ２で撮像装置１０は、撮像終了であるか判別する。撮像装置１０は、撮像動作を継続する場合にはステップＳＴ１に戻り、撮像動作を終了する場合にはステップＳＴ３に進む。撮像装置１０は、撮像終了操作が行われるまで撮像動作を継続して、撮像終了操作が行われた場合に撮像動作を終了する。また、撮像装置１０は、例えば所定フレーム数分の撮像画像を生成した場合や、パノラマ合成画像の生成のために行われた撮像装置１０のスイング動作または平行移動動作が終了した場合に撮像動作の終了としてもよい。

ステップＳＴ３で撮像装置１０のパノラマ合成処理部２２は、移動ベクトルの検出を行う。パノラマ合成処理部２２は、時間的に連続する撮像画像間で移動ベクトルを検出してステップＳＴ４に進む。なお、移動ベクトルの検出は、例えば計測部１４によって、撮像方向を移動させたときの移動方向や移動速度等を計測した場合の計測結果を用いて行うようにしてもよい。

ステップＳＴ４で撮像装置１０はパノラマ合成処理を行う。撮像装置１０は、画像メモリ部２１に保存されている複数枚の撮像画像から画像を切り出して繋ぎ合わせることで、広画角の合成画像を生成する。例えば図３の（Ａ）に示すように撮像装置１０の撮像方向を左側ＤＦsから右側ＤＦeに移動しながら撮像を行い、図３の（Ｂ）に示す複数枚の撮像画像を生成する。また、複数枚の撮像画像から画像を切り出して繋ぎ合わせることで、図３の（Ｃ）に示すように、撮像画像よりも広画角のパノラマ合成画像を生成する。撮像装置１０は、パノラマ合成処理において、検出されている移動ベクトルに基づき、繋ぎ目で画像の重複や欠落が生じないように画像の切り出しや繋ぎ合わせを行う。図４は、撮像方向を左側から右側に移動する際の動きを示している。図４の（Ａ）は被写体、図４の（Ｂ）は、撮像方向の時間的変化を示している。例えば撮像開始時間Ｔrsから撮像終了時間Ｔreまでの期間中に、撮像方向を図３の（Ａ）に示す左側ＤＦsから右側ＤＦeに移動する場合を示している。ここで、撮像方向を一定速度で移動すると、撮像方向は破線で示すように移動する。この場合、移動ベクトルの移動量は一定となる。また、例えば撮像範囲に人物が含まれる場合、人物が撮像範囲の中心に近くになるに伴い移動速度を遅くして、人物が撮像範囲の中心から離れるに伴い移動速度を速くすると、撮像方向は実線で示すように変化する。この場合、移動ベクトルの移動量は人物が撮像範囲の中心に近くなるに伴い少なくなる。

ステップＳＴ５で撮像装置１０は、合成画像保存処理を行う。撮像装置１０は、生成したパノラマ合成画像の画像データを記録媒体に記憶して、または外部機器に送信して、パノラマ合成画像を保存する。また、撮像装置１０は、パノラマ合成画像を保存する際に、移動される撮像方向の動きを示す情報を、パノラマ合成画像付属情報としてパノラマ合成画像に関係付けて記憶させる。さらに、撮像装置１０は、パノラマ合成画像の生成に用いた画像のフレームレートとフレーム数、パノラマ合成画像の画像サイズ等をパノラマ合成画像付属情報に含める。

図５はパノラマ合成画像付属情報を例示している。例えばパノラマ合成画像の生成に用いた画像のフレームレートは「ＦＲ （ｆｒａｍｅ／ｓｅｃ）」、フレーム数は「ＦＮＴ （ｆｒａｍｅ）」、パノラマ合成画像の画像サイズは「Ｌpw×Ｌh （ｐｉｘｃｅｌ）」であることが示されている。また、検出された移動ベクトル「ＭＶ1，ＭＶ2，・・・ （ｐｉｘｃｅｌ）」が示されている。なお、検出された移動ベクトルが、パノラマ合成画像の生成に用いた画像における隣接フレーム間の各移動ベクトルを全て示す場合には、フレーム数の情報を含めなくとも、フレーム数を算出できる。

撮像装置１０は、Ｅｘｉｆ(Exchangeable Image File Format)と呼ばれているファイルフォーマットを用いてパノラマ合成画像の記録を行う場合、パノラマ合成画像付属情報をタグとしてＥｘｉｆデータに設けるようにする。なお、Ｅｘｉｆでは、画像データとＥｘｉｆデータで１つのファイルが構成されている。

また、Ｅｘｉｆを用いたカメラファイルシステム規格であるＤＣＦ（Design rule for Camera File system）規格を用いる場合、パノラマ合成画像付属情報をファイル化して画像データに関連付けて、画像データと同じフォルダ内に格納する。例えばフォルダ「１２３ＡＢＣ」内に、画像データのファイル「ＤＳＣ００００１．ＪＰＧ」とパノラマ合成画像付属情報の関連ファイル「ＤＳＣ００００１．ＰＡＭ」を格納する。なお、拡張子「ＪＰＧ」は、ＪＰＥＧ(Joint Photographic Experts Group）方式で画像データを圧縮したファイルであることを示しており、拡張子「ＰＡＭ」はパノラマ合成画像付属情報であることを示している。

また、撮像動作を行いパノラマ合成画像の生成に用いる複数枚の撮像画像の生成時に音声の取得が行われている場合、撮像時の音声をパノラマ合成画像に関連付けて、画像データと同じフォルダ内に格納する。例えばフォルダ「１２３ＡＢＣ」内に、音声データのファイル「ＤＳＣ００００１．ＷＡＶ」を格納する。なお、拡張子「ＷＡＶ」は音声データのファイルであることを示している。

なお、パノラマ合成画像やパノラマ合成画像付属情報の生成は、撮像装置に代えて画像処理装置で行うようにしてもよい。この場合、撮像装置は、パノラマ合成画像の生成に用いる複数枚の撮像画像または複数枚の撮像画像や計測部の計測結果を記録媒体に記録する。また、撮像装置は、通信部を介してパノラマ合成画像の生成に用いる複数枚の撮像画像または複数枚の撮像画像と計測部の計測結果を画像処理装置に供給してもよい。画像処理装置は、記録媒体に記録されている複数枚の撮像画像または複数枚の撮像画像と計測部の計測結果を用いて、上述のようにパノラマ合成画像やパノラマ合成画像付属情報の生成を行う。また、画像処理装置は、通信部を介して供給された複数枚の撮像画像または複数枚の撮像画像と計測部の計測結果を用いてパノラマ合成画像やパノラマ合成画像付属情報の生成を行ってもよい。

＜３．画像処理装置の構成＞
次に、パノラマ合成画像の再生動作を行う画像処理装置について説明する。図６は、パノラマ合成画像のスクロール再生を行う画像処理装置の概略構成を例示している。なお、図では、パノラマ合成画像の生成機能も有している画像処理装置を例示している。

画像処理装置５０は、記録再生部５１、通信部５２、メモリ部５３、コーデック部５４、パノラマ合成処理部５５、バッファメモリ部５６、表示部５７、音声出力部５８、ユーザインタフェース部６１、制御部６５を有している。また、各部はバス７１を介して接続されている。

記録再生部５１は、記録媒体に記録されている画像データや符号化データ等を読み出してメモリ部５３に出力する。

通信部５２は、撮像装置と通信を行うためのインタフェースである。通信部５２は、撮像装置から供給された画像データや符号化データ等をメモリ部５３に出力する。

メモリ部５３は、記録再生部５１や通信部５２から供給された画像データや符号化データ等を一時記憶する。

コーデック部５４は、メモリ部５３に記憶されている符号化データのデータ伸長処理を行い、得られた画像データをメモリ部５３またはバッファメモリ部５６、得られた音声データをメモリ部５３または音声出力部５８に出力する。また、コーデック部５４は、パノラマ合成処理部５５から出力された画像データのデータ圧縮処理を行い、得られた符号化データを記録再生部５１に出力して、記録媒体に記録させる。

パノラマ合成処理部５５は、メモリ部５３に記憶されている画像データを用いて撮像画像の合成処理を行い、撮像画像よりも広画角であるパノラマ合成画像の画像データを生成する。パノラマ合成処理部５５は、生成した画像データをメモリ部５３、コーデック部５４、バッファメモリ部５６の少なくとも何れかに出力する。また、パノラマ合成処理部２２は、撮像画像間の動き検出を行い、検出結果に基づき合成後の画像において画像の繋ぎ目で欠落や重複が生じないように合成処理を行う。さらに、パノラマ合成処理部２２は動き検出結果すなわち移動される撮像方向の動きの検出結果を制御部６５に出力する。

バッファメモリ部５６は、パノラマ合成画像の画像データを一時記憶する。バッファメモリ部５６に記憶された画像データは、後述する制御部６５からの制御信号によって表示部５７で画像表示を行う領域分だけ読み出されて表示部５７に出力される。また、画像データを読み出す領域は、制御部６５からの制御信号によって順次移動されて、パノラマ合成画像のスクロール再生が行われる。

表示部５７は、液晶表示素子や有機ＥＬ等の平面表示素子を用いて構成されている。表示部５７は、バッファメモリ部５６から読み出された画像データに基づいて表示素子を駆動して、パノラマ合成画像のスクロール表示を行う。また、表示部５７は、画像処理装置５０に搭載される機能を選択するためのメニュー表示や画像処理装置５０の設定状態や動作状態等の表示を行う。

音声出力部５８、メモリ部５３やコーデック部５４から供給された音声データに基づき音声出力を行う。

ユーザインタフェース部６１は、画像処理装置５０に設けられた操作スイッチや操作ボタン、表示部５７の表示画面に設けられたタッチパネル等で構成されており、ユーザによる操作に応じた操作信号を生成して制御部６５に出力する。

制御部６５は、ＣＰＵやＲＯＭおよびＲＡＭ等を用いて構成されている。制御部６５は、ＲＯＭに記憶されているプログラムを読み出してＣＰＵで実行して、操作信号に基づき画像処理装置５０の動作がユーザ操作に応じた動作となるように各部の動作を制御する。例えば、制御部６５は、制御信号をバッファメモリ部５６に出力して、バッファメモリ部５６からの画像データの読み出しを制御することでパノラマ合成画像のスクロール再生を行う。また、制御部６５は、パノラマ合成画像付属情報を用いて、移動される撮像方向の動きに応じてスクロール再生におけるスクロール速度を制御する。また、制御部６５は、メモリ部５３に記憶されている複数枚の撮像画像を用いてパノラマ合成画像の生成を制御してもよい。この場合、制御部６５は、パノラマ合成処理部５５から出力された動き検出結果を用いて、移動される撮像方向の動きに応じてスクロール速度を制御する。すなわち、請求項のスクロール再生部はバッファメモリ部５６と制御部６５、スクロール速度制御部は制御部６５に相当する。

制御部６５は、事前に記憶されているプログラムに代えて、通信部５２を介して供給されたプログラムをインストールして実行するようにしてもよい。さらに、メモリカード、光ディスク、磁気ディスク等の各種記録媒体により提供されたプログラムをインストールして実行するようにしてもよい。

＜４．第１の画像再生動作＞
次に、画像処理装置の第１の画像再生動作について説明する。図７は、第１の画像再生動作を示すフローチャートである。

ステップＳＴ１１で画像処理装置５０は、再生する画像がパノラマ合成画像であるか判別する。画像処理装置５０は、再生する画像がパノラマ合成画像であるか例えば画像サイズや付属情報等に基づき判別して、再生する画像がパノラマ合成画像である場合にステップＳＴ１２に進み、再生する画像がパノラマ合成画像でない場合にはステップＳＴ１５に進む。

ステップＳＴ１２で画像処理装置５０は、パノラマ合成画像付属情報があるか判別する。画像処理装置５０は、再生するパノラマ合成画像に関係付けられているパノラマ合成画像付属情報がある場合にステップＳＴ１３に進み、パノラマ合成画像付属情報がない場合にステップＳＴ１４に進む。

ステップＳＴ１３で画像処理装置５０は、動き再現スクロール再生を行う。画像処理装置５０は、パノラマ合成画像付属情報に基づき、パノラマ合成画像の生成に用いた複数枚の撮像画像の撮像時において移動される撮像方向の動きに対応させてスクロール速度を可変してパノラマ合成画像の再生を行う。

ステップＳＴ１４で画像処理装置５０は、固定速度スクロール再生を行う。画像処理装置５０は、スクロール速度を固定してパノラマ合成画像の再生を行う。

ステップＳＴ１１からステップＳＴ１５に進むと、画像処理装置５０は、一枚再生を行う。画像処理装置５０は、表示する画像の画像サイズを表示部５７の表示サイズに合わせて１枚の画像表示を行う。

次に、固定速度スクロール再生と動き再現スクロール再生について説明する。図８は、固定速度スクロール再生について説明するための図である。例えば図８の（Ａ）は生成されたパノラマ合成画像を例示している。また、パノラマ合成画像の画像サイズは、例えば「Ｌpw×Ｌh」、表示部５７の表示サイズは例えば図８の（Ｂ）に示すように「Ｌdw×Ｌh」とする。

固定速度スクロール再生において、再生時のフレームレートを「ＦＰ（ｆｒａｍｅ／ｓｅｃ）」、再生時間を「ＴＰ（＝Ｔse−Ｔss）（ｓｅｃ）」とする。この場合、時間ＴＰの期間で表示領域を左端から（Ｌpw−Ｌdw）画素分だけ移動させることで、パノラマ合成画像の全体をスクロール再生することができる。したがって、フレーム毎に「（Ｌpw−Ｌdw）／（ＦＰ×ＴＰ）」だけ表示領域を右方向に順次移動させることで、図８の（Ｃ）に示すように、一定のスクロール速度でパノラマ合成画像全体をスクロール再生できる。なお、図８の（Ｃ）および後述する図９の（Ｂ）、図１１の（Ｂ）では、時間と表示領域（左端位置）の関係を連続した特性線として示しているが、フレーム毎に表示領域（左端位置）を示してもよい。

図９は、動き再現スクロール再生について説明するための図である。例えば図９の（Ａ）は生成されたパノラマ合成画像を例示している。また、パノラマ合成画像の画像サイズと表示部５７の表示サイズは、上述のように「Ｌpw×Ｌh」「Ｌdw×Ｌh」とする。

ここで、例えば人物が撮像範囲の中央に近くなったとき撮像方向を移動させる速度を低下させると、移動ベクトルの移動量が少なくなる。したがって、図９の（Ａ）に示すパノラマ合成画像の中央部分では人物が含まれていることから、移動ベクトルの移動量は、中央部分の移動量が他の部分に比べて少なくなる。

動き再現スクロール再生では、撮像時の動作を再現できるように、表示領域の移動は、パノラマ合成画像付属情報で示された動き情報に基づいて決定する。例えばパノラマ合成画像の生成に用いた移動ベクトルに応じて表示領域の移動量を調整する。

動き再現スクロール再生において、撮像時と再生時のフレームレートを「ＦＲ＝ＦＰ」および撮像時間と再生時間を「ＴＲ＝ＴＰ」とした場合、撮像時と再生時のフレーム数は等しい。ここで、１枚目の撮像画像と２枚目の撮像画像を用いて算出された移動ベクトルがＭＶ1であり、移動ベクトルの合計値をＭＶtとした場合、表示領域の移動量を「（Ｌpw−Ｌdw）×ＭＶ1／ＭＶt」とする。同様に、２枚目の撮像画像と３枚目の撮像画像を用いて算出された移動ベクトルがＭＶ2である場合、表示領域の移動量を「（Ｌpw−Ｌdw）×ＭＶ2／ＭＶt」とする。以下同様処理を行うと、図９の（Ｂ）に示すように、パノラマ合成画像全体を撮像時の動作を再現してスクロール再生を行うことができる。すなわち、撮像時と同様に、人物が表示領域の中央に近づくとスクロール速度が低下されて、撮像時の動作を再現できる。また、図９の（Ｂ）に示す再生位置と時間の関係を、再生時間に応じて時間方向に伸張または縮小すれば、再生時間が撮像時間と異なる場合でも、撮像時の動作に対応してスクロール速度を可変してパノラマ合成画像のスクロール再生が可能となる。さらに、図９の（Ｂ）に示す再生位置と時間の関係を利用することで、撮像時と再生時のフレームレートが異なる場合でも、撮像時の動作に対応してスクロール速度を可変してパノラマ合成画像のスクロール再生が可能となる。例えば時間と表示領域（左端位置）の関係を連続した特性線として算出しておけば、特性線を時間方向に伸張または縮小することで、再生時間が撮像時間と異なる場合でも、表示するフレームに対応する表示領域を容易に判別できる。また、フレームレートが異なる場合でも、表示するフレームに対応する表示領域を容易に判別できる。さらに、フレーム毎に表示領域（左端位置）が示される場合、表示するフレームに対応する表示領域を補間等によって算出すれば、撮像時の動作に対応してスクロール速度を可変できる。さらに、パノラマ合成画像の短手方向が表示領域のサイズと異なる場合、パノラマ合成画像の短手方向と表示領域のサイズの比率に応じてスクロール速度を調整すればよい。

このように、動き再現スクロール再生において、画像処理装置５０は、移動される撮像方向の動きに応じてスクロール速度を制御する。したがって、例えば注目被写体を重視した撮像が行われた場合、注目被写体を重視したスクロール再生が可能となる。すなわち、撮像方向を移動しながら撮像を行う際に、注目被写体が画面に含まれるようになったときに移動速度を低下させた場合、パノラマ画像のスクロール再生では、注目被写体が表示されるとスクロール速度が低下される。したがって、撮像時の臨場感を再現できるようになる。

また、画像処理装置５０は、再生するパノラマ合成画像に関係付けられているパノラマ合成画像付属情報がある場合に、動き再現スクロール再生と固定速度スクロール再生の切り替えを行うようにしてもよい。制御部６５は、パノラマ合成画像に対して被写体検出例えば人物の検出を行い、表示領域に人物が含まれていない場合は、固定速度スクロール再生、表示領域に人物が含まれる場合は、動き再現スクロール再生を行うようにしてもよい。

なお、画像処理装置５０は、表示部５７でパノラマ合成画像等の表示を行う場合について説明したが、動き再現スクロール再生の画像データ、固定速度スクロール再生の画像データ、一枚の画像表示の画像データを出力して、外部機器で表示等を行ってもよい。また、撮像装置１０で、上述のような画像再生動作を行うようにしてもよい。

＜５．第２の画像再生動作＞
次に、画像処理装置の第２の画像再生動作では、パノラマ合成画像の再生と共に音声データの再生を行う場合について説明する。図１０は、第２の画像再生動作を示すフローチャートである。

ステップＳＴ２１で画像処理装置５０は、再生する画像がパノラマ合成画像であるか判別する。画像処理装置５０は、再生する画像がパノラマ合成画像である場合にステップＳＴ２２に進み、再生する画像がパノラマ合成画像でない場合にはステップＳＴ２９に進む。

ステップＳＴ２２で画像処理装置５０は、パノラマ合成画像付属情報があるか判別する。画像処理装置５０は、再生するパノラマ合成画像に関係付けられているパノラマ合成画像付属情報がある場合にステップＳＴ２３に進み、パノラマ合成画像付属情報がない場合にステップＳＴ２６に進む。

ステップＳＴ２３で画像処理装置５０は、音声データがあるか判別する。画像処理装置５０は、パノラマ合成画像に関連付けられた音声データがある場合にステップＳＴ２４に進み、関連付けられた音声データがない場合にステップＳＴ２５に進む。

ステップＳＴ２４で画像処理装置５０は、音声付き動き再現スクロール再生を行う。画像処理装置５０は、上述のように動き再現スクロール再生を行う。また、画像処理装置５０は、音声の記録時間（撮像時間に相当）がスクロール再生時間と等しい場合、音声データを順次再生する。また、音声の記録時間がスクロール再生時間と異なる場合、記録された音声データの再生時間がスクロール再生時間と等しくなるように音声の再生速度を調整する。さらに、画像処理装置５０は、音声の再生速度を変更しても音程が変化しないように音声処理を行う。

ステップＳＴ２５で画像処理装置５０は、動き再現スクロール再生を行う。画像処理装置５０は、音声データが関連付けられていないことから、上述の動き再現スクロール再生を行う。

ステップＳＴ２２からステップＳＴ２６に進むと、画像処理装置５０は、音声データがあるか判別する。画像処理装置５０は、パノラマ合成画像に関連付けられた音声データがある場合にステップＳＴ２７に進み、関連付けられた音声データがない場合にステップＳＴ２８に進む。

ステップＳＴ２７で画像処理装置５０は、音声付き固定速度スクロール再生を行う。画像処理装置５０は、音声の記録時間（撮像時間に相当）がスクロール再生時間と等しい場合、音声データを順次再生する。また、音声の記録時間がスクロール再生時間と異なる場合、記録された音声データの再生時間がスクロール再生時間と等しくなるように音声の再生速度を調整する。さらに、画像処理装置５０は、音声の再生速度を変更しても音程が変化しないように音声処理を行う。

ステップＳＴ２８で画像処理装置５０は、固定速度スクロール再生を行う。画像処理装置５０は、音声データが関連付けられていないことから、上述の固定速度スクロール再生を行う。

ステップＳＴ２１からステップＳＴ２９に進むと、画像処理装置５０は、一枚再生を行う。画像処理装置５０は、表示する画像の画像サイズを表示部５７の表示サイズに合わせて１枚の画像表示を行う。

このように、画像処理装置５０は、音声付き固定速度スクロール再生を行う場合、パノラマ合成画像のスクロールスクロール速度が一定であり、音声も再生時間をスクロール再生時間と等しくなるようにスクロール速度を変更するだけでよい。したがって、容易にパノラマ合成画像のスクロール再生や音声の再生を容易に行うことができる。また、音声付き動き再現スクロール再生を行う場合、撮像時の動作に対応してスクロール速度を可変してパノラマ合成画像のスクロール再生が行われて、音声については再生時間がスクロール再生時間と等しくなるようにスクロール速度が変更される。したがって、例えば所望の被写体が撮像範囲に含まれたとき移動速度を低下させて解説等の音声を記録したとき、パノラマ合成画像のスクロール再生では、所望の被写体が表示範囲に含まれたとき解説等の音声が再生されるようになる。

また、画像処理装置５０は、再生するパノラマ合成画像に関係付けられているパノラマ合成画像付属情報があっても音声データがない場合には、固定速度スクロール再生を行うようにしてもよい。さらに、再生される音声が所定レベル以上である場合、音声付き動き再現スクロール再生を行い、再生される音声が所定レベルよりも小さい場合、音声付き固定速度スクロール再生を行うようにしてもよい。例えば図１１に示すように、時間Ｔsaで音声レベルＳＬが閾値ＳＶthを超えるまでは、音声付き固定速度スクロール再生を行い、閾値ＳＶthを超えた場合は音声付き動き再現スクロール再生に切り替える。その後、時間Ｔsbで音声レベルＳＬが閾値ＳＶth以下となった場合、音声付き固定速度スクロール再生に切り替えてもよい。

なお、上述の撮像装置２０でスクロール再生を行う場合、制御部３５によって画像メモリ部２１等を制御して、第１の画像再生動作または第２の画像再生動作を行うようにする。また、図３および図４，図８，図９，図１１では、撮像方向を水平方向に移動する場合を例示しているが、撮像方向を水平方向とは異なる方向、例えば垂直方向等に移動する場合も同様にして、上述のようなスクロール再生を行うことができる。

さらに、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） 撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行うスクロール再生部と、
前記移動される撮像方向の動きに応じて前記スクロール再生におけるスクロール速度を制御するスクロール速度制御部と
を備える画像処理装置。
（２） 前記パノラマ合成画像は、前記撮像画像間で検出された前記撮像方向の動きを示す動き情報を含む付属情報と関係付けられており、
前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている付属情報に含まれる動き情報に基づき前記スクロール速度を制御する（１）に記載の画像処理装置。
（３） 前記スクロール速度制御部は、前記撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする（１）または（２）に記載の画像処理装置。
（４） 前記付属情報は、前記パノラマ合成画像サイズと前記複数の撮像画像のフレームレートを示す情報を含み、
前記スクロール速度制御部は、前記パノラマ合成画像サイズと前記フレームレートを示す情報および前記スクロール再生における表示サイズとフレームレートに基づき、前記スクロール速度を制御する（１）乃至（３）の何れかに記載の画像処理装置。
（５） 前記スクロール速度制御部は、前記スクロール速度を制御して、前記複数枚の撮像画像の生成時における前記撮像方向の動きを再現してスクロール再生を行う（４）に記載の画像処理装置。
（６） 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている付属情報がない場合、前記スクロール速度を一定速度とする（１）乃至（５）の何れかに記載の画像処理装置。
（７） 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に音声信号が関係付けられている場合、前記スクロール速度に応じて前記音声信号の再生速度を制御する（１）乃至（６）の何れかに記載の画像処理装置。
（８） 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている音声信号の信号レベルが予め設定された信号レベルよりも高い場合、前記スクロール速度を一定速度から前記撮像方向の動きに応じた速度として、前記スクロール速度に応じて前記音声信号の再生速度を制御する（１）乃至（７）の何れかに記載の画像処理装置。

この技術の画像処理装置と画像処理方法とプログラムおよび撮像装置では、撮像方向を移動しながら生成された複数枚の撮像画像を合成することにより撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行い、撮像方向についての動きに応じてスクロール速度が制御される。このため、撮像方向を移動しながら複数枚の撮像画像を生成したときの移動速度が遅いときにはスクロール速度を遅く、移動速度が速いときにはスクロール速度を速くすることで、撮像時の臨場感を再現してパノラマ合成画像のスクロール再生を行うことができる。したがって、デジタルフォトフレームやパノラマ合成画像の生成機能を有した撮像装置等に適している。

１０・・・撮像装置、１１・・・撮像レンズ部、１２・・・撮像部、１３・・・カメラ信号処理部、１４・・・計測部、２１・・・画像メモリ部、２２、５５・・・パノラマ合成処理部、２３・・・音声取得部、２４，５４・・・コーデック部、２５，５１・・・記録再生部、２６，５２・・・通信部、２７，５７・・・表示部、２８・・・音声出力部、３１，６１・・・ユーザインタフェース部、３５，６５・・・制御部、４１，７１・・・バス、５０・・・画像処理装置、５３・・・メモリ部、５６・・・バッファメモリ部、５８・・・音声出力部

Claims (10)

1. 撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行うスクロール再生部と、
   前記移動される撮像方向の動きに応じて前記スクロール再生におけるスクロール速度を制御するスクロール速度制御部とを備え、
   前記スクロール速度制御部は、前記撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする画像処理装置。
2. 前記パノラマ合成画像は、前記撮像画像間で検出された前記撮像方向の動きを示す動き情報を含む付属情報と関係付けられており、
   前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている付属情報に含まれる動き情報に基づき前記スクロール速度を制御する請求項１記載の画像処理装置。
3. 前記付属情報は、前記パノラマ合成画像の画像サイズと前記複数枚の撮像画像のフレームレートを示す情報を含み、
   前記スクロール速度制御部は、前記パノラマ合成画像の画像サイズと前記フレームレートを示す情報および前記スクロール再生における表示サイズとフレームレートに基づき、前記スクロール速度を制御する請求項２記載の画像処理装置。
4. 前記スクロール速度制御部は、前記スクロール速度を制御して、前記複数枚の撮像画像の生成時における前記撮像方向の動きを再現してスクロール再生を行う請求項３記載の画像処理装置。
5. 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている付属情報がない場合、前記スクロール速度を一定速度とする請求項１記載の画像処理装置。
6. 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に音声信号が関係付けられている場合、前記スクロール速度に応じて前記音声信号の再生速度を制御する請求項１記載の画像処理装置。
7. 前記スクロール速度制御部は、前記スクロール再生を行うパノラマ合成画像に関係付けられている音声信号の信号レベルが予め設定された信号レベルよりも高い場合、前記スクロール速度を一定速度から前記撮像方向の動きに応じた速度として、前記スクロール速度に応じて前記音声信号の再生速度を制御する請求項１記載の画像処理装置。
8. 撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行う工程と、
   前記移動される撮像方向の動きが小さくなるに伴い前記スクロール再生におけるスクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする工程と
   を含む画像処理方法。
9. パノラマ合成画像のスクロール再生をコンピュータで実行させるプログラムであって、
   撮像方向を移動しながら生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像のスクロール再生を行う手順と、
   前記移動される撮像方向の動きが小さくなるに伴い前記スクロール再生におけるスクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする手順と
   を前記コンピュータで実行させるプログラム。
10. 撮像画像を生成する撮像部と、
    撮像方向を移動しながら前記撮像部で生成された複数枚の撮像画像を合成処理することで生成された前記撮像画像よりも広画角であるパノラマ合成画像を生成するパノラマ合成処理部と、
    前記移動される撮像方向の動きを検出する動き検出部と、
    前記動き検出部で検出された動きを示す動き情報を含む付属情報を生成して前記パノラマ合成画像に関係付ける情報生成部と、
    前記パノラマ合成画像のスクロール再生を行うスクロール再生部と、
    前記動き検出部で検出された動きに基づいて前記スクロール再生におけるスクロール速度を制御するスクロール速度制御部とを備え、
    前記スクロール速度制御部は、前記撮像方向の動きが小さくなるに伴い前記スクロール速度を遅くして、動きが大きくなるに伴い前記スクロール速度を速くする撮像装置。

Images