JP2011217065A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】撮影したパノラマ画像が、テンプレートの合成エリアに適切であるかどうかを撮影時に確認できる撮像装置を提供する。
【解決手段】テンプレートを選択するテンプレート選択手段と、パノラマ画像の合成エリアを選択する合成エリア選択手段と、動画像を撮像する撮像手段と、撮像装置の動きを検出し動き情報として出力する動き検出手段と、動画像および検出された撮像装置の動きから、合成エリアに対応するパノラマ画像を生成するパノラマ画像生成手段と、動画像の撮像中に、パノラマ画像の合成エリアに生成途中のパノラマ画像を逐次合成して、合成画像の生成および更新を行う合成画像生成手段と、生成および更新される合成画像を逐次表示する表示手段と、テンプレート、ならびに、動画像、パノラマ画像、および合成画像のうち１以上を記憶する記憶手段とを有することにより、上記課題を解決する。
【選択図】図３

Description

本発明は、テンプレート合成プリントに適したパノラマ画像を生成する撮像装置、撮像方法およびプログラムに関するものである。

近年、デジタルスチルカメラの性能向上に伴い、高解像度の動画像が撮影可能な機種が発売されている。このため、動画像から静止画像のパノラマ画像を切り出してプリントしたい、またはフォトブックを作製したいという要望が出てきている。パノラマ画像の撮影に関しては、従来、静止画像を複数枚撮影し繋ぎ合わせるための撮影支援を行うことなど種々提案されている。

例えば、特許文献１には、図２０（Ａ）に示すように、撮像された画像データの少なくとも一部の領域の画像と、これから撮像する画像１００とを識別して表示するための識別用画像データ１０２を形成し、識別用画像データ１０２の表示位置を、これから撮像する画像の表示位置に関連させた方向に移動させ、撮像する画像１００と識別用画像データ１０２とを同時に表示することが記載されている。また、パノラマ画像を生成するための基画像のうちどの部分を撮影中かを表す枠１０４，１０６，１０８を表示している。図２０（Ｂ）は、３枚からなるパノラマ画像の２枚目の撮影中を表す図であり、１枚目の画像１０４の一部の領域の画像１１０（つまり、識別用画像データ１０２に相当）と、２枚目の画像１１２（つまり撮影する画像１００）と、３枚目の画像領域１１４とが表示されている。このとき、どの部分を撮影中かを表す枠１０４，１０６，１０８も表示されている。

特許文献２には、テンプレートに合う構図の画像が簡単に撮影でき、記録後のテンプレートの変更、合成解除が可能な撮像装置が記載されている。

特許文献３には、被写体を撮影して動画像を表す画像データを取得し、撮影時の移動情報を検出して撮影時の時間情報に対応させ、該移動情報および対応する時間情報を画像データに付与して記憶し、撮影終了後に、記録された画像データから移動情報を抽出し、該移動情報および対応する時間情報に基づいて画像データの複数のフレーム画像をパノラマ画像に加工することが記載されている。

また、図２１（Ａ）および（Ｂ）に、レイアウトを用いた合成画像生成の例を示す。図２１（Ａ）の画面１２０には、テンプレート選択画面１２２が表示されている。ここで、テンプレートを選択すると、図２１（Ｂ）に示すように、画面１２０に選択されたテンプレート１２４が表示され、合成エリア１２６に対して撮影画像群１２８から任意の撮影画像を配置して、１枚の合成画像を得ることができる。

特開２００８−９８７５４号公報 特開平１１−１６８６８９号公報 特開２００４−１２８６８３号公報

しかしながら、特許文献１のように、静止画像を複数枚撮影してパノラマ画像を生成する場合には、撮影者が自ら構図を考えて２枚目以降の静止画像を撮影しなければ、適切なパノラマ画像を生成することができない。また、撮影者が乗り物等に乗って移動している場合には、撮影位置が移動し続けていることから被写体との距離も変わり続けるため、実質上パノラマ画像を撮影することが難しかった。

特許文献２に記載の撮像装置は、あくまでテンプレートと静止画像の合成画像を得るものであり、動画像から静止画像のパノラマ画像を得ることは考慮されていない。
特許文献３では、動画像から静止画像のパノラマ画像を得ることは可能であるが、得られたパノラマ画像が、テンプレート合成プリントおよびフォトブックの合成エリアに適切であるかどうかが撮影時には判らず、実際に加工してみてフォトブック等に使えない場合があるということもあった。

例えば、動画像から生成されたパノラマ画像を、フォトブックおよびテンプレートプリントに用いることで、図１（Ａ）〜（Ｃ）に示すように、魅力付けを行うことができるが、どのような動画像からも適切なパノラマ画像が生成できる訳ではなく、旅先で動画像を撮影し自宅に帰ってからパノラマ画像を生成してみると、図２に示すような失敗画像であった場合、動画像を撮影しなおすことはできない。このため、動画像の撮影時にどのようなパノラマ画像が生成されるのかを確認したいという要求があった。

本発明の目的は、撮影したパノラマ画像が、テンプレート合成プリントおよびフォトブックの合成エリアに適切であるかどうかを、撮影時に確認できる撮像装置、撮像方法およびプログラムを提供することにある。また、テンプレート合成プリントおよびフォトブックの合成エリアに最適なパノラマ画像が撮影可能なように撮影支援を行う撮像装置、撮像方法およびプログラムを提供することにある。

上記課題を解決するために、本発明は、テンプレートを選択するテンプレート選択手段と、選択された前記テンプレートの、パノラマ画像の合成エリアを選択する合成エリア選択手段と、動画像を撮像する撮像手段と、撮像装置の動きを検出し、動き情報として出力する動き検出手段と、前記動画像および検出された前記撮像装置の動きから、前記パノラマ画像の合成エリアに対応する、静止画像のパノラマ画像を生成するパノラマ画像生成手段と、前記動画像の撮像中に、前記パノラマ画像の合成エリアに生成途中の前記パノラマ画像を逐次合成して、合成画像の生成および更新を行う合成画像生成手段と、生成および更新される前記合成画像を逐次表示する表示手段と、前記テンプレート、ならびに、前記動画像、前記パノラマ画像、および前記合成画像のうち１以上を記憶する記憶手段と、を有することを特徴とする撮像装置を提供する。

また、前記表示手段には、スルー画と前記合成画像とが表示されていることが好ましい。
さらに、前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さと同一となったとき、前記動画像の撮像および前記パノラマ画像の生成を終了することが好ましい。
また、前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さを超えたとき、前記合成エリアの撮影を開始した辺側と対向する辺側に新たな生成画像を追加し、かつ、追加された前記新たな生成画像と同じ幅分の前記パノラマ画像の表示について前記撮影を開始した辺側から消すことで、前記合成エリア内の前記パノラマ画像をずらして表示することが好ましい。

また、前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さを超えたとき、前記パノラマ画像の画素のアスペクト比を固定した状態で、生成途中の前記パノラマ画像を縮小して表示することが好ましい。
また、前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さ未満で前記動画像の撮像が中断された場合、前記テンプレートを修正することが好ましい。
さらに、前記テンプレートの修正は、前記合成エリアにおける生成方向の長さを前記パノラマ画像と同じ長さまで縮小し、新たな合成エリアを追加することが好ましい。
また、前記テンプレートの修正は、前記パノラマ画像の生成方向の前記テンプレート中央に、前記合成エリアを移動することが好ましい。

また、前記動画像の撮像中に前記パノラマ画像の生成方向が変更されたとき、前記合成エリアの形状を変更された前記生成方向に合わせて変更することが好ましい。
また、前記表示手段に、さらに、前記パノラマ画像の生成方向をメッセージまたは矢印で表示することにより、前記パノラマ画像の撮影をアシストすることが好ましい。
また、前記パノラマ画像の撮影開始位置は、前記合成エリアにおける生成方向に直交する辺または該辺の近傍が選択されることで設定されることが好ましい。
また、前記テンプレート選択手段で選択される前記テンプレート、および前記合成エリア選択手段で選択される前記合成エリアのうち1以上は、入力手段を介して指示されることにより選択されるものであることが好ましい。

また、上記課題を解決するために、本発明は、テンプレートを選択するテンプレート選択ステップと、選択された前記テンプレートの、パノラマ画像の合成エリアを選択する合成エリア選択ステップと、撮像手段が動画像を撮像する撮像ステップと、動き検出手段が撮像装置の動きを検出し、動き情報として出力する動き検出ステップと、前記動画像および検出された前記撮像装置の動きから、前記パノラマ画像の合成エリアに対応する、静止画像のパノラマ画像を生成するパノラマ画像生成ステップと、前記動画像の撮像中に、前記パノラマ画像の合成エリアに生成途中の前記パノラマ画像を逐次合成して、合成画像の生成および更新を行う合成画像生成ステップと、生成および更新される前記合成画像を逐次表示する表示ステップと、前記テンプレート、ならびに、前記動画像、前記パノラマ画像、および前記合成画像のうち１以上を記憶する記憶ステップと、を有することを特徴とする撮像方法を提供する。

さらに、上記課題を解決するために、本発明は、上記に記載の撮像方法の各ステップを手順としてコンピュータに実行させるためのプログラムを提供する。

本発明によれば、撮影したパノラマ画像が、テンプレート合成プリントおよびフォトブックの合成エリアに適切であるかどうかを撮影時に確認でき、また、テンプレートに合わせた撮影支援を行うことで、パノラマ画像の撮影失敗をなくし、魅力あるテンプレート合成プリントまたはフォトブックの合成画像データを生成することができる。

（Ａ）〜（Ｃ）は、本発明に係る撮像装置を用いて作製したフォトブックの一例を示す説明図である。 失敗したパノラマ画像の一例を示す説明図である。 本発明に係る撮像方法を実施する、本発明に係る撮像装置の構成の一例を示すブロック図である。 本発明に係る撮像方法の処理の流れの一例を示すフローチャートである。 （Ａ）は、本発明に係る撮像装置のテンプレート選択画面の一例を示す説明図であり、（Ｂ）は、選択されたテンプレートの一例を示す説明図である。 テンプレートに画像一覧エリアから静止画像を配置する一例を示す説明図である。 （Ａ）〜（Ｃ）は、本発明に係る撮像装置で行う動画像撮影およびパノラマ画像の合成を時系列に表した説明図である。 パノラマ画像がテンプレートの右端まで表示され、さらにパノラマ画像の画素のアスペクト比を固定してパノラマ画像全体を縮小表示する一例を示す説明図である。 （Ａ）は、パノラマ画像がテンプレートの右端まで表示され、さらに表示されている部分をずらしていく場合のテンプレートの表示の一例を示す説明図であり、（Ｂ）は、（Ａ）の場合の実際のパノラマ画像の合成データの一例を示す説明図である。 スルー画を表示しつつ、テンプレートとパノラマ画像の合成状況を表示する一例を示す説明図である。 （Ａ）は、パノラマ画像の合成がテンプレートの途中で中断した状態の一例を示す説明図であり、（Ｂ）は、中断したパノラマ画像の合成エリアの空き領域に、新たに他の合成エリアを追加した一例を示す説明図である。 （Ａ）は、パノラマ画像の合成がテンプレートの途中で中断した状態の他の一例を示す説明図であり、（Ｂ）は、中断したパノラマ画像の合成エリアをテンプレートの中央に移動した一例を示す説明図である。 （Ａ）〜（Ｅ）は、撮影状況に応じてテンプレートを変更する場合の一例を示す説明図である。 撮影状況に応じて変更した合成エリアの一例を示す説明図である。 他の合成エリアに画像が配置されている場合に、テンプレートの該合成エリアの変更を不可とする一例を示す説明図である。 パノラマ画像の合成エリアをタッチする位置により、パノラマ撮影開始位置を設定する場合の一例を示す説明図である。 （Ａ）は、テンプレートから撮影支援を行う合成エリアの選択を行う一例を示す説明図であり、（Ｂ）は、（Ａ）で選択された合成エリアの撮影支援の一例を示す説明図である。 撮影支援を行うテンプレートの他の一例を示す説明図である。 通常画像の合成エリアをタッチして静止画撮影モードを起動する一例を示す説明図である。 （Ａ），（Ｂ）は、従来のパノラマ画像の撮影方法の一例を説明する説明図である。 （Ａ），（Ｂ）は、従来のレイアウトを用いた合成画像生成の一例を説明する説明図である。

本発明に係る撮像方法を実施する本発明に係る撮像装置を、添付の図面に示す好適実施形態に基づいて以下に詳細に説明する。

図３は、本発明に係る撮像装置の構成を表す一実施形態のブロック図である。
図３に示す撮像装置１０は、撮像部１２、表示部１４、操作部１６、カメラ位置・動き検出部１８、記録部２０、テンプレート修正部２６、および画像処理部２８によって構成され、バス３４で接続されている。また、記録部２０は、撮像データ記録部２２とテンプレートデータ記録部２４とによって構成され、画像処理部２８は、パノラマ画像生成部３０とテンプレート合成部３２とによって構成される。

撮像部１２は、動画像および静止画像を撮像するための撮像手段であり、レンズ、絞り、および撮像素子等から構成される。撮像素子としてはＣＣＤ（Charge Coupled Device）イメージセンサ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を用いることができる。被写体の画像はレンズを通して撮像素子に結像されて光電変換され、動画像データまたは静止画像データとして出力される。

表示部１４は、撮像部１２から出力されたスルー画（動画像）、テンプレート選択画面等の操作画面、およびテンプレート等が表示される。表示部１４は、スルー画が表示されることで写真撮影時のファインダの役割も果たす。また、パノラマ画像の撮影時には、テンプレート上に合成画像が逐次表示される。

操作部１６は、写真撮影のためのレリーズボタン、スイッチ類、およびタッチパネルで構成され、撮影者が各種操作を行って撮像装置に指示を入力するための入力手段である。撮影者がテンプレートおよび合成エリアを選択する場合、テンプレート選択画面が表示された表示部１４と合わせてテンプレート選択手段を構成し、テンプレートが表示された表示部１４と合わせて合成エリア選択手段を構成する。入力された各種操作は操作情報として出力される。なお、テンプレートおよび合成エリアは、自動的に選択されるようにしてもよい。

カメラ位置・動き検出部１８は、撮像装置の位置および／または動きを検出する動き検出手段である。撮像装置の位置を検出するためにはＧＰＳ（Global Positioning System）、無線ＬＡＮ（Local Area Network）による位置検知等を用いることができ、動きを検出するためには、３次元ジャイロ、３軸加速度センサ等を用いることができる。また、位置検知の結果から動きを検出してもよい。検出された撮像装置の動きは、動き情報として出力される。なお、撮影された動画像を解析して動きを算出してもよい。

撮像データ記録部２２は、撮像部１２から出力された動画像データまたは静止画像データが記録される記憶手段である。また、動画像データと共に、カメラ位置・動き検出部１８から出力された動き情報も記録される。さらに、後述するテンプレート合成部３２から出力された最終的な出力画像である、テンプレートの全ての合成エリアに画像が配置された合成画像データ、動画像データから生成されたパノラマ画像データ、ならびに各画像データから生成されたサムネイル画像データ等が記録される。

テンプレートデータ記録部２４は、各種のテンプレートデータが記録される記憶手段である。操作部１６から入力された操作情報に応じて、ユーザによって選択されたテンプレートが読み出される。また、後述するテンプレート修正部２６で修正されたテンプレートを記録する。

テンプレート修正部２６は、合成されたパノラマ画像が、当初のテンプレートに設定された合成エリアと比べて大きいか、あるいは小さい場合、パノラマ画像に合わせてテンプレートを修正する。例えば、パノラマ画像が合成エリアよりも小さく、パノラマ画像が不足している領域に新たな合成エリアを追加することができれば、新たな合成エリアを追加し、不足していればパノラマ画像の表示をテンプレートの中央になるように修正する。
また、当初の合成エリアを超えて、例えば、上方に向かってパノラマ画像が合成されたときに、超えた部分をパノラマ画像の合成エリアとして修正する。

画像処理部２８は、大きくパノラマ画像生成部３０とテンプレート合成部３２とによって構成されるが、その他にもサムネイル画像データの生成、および各種フィルタ処理等が行われる。
パノラマ画像生成部３０は、パノラマ画像生成手段であり、撮像部１２から出力された動画像データと、カメラ位置・動き検出部１８から出力された動き情報に基づいて、テンプレートのパノラマ画像の合成エリアに対応する、静止画像であるパノラマ画像を生成し出力する。

パノラマ画像の生成方法としては、例えば、本出願人による特開２００４−１２８６８３号公報に記載の方法を用いることができる。具体的には、３次元ジャイロより得られる撮影時の撮像装置１０の傾き、および３軸加速度センサより得られる撮像装置１０に加わる加速度を含む動き情報、レンズのズーム倍率、ならびに動画像データの各フレームの撮影時間から、撮像装置１０の撮影時の移動方向及び移動量を演算することができる。そして、演算された移動方向及び移動量から、動画像データの各フレームの重複領域を演算し、重複領域を除いた複数のフレーム画像を合成することによってパノラマ画像を生成することができる。
なお、印刷に用いるテンプレートとの合成用パノラマ画像の他に、撮影時にリアルタイムで合成結果を表示部１４に表示するための、精度を落としたパノラマ画像を生成してもよい。例えば、解像度を下げる、プリント用は１０フレーム／秒、表示用は２フレーム／秒などの、動画像から抽出するフレームの時間間隔を大きくすること等が挙げられる。

テンプレート合成部３２は、合成画像生成手段であり、撮影中にテンプレートと合成エリアに合成される生成途中のパノラマ画像を逐次合成して、合成画像の生成および更新を行い、逐次合成画像を出力する。このとき、撮影中にテンプレートと合成するパノラマ画像は、精度を落としたパノラマ画像とすることで、簡単にリアルタイム処理を行うことができる。また、テンプレートの全ての合成エリアの撮影または画像の配置が完了すると、最終的に印刷等に用いるための出力用の合成画像データを生成し出力する。

次に、本発明に係る撮像方法を実現する、本発明に係る撮像装置の動作を説明する。

（実施例１）
図４は、本発明に係る撮像方法の処理の流れの一例を示すフローチャートである。
まず、ユーザによって表示部１４上に設けられたタッチパネル（操作部１６）が操作されることにより、図５（Ａ）に示すテンプレート選択画面から、図５（Ｂ）に示すパノラマ画像の合成エリアを持つテンプレート４０が選択される（ステップＳ１０）。ここで、図６に示すように、テンプレート４０の各合成エリアのうち、通常サイズの静止画像が配置される合成エリア（例えば、合成エリア４３）に対しては、画像一覧エリアの静止画像（例えば、静止画像４２）が配置される。

続いて、ユーザのタッチパネル操作により、テンプレート４０のパノラマ画像の合成エリア４４が選択されると（ステップＳ１２）、撮像装置１０はパノラマ用動画像撮影モードとなり、パノラマ画像用の動画像の撮影を開始する（ステップＳ１４）。動画像の撮影が開始されると、撮像装置１０がユーザにより、例えば水平に左から右へと動かされる。このユーザの動きは、カメラ位置・動き検出部１８により検出され、動き情報として動画像データと共に撮像データ記録部２２に記録される。

撮像装置１０が水平に左から右へと動かされることにより、パノラマ画像生成部３０によって撮影された動画像データからパノラマ画像が生成される。また、テンプレート合成部３２により、逐次生成されたパノラマ画像とテンプレートとが合成されて、図７（Ａ）〜（Ｃ）に示すように、パノラマ画像の合成エリアの左から右へと順次生成されたパノラマ画像が表示される。なお、ユーザが撮像装置１０を、一方向への動きを始めた後に逆向きに動かしてしまうと正常にパノラマ画像を生成することができないため、ユーザがこのような動きをした場合には警告を発するようにするのがよい。

生成されたパノラマ画像がテンプレートの合成エリアの終端に達した場合（ステップＳ１６で“大きい”）、ユーザによって予め設定された動作をする（ステップＳ２４）。ユーザにより自動的に撮影が終了するように設定されていた場合には（ステップＳ２４で“Ａ”）、パノラマ画像の生成方向の長さが合成エリアの長さと同一となった時点で、自動的にパノラマ画像の撮影を終了し（ステップＳ２６）、パノラマ画像を含む合成画像が生成され、パノラマ画像データおよび合成画像データが撮像データ記録部２２に記録される。

ユーザにより縮小して全体を表示するように設定されていた場合には（ステップＳ２４で“Ｂ”）、図８に示すように、撮影されたパノラマ画像全体がテンプレート４０内に収まるように合成エリアサイズの修正が逐次行われ、画素のアスペクト比を固定して縮小されたパノラマ画像が、合成エリア４４ａ内に逐次表示される（ステップＳ２８）。つまり、パノラマ画像の生成方向の長さが合成エリアの長さを超えたときに縮小表示が開始される。撮影はユーザによる操作によって終了し、パノラマ画像を含む合成画像が生成され、パノラマ画像データおよび合成画像データが撮像データ記録部２２に記録される。

ユーザにより、表示されるパノラマ画像を更新して表示するように設定されていた場合には（ステップＳ２４で“Ｃ”）、図９（Ａ）に示すように、テンプレート４０のパノラマ画像の合成エリア４４ｂのサイズは変更せず、合成エリア４４ｂ内に表示されるパノラマ画像が左に流れるように更新される（ステップＳ３０）。つまり、パノラマ画像の生成方向の長さが合成エリア４４ｂの生成方向の長さを超えたときに、合成エリア４４ｂの右端側に新たな生成画像が追加され、左端側から追加された生成画像と同じ幅の分だけ表示が消されていく。撮影はユーザによる操作によって終了し、パノラマ画像を含む合成画像が生成され、パノラマ画像データおよび合成画像データが撮像データ記録部２２に記録される。このとき、実際に生成されるパノラマ画像は、図９（Ｂ）に示すような、合成エリア４４ｂよりも幅が大きいパノラマ画像である。従って、撮影後にユーザがパノラマ画像のどの範囲を合成エリア４４ｂに合成するかを調整することができる。

ここで、パノラマ画像用の動画撮影時の表示部１４の表示は、図７〜図９に示すようなテンプレート４０の合成エリア内に生成中のパノラマ画像を表示するようにしてもよいし、図１０に示すように表示部１４にスルー画４６を表示しながら、表示部１４の一部にテンプレート４０を表示してパノラマ画像の生成状態を表示するようにしてもよい。また、図７〜図９のテンプレート４０の背後にスルー画を表示するようにしてもよい。スルー画４６を表示することにより、ユーザが現在撮影している部分の認識がしやすくなり、より適切なパノラマ画像を生成することができる。

生成されたパノラマ画像が、テンプレートの合成エリアの終端に達する前にユーザによって撮影が終了された場合（ステップＳ１６で“小さい”）、つまり、パノラマ画像の生成方向の長さが合成エリアの生成方向の長さ未満で撮影が終了された場合、途中で撮影が終了された合成エリアの残りの領域（不足領域）に、新たな合成エリアが追加可能か判定する（ステップＳ１８）。図１１（Ａ），（Ｂ）に示すように、途中で撮影が終了されパノラマ画像と同じ長さに縮小された合成エリア４４ｃの残りの領域に、新たな合成エリア４８が追加可能であれば（ステップＳ１８で“Ｙ”）、テンプレート修正部２６が合成エリア４８を追加して、テンプレート４０が更新される（ステップＳ２０）。合成エリア４４ｃのパノラマ画像データおよび合成画像データは撮像データ記録部２２に記録され、更新されたテンプレート４０は、テンプレートデータ記録部２４に記録される。

図１２（Ａ），（Ｂ）に示すように、途中で撮影が終了された合成エリア５０の残りの領域に、新たな合成エリアが追加可能でなければ（ステップＳ１８で“Ｎ”）、テンプレート修正部２６が合成エリア５０の位置をテンプレート４０の中央に修正し、テンプレート４０が更新される（ステップＳ２２）。合成エリア５０のパノラマ画像データおよび合成画像データは撮像データ記録部２２に記録され、更新されたテンプレート４０は、テンプレートデータ記録部２４に記録される。

なお、撮影状況に応じてテンプレートを変更するようにしてもよい。例えば、図１３（Ａ）〜（Ｅ）に示すように、テンプレート５２の合成エリア５４の右端側から、パノラマ画像用の動画像を撮影開始し（図１３（Ａ），（Ｂ））、合成エリア５４の左端まで達したところで（図１３（Ｃ））、被写体が縦に長い建物であり、ユーザが上方に撮像装置１０を向けた（動かした）とすると、当初の合成エリア５４から上方に合成エリアを拡張する（図１３（Ｄ））。つまり、パノラマ画像の生成方向が変更されると、合成エリアの形状を生成方向に合わせて変更する。すると、元々配置されていた合成エリア５６の領域と重複してしまうため、合成エリア５６を削除して、拡張された合成エリア５４およびパノラマ画像を表示するようにする（図１３（Ｅ））。このように撮影状況に応じてテンプレート５２を変更することで、よりユーザが求める合成画像を得ることができる。なお、合成エリア５４は図１３（Ｅ）のように直線でパノラマ画像を切り出してもよいが、図１４に示すように、撮影された画像をそのまま用いてもよい。

また、テンプレートの変更は、他の合成エリアに既に画像が挿入されているかどうかによって、その可否を決定するようにしてもよい。例えば、図１５に示すように、テンプレート４０の合成エリア６０に通常の静止画像（例えば静止画像５８）が既に配置されている場合、合成エリア４４に対応する動画像を撮影中に、ユーザが撮像装置１０を合成エリア６０の方向に動かしたときには、テンプレートを変更せず、テンプレートの変更ができないことを警告する。
このとき、テンプレート４０の他の合成エリアがまだ空いている状態であれば、警告の後、合成エリア６０に配置されている静止画像を他の合成エリアに配置し、合成エリア４４を合成エリア６０の方向に拡張するようにしてもよい。なお、まだ静止画像が配置されていない合成エリアの方向に動かしたときには、警告を行うことなく合成エリア４４を拡張してもよい。さらに、テンプレートにクリップアートが配置されている場合には、警告の種類を変更し、再配置が不可能であることをユーザに知らせるようにしてもよい。

また、パノラマ画像用動画像の撮影開始位置は、図１６に示すように、表示部１４上のタッチパネル（操作部１６）を用いて、合成エリア４４の生成方向に直交する辺である、左端側の領域６２をタッチすることで、左端側から撮影を開始（撮像装置１０は左から右へ移動させる）するようにしてもよく、また、合成エリア４４の右端側の領域６４をタッチすることで、右端側から撮影を開始（撮像装置１０は右から左へ移動させる）するようにしてもよい。

以上のように、撮影したパノラマ画像が、テンプレート合成プリントおよびフォトブックの合成エリアに適切であるかどうかを撮影時に確認でき、また、撮影されたパノラマ画像に合わせてテンプレートを修正することで、より魅力的なテンプレート合成プリントおよびフォトブックに用いる合成画像データを生成することができる。

（実施例２）
実施例２は、パノラマ画像用の動画像の撮影中に撮影支援を行うことを除き、実施例１と同様であるので、撮影支援について説明し、他の説明は省略する。

まず、図１７（Ａ）に示すように、テンプレート４０が選択され、パノラマ画像の合成エリア４４がタッチされて選択される。合成エリア４４が選択されると、図１７（Ｂ）に示すように、表示部１４にはスルー画４６とテンプレート４０が表示され、さらに、撮像装置１０を動かすべき方向（つまり、パノラマ画像の生成方向）を指示する矢印６６が表示される。ユーザが、矢印６６に従い撮像装置１０を右に動かすことで、パノラマ画像用の動画像が撮影され、生成途中のパノラマ画像６８がテンプレート４０に合成され表示される。パノラマ画像６８が合成エリア４４の右端まで到達すると撮影を終了して、パノラマ画像および合成画像は撮像データ記録部２２に記録される。なお、このとき表示部１４に表示されるパノラマ画像は撮影範囲が判ればよいので、情報を間引いた画像であってもよい。

撮影支援用の矢印６６は、合成エリア４４の残りの領域に応じて長さを変更し、または色を変更する等により、ユーザにパノラマ画像完成までの残り領域を知らせるようにしてもよい。例えば、撮影終了が近づくと矢印６６を短くしたり、色を赤くしたり、点滅させたり、あるいは音を鳴らす等することで、ユーザに残りの撮影領域および撮影終了を知らせることができる。他にも、矢印６６の長さと合成エリア４４の長さを同一とし、撮影可能な長さを矢印６６で表してもよいし、矢印に限られず、メッセージを表示することにより撮影支援を行ってもよい。

また、パノラマ画像の合成エリアは、例えば、図１８に示すテンプレート７０の合成エリア７２のように、２方向に動かすものであってもよい。合成エリア７２が選択され、合成エリア７２の左端側から動画像撮影が開始されると、撮影支援の矢印は当初右方向であるが、パノラマ画像が合成エリア７２の右端まで到達すると、撮影支援の矢印が下方向に変わり、ユーザは矢印に従って撮像装置１０を動かすことで、合成エリア７２に適切なパノラマ画像を撮影することができる。なお、矢印の方向が変わるときに、ユーザが異なる方向に撮像装置１０を動かした場合には警告を行う。

このように、テンプレートに合わせた撮影支援を行うことで、パノラマ画像の撮影失敗をなくし、魅力あるフォトブックまたはテンプレートプリントに用いる合成画像データを生成することができる。

なお、図１９に示すように、テンプレート４０の通常画像の合成エリア７４に対して、既に撮影された静止画像から配置するだけではなく、パノラマ画像と同様に、合成エリア７４をタッチすることで静止画像撮影モードを起動するようにしてもよい。この場合、合成エリア７４には、その場で撮影された静止画像が配置されて合成画像が生成される。

また、上記の実施形態では印刷用のパノラマ画像の生成および合成画像の生成を撮像装置１０内で行ったがこれに限られず、パーソナルコンピュータ等で動画像データから印刷用のパノラマ画像を生成し、テンプレートとの合成画像を生成するようにしてもよい。この場合には、撮像装置１０内では表示用の精度を落としたパノラマ画像のみを生成するようにしてもよい。

なお、本発明においては、上述した撮像方法の各工程をコンピュータに実行させるための撮像プログラムとして構成しても良いし、また、コンピュータを、撮像方法の各工程を実施する各手段として、または、上述した撮像装置を構成する各手段として機能させる撮像プログラムとして構成しても良い。
また、本発明を、上述した撮像プログラムをコンピュータにより読取可能な媒体またはコンピュータにより読取可能なメモリとして構成してもよい。

以上、本発明に係る撮像装置、撮像方法およびプログラムについて詳細に説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。

１０ 撮像装置
１２ 撮像部
１４ 表示部
１６ 操作部
１８ カメラ位置・動き検出部
２０ 記録部
２２ 撮像データ記録部
２４ テンプレートデータ記録部
２６ テンプレート修正部
２８ 画像処理部
３０ パノラマ画像生成部
３２ テンプレート合成部
３４ バス
４０，５２，７０ テンプレート
４２，５８ 静止画像
４３，４４，４４ａ，４４ｂ，４４ｃ，４８，５０，５４，５６，６０，７２，７４ 合成エリア
４６ スルー画
６２ 左端側の領域
６４ 右端側の領域
６６ 矢印
６８ パノラマ画像

Claims (14)

1. テンプレートを選択するテンプレート選択手段と、
   選択された前記テンプレートの、パノラマ画像の合成エリアを選択する合成エリア選択手段と、
   動画像を撮像する撮像手段と、
   撮像装置の動きを検出し、動き情報として出力する動き検出手段と、
   前記動画像および検出された前記撮像装置の動きから、前記パノラマ画像の合成エリアに対応する、静止画像のパノラマ画像を生成するパノラマ画像生成手段と、
   前記動画像の撮像中に、前記パノラマ画像の合成エリアに生成途中の前記パノラマ画像を逐次合成して、合成画像の生成および更新を行う合成画像生成手段と、
   生成および更新される前記合成画像を逐次表示する表示手段と、
   前記テンプレート、ならびに、前記動画像、前記パノラマ画像、および前記合成画像のうち１以上を記憶する記憶手段と、を有することを特徴とする撮像装置。
2. 前記表示手段には、スルー画と前記合成画像とが表示されていることを特徴とする請求項１に記載の撮像装置。
3. 前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さと同一となったとき、前記動画像の撮像および前記パノラマ画像の生成を終了することを特徴とする請求項１または２に記載の撮像装置。
4. 前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さを超えたとき、前記合成エリアの撮影を開始した辺側と対向する辺側に新たな生成画像を追加し、かつ、追加された前記新たな生成画像と同じ幅分の前記パノラマ画像の表示について前記撮影を開始した辺側から消すことで、前記合成エリア内の前記パノラマ画像をずらして表示することを特徴とする請求項１または２に記載の撮像装置。
5. 前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さを超えたとき、前記パノラマ画像の画素のアスペクト比を固定した状態で、生成途中の前記パノラマ画像を縮小して表示することを特徴とする請求項１または２に記載の撮像装置。
6. 前記パノラマ画像の生成方向の長さが、前記合成エリアにおける生成方向の長さ未満で前記動画像の撮像が中断された場合、前記テンプレートを修正することを特徴とする請求項１または２に記載の撮像装置。
7. 前記テンプレートの修正は、前記合成エリアにおける生成方向の長さを前記パノラマ画像と同じ長さまで縮小し、新たな合成エリアを追加することである請求項６に記載の撮像装置。
8. 前記テンプレートの修正は、前記パノラマ画像の生成方向の前記テンプレート中央に、前記合成エリアを移動することである請求項６に記載の撮像装置。
9. 前記動画像の撮像中に前記パノラマ画像の生成方向が変更されたとき、前記合成エリアの形状を変更された前記生成方向に合わせて変更することを特徴とする請求項１または２に記載の撮像装置。
10. 前記表示手段に、さらに、前記パノラマ画像の生成方向をメッセージまたは矢印で表示することにより、前記パノラマ画像の撮影をアシストすることを特徴とする請求項２または３に記載の撮像装置。
11. 前記パノラマ画像の撮影開始位置は、前記合成エリアにおける生成方向に直交する辺または該辺の近傍が選択されることで設定されることを特徴とする請求項１〜１０のいずれかに記載の撮像装置。
12. 前記テンプレート選択手段で選択される前記テンプレート、および前記合成エリア選択手段で選択される前記合成エリアのうち1以上は、入力手段を介して指示されることにより選択されるものであることを特徴とする請求項１〜１１のいずれかに記載の撮像装置。
13. テンプレートを選択するテンプレート選択ステップと、
    選択された前記テンプレートの、パノラマ画像の合成エリアを選択する合成エリア選択ステップと、
    撮像手段が動画像を撮像する撮像ステップと、
    動き検出手段が撮像装置の動きを検出し、動き情報として出力する動き検出ステップと、
    前記動画像および検出された前記撮像装置の動きから、前記パノラマ画像の合成エリアに対応する、静止画像のパノラマ画像を生成するパノラマ画像生成ステップと、
    前記動画像の撮像中に、前記パノラマ画像の合成エリアに生成途中の前記パノラマ画像を逐次合成して、合成画像の生成および更新を行う合成画像生成ステップと、
    生成および更新される前記合成画像を逐次表示する表示ステップと、
    前記テンプレート、ならびに、前記動画像、前記パノラマ画像、および前記合成画像のうち１以上を記憶する記憶ステップと、を有することを特徴とする撮像方法。
14. 請求項１３に記載の撮像方法の各ステップを手順としてコンピュータに実行させるためのプログラム。