JP5206422B2 - 構図選択装置及びプログラム - Google Patents

Description

本発明は、撮像画像の記録に際し、構図を選択する構図選択装置及びプログラムに関する。

従来より、被写体を撮像するときにユーザに対して撮影構図を提示する技術としては、下記の特許文献１に記載された電子カメラが知られている。

この電子カメラは、以前に行った定点撮影時の撮影画像を構図化処理して構図画像とする。そして、電子カメラは、今回の定点撮影時にファインダ画像と構図画像とを重畳表示して位置合わせを行うと共に、前回の撮影画像の撮影条件を今回の撮影条件として設定して、定点撮影を行っている。このような電子カメラは、前回の撮影終了後に元画像の撮影条件と対応させて構図画像を保存し、今回の撮影時に構図を再生表示している。更に、この電子カメラは、前回の撮影画像のうちから構図とする画像を選択し、当該撮影画像を構図化してスルー画像に重畳表示できるとしている。

特開２００２−０９４８５４号公報

しかしながら、上述した技術では、撮影構図の選択をユーザの手動によって行っていたので、構図選択のための操作がユーザにとって煩雑となるものであった。

そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができるようにすることを目的とする。

第１の発明は、撮像画像を取得する画像取得手段と、当該画像取得手段によって取得された撮像画像に含まれている注目被写体を検出する被写体検出手段と、当該被写体検出手段により検出された注目被写体の数を計数する計数手段と、前記撮像画像に含まれている注目被写体の解析方法を複数種記録する解析方法記録手段と、当該解析方法記録手段に記録された複数種の解析方法から所定数の解析方法を選択する解析方法選択手段と、当該解析方法選択手段によって選択された所定数の解析方法で前記注目被写体について解析する解析手段と、複数の構図を記録した構図記録手段と、前記計数手段によって計数された注目被写体の数及び前記解析手段による解析結果に基づいて、前記構図記録手段に記録された複数の構図のうち前記撮像画像を記録するための構図を選択する構図選択手段と、を備える。

第２の発明は、前記複数種の解析方法には、現在日時又は季節に基づく解析、撮像装置の縦横姿勢に基づく解析、前記撮像画像に対する各注目被写体の大きさに基づく解析、各注目被写体が登録されているか否かの解析、各注目被写体の年齢に基づく解析、各注目被写体の性別に基づく解析、全注目被写体同士の組み合わせに基づく解析、全注目被写体の位置関係に基づく解析が含まれる。

第３の発明は、顔部分を認識する認識手段を更に備え、前記計数手段は、前記認識手段によって認識された顔部分の数を前記注目被写体の数として計数する。

第４の発明は、前記構図選択手段によって選択される構図の数を設定する設定手段を更に備える。

第５の発明は、予め複数の構図及び撮像画像に含まれている注目被写体の複数種の解析方法を記録した記録装置を有するコンピュータを、撮像画像を取得する画像取得手段、当該画像取得手段によって取得された撮像画像に含まれている注目被写体を検出する被写体検出手段、当該被写体検出手段により検出された注目被写体の数を計数する計数手段、前記記録装置に記録された複数種の解析方法から所定数の解析方法を選択する解析方法選択手段、当該解析方法選択手段によって選択された所定数の解析方法で前記注目被写体について解析する解析手段、前記計数手段によって計数された注目被写体の数及び前記解析手段による解析結果に基づいて、前記記録装置に記録された複数の構図のうち前記撮像画像を記録するための構図を選択する構図選択手段、として機能させる。

本願発明によれば、撮像画像内の注目被写体の数及び注目被写体についての解析結果に基づいて、予め記録した複数の構図からのうち撮像画像を記録するための構図を選択するので、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。

本発明の実施形態として示す撮像装置のブロック図である。 本発明の実施形態として示す撮像装置の全体の処理手順を示すフローチャートである。 本発明の実施形態として示す撮像装置によるライブビュー画像の表示設定処理の処理手順を示すフローチャートである。 本発明の実施形態として示す撮像装置による解析処理の処理手順を示すフローチャートである。 本発明の実施形態として示す撮像装置における利用解析結果情報を示す図である。 本発明の実施形態として示す撮像装置にて保持する利用解析結果情報及び構図番号を示す図である。 本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、（ａ）はライブビュー画像、（ｂ）は注目被写体抽出後のライブビュー画像、（ｃ）はライブビュー画像及び撮影構図パターンを含む画像である。 図７の具体例において、ライブビュー画像の解析結果及び解析結果同士の比較結果を示す図であり、（ａ）はライブビュー画像の解析結果、（ｂ）〜（ｄ）は撮影構図パターンの解析結果及び比較結果である。 本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、（ａ）は注目被写体抽出後のライブビュー画像、（ｂ）はライブビュー画像及び撮影構図パターンを含む画像である。 図９の具体例において、ライブビュー画像の解析結果及び解析結果同士の比較結果を示す図であり、（ａ）はライブビュー画像の解析結果、（ｂ）〜（ｄ）は撮影構図パターンの解析結果及び比較結果である。 本発明の実施形態として示す撮像装置による構図選択処理の具体例を示す図であり、（ａ）は注目被写体抽出後のライブビュー画像、（ｂ）はライブビュー画像及び撮影構図パターンを含む画像である。

以下、本発明の実施の形態について図面を参照して説明する。

［撮像装置の構成］
まず、図１を用いて、本発明の実施の形態として示す撮像装置の機能的な構成について説明する。この撮像装置は、撮影時にライブビュー画像を表示させている時に、注目被写体を含む画像全体における撮影構図を選択する構図選択機能を備えたものである。したがって、以下に説明する構図選択装置としての機能は、必ずしも撮像装置に搭載されている実施の形態に限定されず、例えばパーソナルコンピュータに構図選択装置としての機能を実現させることもできる。

図１に示すように、撮像装置は、撮像光学系１１と、撮像部１２と、撮像装置における情報処理を担う情報処理領域１３と、撮像装置におけるデータ記録動作を担う記録領域１４と、撮像装置における操作入力動作を担う操作入力領域１５とを備える。

ここで、情報処理領域１３，記録領域１４，操作入力領域１５はそれぞれ、撮像装置において必要な機能を区分して示したものである。情報処理領域１３，記録領域１４，操作入力領域１５はそれぞれ、例えば１チップで構成されていても構わないし、複数のチップで構成されていても構わない。したがって、情報処理領域１３，記録領域１４，操作入力領域１５はそれぞれ、情報処理、データ記録、ユーザの操作入力にとって必要な各種の構成を備えている。情報処理領域１３，記録領域１４，操作入力領域１５内の構成は、図１及び以下に説明する例には限定されず、必要に応じて構成が追加又は削除がされていても本発明の本質的部分を逸脱するものではない。また、情報処理領域１３，記録領域１４，操作入力領域１５内の構成は、近接して設けられていても良く、別個に設けられたものであっても良い。

また、撮像装置は、撮像装置のユーザに各種情報を表示するための構成として、メイン表示制御部１６と、メイン表示部１７とを備える。また、このメイン表示部１７には、メインタッチパネル１８が内蔵されている。

更に撮像装置は、当該撮像装置の付随的な機能として、姿勢検出部１９と、計時部２０と、音処理部２１と、音出力部２２とを備える。なお、この撮像装置の付随的な機能は、以下の説明において必要なもののみを示している。

撮像光学系１１は、主として、モータ、レンズユニット、等からなる。このレンズユニットは、外光を入射するための複数のレンズ群からなる。レンズユニットは、所定範囲の撮像領域の外光をＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの撮像素子に結像するための光学系である。ここでは撮像素子はＣＭＯＳとするが、ＣＣＤであっても構わない。レンズユニットは、図示しないシャッターユニット、絞りユニットを備えている。これらシャッターユニット、絞りユニットは、モータの駆動により合焦位置や絞り位置が移動される。このレンズユニットは、制御部１３Ａの制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズも備えている。

撮像部１２は、前述したＣＭＯＳなどの撮像素子を含む。ＣＭＯＳは、例えばＲＧＢの原色系のカラーフィルタを形成している。ＣＭＯＳは、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。ＣＭＯＳは、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

撮像部１２は、制御部１３Ａによる制御に従って動作するコントローラと、Ａ／Ｄ変換処理回路等を含む。この撮像部１２におけるコントローラ、後述する情報処理領域１３における制御部１３Ａの制御に従って、撮像光学系１１におけるレンズユニット及びＣＭＯＳの動作を制御する。Ａ／Ｄ変換処理回路は、サンプルホールド回路、Ａ／Ｄ変換器を含む。Ａ／Ｄ変換処理回路は、ＣＭＯＳから出力された光電変換出力に所望の処理を施す。具体的には、ＣＭＯＳからの光電変換出力に対して、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整する。その後、サンプルホールド回路によってサンプルホールドし、Ａ／Ｄ変換器によってデジタル撮影画像データに変換し、情報処理領域１３における撮像処理部１３Ｃに出力する。

情報処理領域１３は、情報処理を担う構成として、制御部１３Ａと、画像圧縮部１３Ｂと、撮像処理部１３Ｃとを備える。

撮像処理部１３Ｃは、撮像部１２から供給された撮影画像データに対して所定の画像処理を施す。この撮像処理部１３Ｃは、ＲＧＢデータとして供給された撮影画像データの変換処理、画素補間処理、γ補正処理、及びマトリックス演算を行う。この撮像処理部１３Ｃによって所定の画像処理が施された撮影画像データは、記録領域１４における一時記録装置１４Ｄに供給される。

この撮影画像データは、ライブビュー画像として用いられることもあれば、記録用画像として用いられることもある。ここでは、ライブビュー画像として用いるときは、画像サイズをメイン表示部１７と同じサイズとするものとし、記録用画像として用いるときは、使用者の所望のサイズとするものとする。

制御部１３Ａは、当該撮像装置を統括して制御する。制御部１３Ａは、保存記録装置１４Ｃ中のプログラム記録エリアに記録されたプログラムに従って動作することによって、当該撮像装置に必要な各種の制御を行う。

特に、制御部１３Ａは、保存記録装置１４Ｃ中のプログラム記録エリアに記録されたプログラムに従った処理を行う。この撮影構図画像を選択するためのプログラムに従って処理を実行することにより、制御部１３Ａは、撮影画像に含まれている注目被写体を検出する被写体検出処理、当該検出された注目被写体の数を計数する計数手段、当該注目被写体を各種解析する解析処理、計数手段による計数結果と解析手段の解析結果とに基づいて保存記録装置１４Ｃ中の撮影構図パターン記録エリアに記録された複数の撮影構図パターンのうち注目被写体を含む画像全体における撮影構図パターンを選択する構図選択処理を行う。なお、このような制御部１３Ａによる撮影構図選択処理の詳細については後述する。

そして、制御部１３Ａは、所定の画面内レイアウトに従って選択された撮影構図パターンをメイン表示部１７に表示させる。これにより、撮像装置は、現在撮影しようとしている状況における注目被写体にとって好ましい撮影構図パターンを、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像に重畳させて提示することができる。

画像圧縮部１３Ｂは、制御部１３Ａの制御に応じて、一時記録装置１４Ｄに格納された撮影画像データに対してＪＰＥＧ（Joint Photograph coding Experts Group）規格に従ったＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）処理を行って、データ圧縮をする。この圧縮済みのデータは、外部記録用のデータとして記録領域１４における外部記録装置１４Ｂに記録される。

記録領域１４は、データ記録を担う構成として、外部記録装着部１４Ａ、外部記録装置１４Ｂ、保存記録装置１４Ｃ及び一時記録装置１４Ｄを備えている。外部記録装着部１４Ａ及び外部記録装置１４Ｂは、記録媒体であるメモリーカードの記録再生装置からなる。保存記録装置１４Ｃは、不揮発性メモリからなる。一時記録装置１４Ｄは、揮発性メモリからなる。

外部記録装着部１４Ａは、外部記録装置１４Ｂによって記録再生可能な外部記録媒体（メモリーカード）が着脱可能な構造を有している。外部記録装置１４Ｂは、撮像装置に備えられたメモリーカードの記録再生機構を含む。この外部記録装置１４Ｂは、制御部１３Ａの制御に従って、当該撮像装置によって撮像された撮影画像データをメモリーカードに記録する。また、外部記録装置１４Ｂは、制御部１３Ａの制御に従って、メモリーカードに記録された撮影画像データを再生して出力する。

保存記録装置１４Ｃは、撮影構図パターン記録エリアを含む。撮影構図パターン記録エリアは、複数の撮影構図パターンを記録する構図記録手段として機能する。この撮影構図パターンは、画像全体における注目被写体の配置を示す。撮影構図パターンは、撮影画像内に含まれる注目被写体の数に応じてそれぞれ異なったものとなる。また、この撮影構図パターンは、注目被写体の数のみならず、「撮影を行う現在日時又は季節、当該撮像装置の縦横姿勢、撮像画像に対する各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」に応じて、異なるものであっても良い。撮影構図パターン記録エリアは、複数の撮影構図パターンをテーブル化した、構図パターンテーブルとして記録している。この撮影構図パターン記録エリアに記録された撮影構図パターンは、制御部１３Ａの制御に従って選択される。

なお、この撮像装置は、撮影構図パターン記録エリアに撮影構図パターンを示す構図パターンデータを記録しているが、この実施形態に限られず、構図パターンデータを通信回線を介してダウンロードして、後述するように複数の撮影構図パターンのうち何れかの撮影構図パターンを決定しても良い。

操作入力領域１５は、ユーザが操作を入力するための構成として、撮像指示部１５Ａ、決定指示部１５Ｂ、モード設定部１５Ｃ、移動操作部１５Ｄ、メニュー操作部１５Ｅ、電源操作部１５Ｆを備えている。

操作入力領域１５における各部１５Ａ〜１５Ｆは、当該撮像装置のユーザによって操作される。操作入力領域１５における各部１５Ａ〜１５Ｆは、押圧釦、十字キーなどによって構成されるキー群である。なお、図１においては、操作入力領域１５における各部１５Ａ〜１５Ｆを機能的に区分して示しているが、単一の釦や十字キーに複数の役割を与えても良いことは勿論である。操作入力領域１５における各部１５Ａ〜１５Ｆは、制御部１３Ａに接続されており、各釦の操作内容を示す操作信号が制御部１３Ａによって読み込まれる。

メイン表示制御部１６は、一時記録装置１４Ｄに格納された撮影画像データを定期的に読み出し、これらのデータを元にビデオ信号を発生してメイン表示部１７に出力する。また、メイン表示制御部１６は、制御部１３Ａから撮影構図パターンが選択された場合に、当該撮影構図パターンを表す撮影構図画像が供給される。そして、メイン表示制御部１６は、現在において撮像装置が取得しているリアルタイムのライブビュー画像と共に、所定のレイアウトによって撮影構図パターンの画像データをメイン表示部１７に供給する。

メイン表示部１７は、図示しないが、撮像装置の筐体の背面側に設けられている。メイン表示部１７は、撮影モード時にはモニタ表示部（電子ファインダ）として機能する。この撮影モード時において、メイン表示部１７は、メイン表示制御部１６からのビデオ信号に基づいた表示を行う。これにより、撮像装置は、その時点でメイン表示制御部１６から取り込んでいるライブビュー画像をリアルタイムに表示する。また、メイン表示部１７は、ライブビュー画像に、撮影構図画像を含む表示データが供給された時には、ライブビュー画像と共に撮影構図画像を表示する。

このように、メイン表示部１７に、その時点での撮影画像がモニタ画像としてリアルタイムに表示されている、いわゆるライブビュー画像の表示状態で、撮像装置は、撮像可能な状態となる。そして、撮影を行いたいタイミングで、撮像指示部１５Ａが操作されると、制御部１３Ａに対して半押し状態又は全押し状態を表すトリガ信号が発生される。制御部１３Ａは、このトリガ信号に応じて、その時点で撮像光学系１１のから取り込んでいる１画面分の撮影画像データを一時記録装置１４Ｄに格納させる。

メインタッチパネル１８は、メイン表示部１７の表示面に内蔵されている。メインタッチパネル１８は、メイン表示部１７の表示面に対する押圧位置を座標データとして出力する。この座標データは、制御部１３Ａによって読み取られる。制御部１３Ａは、現在にメイン表示部１７に表示させているメニュー画面等の表示状態と、座標データとに基づいて、メインタッチパネル１８に対してユーザが行った操作を識別し、当該操作に従った制御を行う。このメインタッチパネル１８は、撮影構図を決定するためにライブビュー画像内の注目被写体を採用するか否かを決定する際に、ユーザによって注目被写体の選択又は非選択を設定可能にするものである。

姿勢検出部１９は、撮像装置自体の姿勢を検出する。姿勢検出部１９は、撮像装置が縦方向であるか横方向であるかの姿勢情報を生成して、制御部１３Ａに供給する。姿勢検出部１９は、例えば球状物が撮像装置の姿勢によって移動し、当該球状物の位置を光学的に検出する構成など、既知の技術を用いることによって実現できる。

計時部２０は、撮像装置のタイマ、カレンダー機能によって実現される。計時部２０によって計時している、年、月、日、時刻を示す計時情報が制御部１３Ａによって読み取られる。

音処理部２１は、小型スピーカである音出力部２２から所定のシャッター音、選択した構図で撮像を行うための案内音声などを出力させる。音出力部２２から音を出力するための音データは、制御部１３Ａから音処理部２１に供給される。音処理部２１は、供給された音データを用いて音出力部２２を駆動させる。このような音処理部２１及び音出力部２２は、制御部１３Ａの制御に従って、撮影構図をライブビュー画像と共に表示させると共に、音声によって撮影構図を指示することができる。このとき音出力部２２は、注目被写体と撮影構図画像との差異を演算し、当該差異を小さくするために、例えば「カメラを右（又は左、上、下）へ向けてください」、「ズームイン（又はズームアウト）してください」との音声を音出力部２２から出力させる。

［撮像装置の全体処理］
このように構成された撮像装置は、当該撮像装置がユーザに把持されて被写体を撮像する操作が行われる時に、図２乃至図４に示す処理を行うことによって、撮影構図選択処理を含む処理を実行する。

撮像装置は、先ずステップＳ１にて、制御部１３Ａによって、現在の撮影モードの設定状態を読み出す。次のステップＳ２において、制御部１３Ａは、メニュー操作部１５Ｅが操作されたことによるメニュー画面の表示指示命令が発生したか否かを判定する。メニュー画面の表示指示命令が発生していない場合には、ステップＳ４に処理を進める。メニュー画面の表示指示命令が発生した場合には、ステップＳ３にて、メニュー画面を表示させ、当該メニュー画面に応じて決定指示部１５Ｂや移動操作部１５Ｄが操作されたことに対する動作を行うメニュー処理を行って、ステップＳ４に処理を進める。このメニュー処理としては、例えば撮像装置自体の撮影モードの変更、画像処理の設定変更、フラッシュ動作の設定変更などが挙げられる。

次のステップＳ４において、撮像装置は、ライブビュー画像の撮影処理を行う。この撮影処理は、撮像光学系１１及び撮像部１２によって撮像したＲＧＢデータを撮像処理部１３Ｃが取り込み、所定の画像処理を施した撮影画像データを一時記録装置１４Ｄに格納する。この所定の画像処理としては、自動ホワイトバランス処理などが含まれる。そして、制御部１３Ａは、一時記録装置１４Ｄに格納された撮影画像データを所定期間ごとにメイン表示制御部１６によって取り込ませ、メイン表示部１７に表示させる。これにより、撮像装置が撮像しているリアルタイムのライブビュー画像をメイン表示部１７に表示させることができる。

次のステップＳ５において、制御部１３Ａは、ライブビュー画像と共に表示する撮影構図の案内情報を設定する。この撮影構図の案内情報は、現在のライブビュー画像にて好ましい撮影構図で撮像を行わせる時に、ユーザに提示する情報である。この案内情報は、後述する図７における撮影構図パターン１０２Ａ〜１０２Ｃに相当する。このような案内情報を提示するために、制御部１３Ａは、現在のライブビュー画像に対して好ましい撮影構図パターンを選択する構図選択処理を行う。また、ステップＳ５において、制御部１３Ａは、例えば注目被写体の顔部分に表示されるフォーカス枠の設定、画面内に升目状のグリッド表示を行うための設定を行う。

次のステップＳ６において、制御部１３Ａは、メイン表示部１７にライブビュー画像を表示させる。このとき、制御部１３Ａは、ステップＳ５にて設定された案内情報を表示させても良い。これにより、ユーザは、現状のライブビュー画像を撮像するために、案内情報を見ながら、撮像装置が選択した撮影構図に従って撮像を行うことができる。

次のステップＳ７において、制御部１３Ａは、シャッター釦である撮像指示部１５Ａが半押し操作されたことを示す半押しフラグがオンとなっているか否かを判定する。この半押しフラグは、撮像指示部１５Ａが半押し操作された状態において、制御部１３Ａによってオンとされる。半押しフラグがオンとなっている場合にはステップＳ１１に処理を進め、半押しフラグがオンとなっていない場合にはステップＳ８に処理を進める。

ステップＳ８において、制御部１３Ａは、撮像指示部１５Ａが半押し操作されたトリガ信号を検出したか否かを判定する。トリガ信号を検出していない場合には、ステップＳ１１に処理を進める。そしてステップＳ１１において、制御部１３Ａは、通常撮影モードが終了している場合には処理を終了し、そうでない場合にはステップＳ２に処理を戻す。

一方、トリガ信号を検出した場合には、ステップＳ９に処理を進める。制御部１３Ａは、ステップＳ９において半押しフラグをオン状態にし、ステップＳ１０において基本撮影条件の設定処理を行う。この基本撮影条件の設定処理は、例えば通常撮影モードにて設定されているフォーカス状態、フラッシュ状態、画像処理についての設定処理を行う。ステップＳ１０の後には、ステップＳ１１に処理を進める。

ステップＳ１２において、制御部１３Ａは、撮像指示部１５Ａが操作されていることによるトリガ信号を監視し、半押し状態が維持されているか否かを判定する。半押し状態が維持されている場合にはステップＳ１４に処理を進める。半押し状態が維持されていない場合にはステップＳ１３において、半押しフラグをオフとしてステップＳ１４に処理を進める。

ステップＳ１４において、制御部１３Ａは、撮像指示部１５Ａからのトリガ信号によって全押し状態にまで操作されたか否かを判定する。全押しを検出した場合にはステップＳ１５に処理を進め、全押しを検出していない場合にはステップＳ１１に処理を進める。

ステップＳ１５において、撮像光学系１１、撮像部１２、撮像処理部１３Ｃ及び画像圧縮部１３Ｂによって、記録用画像の撮影処理を行う。この記録用画像の撮影処理は、撮像処理部１３Ｃの制御に従って、所定の画像処理が施された撮影画像データに対して、画像圧縮部１３Ｂによって所定のデータ圧縮処理を施す。この所定の画像処理としては、自動ホワイトバランス処理などが含まれる。そして、ステップＳ１６において、外部記録装置１４Ｂは、画像圧縮部１３Ｂによって圧縮された記録用の撮影画像をメモリーカードに記録する。

次のステップＳ１７において、制御部１３Ａは、ステップＳ１６にてメモリーカードに記録した撮影画像を、メイン表示部１７に確認のために表示させるようにメイン表示制御部１６を制御する。その後、制御部１３Ａは、ステップＳ１８において、半押しフラグをオフにして、処理をステップＳ１１に戻す。

「ライブビュー画像の表示設定処理」
つぎに、図２を参照して説明した撮像装置の全体動作におけるステップＳ５のライブビュー画像表示設定処理について、図３を参照して説明する。

このライブビュー画像表示設定処理は、先ずステップＳ２１において、制御部１３Ａにより、撮影構図画像のセットを設定するタイミングであるか否かを判定する。この設定タイミングか否かは、撮像装置が起動している最中における所定時間ごと、ライブビュー画像の撮影回数ごと、ライブビュー画像の絵柄に大きな変化を検出したタイミングなどを判定する。所定時間ごとか否かは、計時部２０の計時情報を参照して制御部１３Ａが判断する。ライブビュー画像の撮影回数ごとかは、一時記録装置１４Ｄによって撮像されたライブビュー画像をメイン表示制御部１６によって更新する回数を制御部１３Ａによって判断する。ライブビュー画像の絵柄に大きな変化を検出したタイミングは、一時記録装置１４Ｄに一時記録されたライブビュー画像の時系列的な差分を制御部１３Ａによって演算することによって判断される。撮影構図画像のセットの設定タイミングであると判定した場合にはステップＳ２２に処理を進め、そうではない場合には処理を終了する。

ステップＳ２２において、制御部１３Ａは、ライブビュー画像を用いたパターンマッチングを行うことにより、注目被写体を検出する。このとき、制御部１３Ａは、予め保存記録装置１４Ｃに記録されていた人物全体、人物の顔のパターン画像を読み出し、ライブビュー画像と比較する。その結果、制御部１３Ａは、ライブビュー画像に含まれる人物、当該人物の顔を抽出することができる。この抽出結果は、注目被写体ごとに生成される。

次のステップＳ２３において、制御部１３Ａは、ライブビュー画像に含まれる注目被写体の状態の解析処理、撮影構図を決定するために必要な情報の解析処理を行う。撮影構図を決定するために必要な情報の解析処理とは、姿勢検出部１９によって計時している現在日時又は季節を取得する処理、姿勢検出部１９により検出される縦横姿勢を取得する処理などが挙げられる。ライブビュー画像に含まれる注目被写体の状態の解析処理とは、「各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか否か、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」を取得する処理が挙げられる。この解析処理においては、注目被写体の数を含む少なくとも２つの解析結果を得ることが望ましい。

このような解析処理は、例えば図４に示すように、ステップＳ３１からステップＳ３９の順序に沿って実行される。この解析処理の処理順序は、処理負荷が軽い処理を優先して行う。すなわち、ステップＳ３１にて計時部２０で計時している日付・期間の解析処理を行って解析結果Ａを取得し、ステップＳ３２にて姿勢検出部１９にて検出している撮像装置の縦横状態の解析処理を行って解析結果Ｂを取得する。ステップＳ３３以降は、制御部１３Ａによって行われる、ステップＳ２２にて抽出された注目被写体を用いた解析処理である。ステップＳ３３は、各注目被写体に係る大きさを解析して解析結果Ｃを取得する。ステップＳ３４は、全注目被写体に係る被写体数を解析して解析結果Ｄを取得する。ステップＳ３５は、各注目被写体に係る登場人物が登録人物として登録されているか否かを解析して解析結果Ｅを取得する。ステップＳ３６は、各注目被写体に係る年齢を解析して解析結果Ｆを取得する。ステップＳ３７は、各注目被写体に係る性別を解析して解析結果Ｇを取得する。ステップＳ３８は、全注目被写体に係る組み合わせを解析して解析結果Ｈを取得する。ステップＳ３９は、全注目被写体に係る位置関係を解析して解析結果Ｉを取得する。

次のステップＳ２４において、制御部１３Ａは、ステップＳ２３にて取得した解析結果と、ユーザの操作によって設定される利用解析結果情報Ｒとに基づいて、ユーザに対して撮影構図の候補として提示する複数の撮影構図である撮影構図セットを設定する。この撮影構図セットの設定により、構図選択処理が実現されている。利用解析結果情報Ｒの設定処理は、構図画像撮影モード開始時に、当該利用解析結果情報Ｒを選択するメニュー画面を表示し、ユーザが移動操作部１５Ｄにて選択して決定指示部１５Ｂにて決定した操作に従って、利用解析結果情報Ｒが決定される。ここで、利用解析結果情報Ｒ及び構図番号Ｎは、初期段階において、図６に示すようにフラグデータとして保存記録装置１４Ｃに記録されている。

利用解析結果情報Ｒは、図５に示すように、当該利用解析結果情報Ｒの識別番号「１」〜「９」に対応して、撮影構図セットを設定するために利用する解析結果が設定されている。このような利用解析結果情報Ｒは、その全てにおいて、各種の解析結果のうち全注目被写体に係る被写体数を示す解析結果Ｄを用いるように設定されている。利用解析結果情報Ｒの識別番号が「１」に操作されている場合には、解析結果Ｄである注目被写体の数のみを用いて撮影構図セットを設定する。そして、利用解析結果情報Ｒの識別番号が高くなるほど、注目被写体の数とは異なる解析結果を加重して撮影構図セットを設定する。この利用解析結果情報Ｒの設定処理により、ユーザの操作によって生じた信号に基づいて、解析結果の種類又は数を決定できる。

利用解析結果情報Ｒが設定されると、当該利用解析結果情報Ｒが特定されステップＳ２３にて求められたライブビュー画像の解析結果と、予め保存記録装置１４Ｃに保存された撮影構図パターンについて設定されている解析結果とを比較する。ステップＳ２３にて求められたライブビュー画像の解析結果と、撮影構図パターンについて設定されている解析結果とが近似しているほど、現在のライブビュー画像に合致した撮影構図パターンである。制御部１３Ａは、ステップＳ２３にて求めたライブビュー画像の解析結果に近似している解析結果の撮影構図パターンを複数選択して、撮影構図セットを設定する。

また、このステップＳ２４においては、ユーザにより設定された利用解析結果情報Ｒに基づいて設定された撮影構図セットのうち、撮影構図パターン間の優先順位（提示順番）を決定する。この優先順位は、ステップＳ２３にて求めたライブビュー画像の解析結果に近似している撮影構図パターンほど、高くされる。なお、この優先順位の決定処理については、具体的なライブビュー画像及び解析結果を用いて説明するものとする。

そして、制御部１３Ａは、決定した優先順位の高い所定数（例えば「３」個）の撮影構図パターンの画像を保存記録装置１４Ｃから読み出して、メイン表示制御部１６に供給する。これにより、メイン表示制御部１６は、供給された撮影構図パターンの画像とライブビュー画像とを組み合わせた表示用画像を作成して、メイン表示部１７に表示させることができる。なお、メイン表示制御部１６は、図７に示したように撮影構図パターン１０２Ａ〜１０２Ｃのうち優先順位が高いものを画面内上部に表示させる例のみならず、他の表示形態であっても良く、優先順位の最も高い撮影構図パターンのみをライブビュー画像に重畳させても良い。

次のステップＳ２５において、制御部１３Ａは、利用解析結果情報Ｒと、ユーザの操作によって決定される撮影構図パターンの構図番号Ｎとに基づいて、現在のライブビュー画像に対して選択した撮影構図パターンの画像を決定する。このとき、撮像装置では、ステップＳ２４にて設定した撮影構図セットをメイン表示部１７に表示させた状態で、ユーザが移動操作部１５Ｄによって何れかの撮影構図パターンを選択し決定指示部１５Ｂによって決定されたことにより、撮影構図パターンの構図番号Ｎが決定される。このような処理により、フラグデータとして記録されている構図番号Ｎが変更される。

以上説明したライブビュー画像の表示設定処理によれば、撮像光学系１１及び撮像部１２によって撮影画像を取得してメイン表示部１７にライブビュー画像を表示する時に、ライブビュー画像に含まれている注目被写体を検出し（ステップＳ２２）、当該検出された注目被写体の数を判断する（ステップＳ２３）。そして、撮像装置は、予め保存記録装置１４Ｃに記録された複数の撮影構図パターンのうち撮像画像全体を記録するための撮影構図パターンを、注目被写体の数に基づいて選択することができる（ステップＳ２４，ステップＳ２５）。

このように撮影構図パターンを選択した後（ステップＳ２４）、選択した撮影構図パターンをメイン表示部１７に表示させることにより、実際の撮像画像全体の撮影に用いる撮影構図パターンをユーザに選択させることができる。

以上詳細に説明したように本発明の実施形態として示す撮像装置によれば、ライブビュー画像内の注目被写体の数を判断し、注目被写体の数に基づいて、予め記録した複数の構図からのうち撮像画像全体を記録するための構図を選択するので、撮影画像を記録する際、記録に適した構図の選択をより簡単に行うことができる。

また、この撮像装置によれば、「現在日時又は季節、当該撮像装置の縦横姿勢、撮像画像に対する各注目被写体の大きさ、各注目被写体について登録人物としての登録があるか否か、各注目被写体の年齢、各注目被写体の性別、全注目被写体同士の組み合わせ、全注目被写体の位置関係」のうち少なくとも一つの解析結果に基づいて、複数の構図を選択するので、より好ましい撮影構図を選択することができる。

更に、この撮像装置によれば、複数の構図を選択した場合に、当該複数の構図における提示順番（優先順位）を設定するので、より好ましい撮影構図を優先してユーザに提示することができる。

更にまた、この撮像装置によれば、ユーザが操作した信号に基づいて、解析結果の種類又は数を決定するので、ユーザの指示に沿った好ましい撮影構図を選択することができる。

更にまた、この撮像装置によれば、注目被写体の顔部分の数に基づいて構図を選択するので、人物の撮像に好ましい撮影構図を選択して、ユーザに提示することができる。

「構図選択の具体的説明」
つぎに、上述したような動作を行う撮像装置において、具体的なライブビュー画像を参照して、撮影構図を選択する処理について説明する。

図７は、父、母、子供からなるファミリーを撮像する場合を示している。

図７（ａ）に示すライブビュー画像１００を表示している状態にて、撮影構図セットの設定タイミングとなると（ステップＳ２１）、制御部１３Ａによって、当該ライブビュー画像１００からパターンマッチングによって注目被写体を抽出する処理を実行する（ステップＳ２２）。注目被写体の抽出処理は、予め保存記録装置１４Ｃに記録しておいた人物顔部分のパターン画像と、ライブビュー画像１００とでパターンマッチングを行う。

パターンマッチングの結果、制御部１３Ａは、図７（ｂ）に示すように人物の顔部分を検出することができる。この注目被写体の抽出処理によって、制御部１３Ａは、人物の顔部分を表す注目被写体枠１０１を表示するようにメイン表示制御部１６を制御し、メイン表示制御部１６によってライブビュー画像１００に注目被写体枠１０１を重畳表示させる。なお、注目被写体枠１０１は、ライブビュー画像１００において注目被写体が動いたことに対して追従することとなる。

制御部１３Ａは、注目被写体の抽出後、当該注目被写体の解析処理を行う。ここで、この注目被写体の解析処理は、注目被写体枠１０１内の注目被写体画像を用い、図４に示した全解析処理を行って、解析結果Ａ〜Ｉを得るものとする。なお、注目被写体枠１０１内の画像データに限らず、人物全体を解析処理の対象データとしても良い。

この解析結果は、図８（ａ）のようになり、注目被写体の数（解析結果Ｄ）は「３人」、注目被写体の大きさ（解析結果Ｃ）は「中サイズ２人、小サイズ１人」、撮像装置の姿勢（解析結果Ｂ）は「横」、注目被写体の登場人物が登録人物として登録されているか否か（解析結果Ｅ）は「父親、母親、子供」が登録されている、注目被写体の位置関係（解析結果Ｉ）は「３つの顔（注目被写体）が略水平に並んでいる」、注目被写体の性別（解析結果Ｇ）は「男２人、女１人」、注目被写体の年齢（解析結果Ｆ）は「大人２人、子供１人」、注目被写体の組み合わせ（解析結果Ｈ）は「父親、子供、母親」、日付・期間（解析結果Ａ）は「１０月」となる。そして、この解析結果Ａ〜Ｉは、保存記録装置１４Ｃに記録された撮影構図パターンについて設定されている解析結果と比較とされる。

解析結果同士の比較の結果、図７（ｃ）に示す撮影構図パターン１０２Ａ、１０２Ｂ、１０２Ｂを含む撮影構図セットを選択することができる。撮影構図パターン１０２Ａの解析結果は図８（ｂ）のようになっており、撮影構図パターン１０２Ｂの解析結果は図８（ｃ）のようになっており、撮影構図パターン１０２Ｃの解析結果は図８（ｄ）のようになっている。撮影構図パターン１０２Ａ、１０２Ｂ、１０２Ｃの解析結果として日付・期間（解析結果Ａ）は設定されていないので、ライブビュー画像１００から得た解析結果Ａとの比較は行われない。なお、撮影構図パターンの解析結果は、解析結果Ａ〜Ｉのうち、少なくとも注目被写体の数（解析結果Ｄ）が含まれていれば良い。

ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ａの解析結果との比較結果は、図８（ｂ）に示すようになり、注目被写体の組み合わせ（解析結果Ｈ）以外は、完全一致（◎）する。ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ｂの解析結果との比較結果は、図８（ｃ）に示すようになり、注目被写体の位置関係（解析結果Ｉ）が略不一致（△）であり、注目被写体の組み合わせ（解析結果Ｈ）が略一致（○）であることを除いて、完全一致（◎）する。ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ｃの解析結果との比較結果は、図８（ｄ）に示すようになり、撮像装置の縦横状態（解析結果Ｂ）が不一致（×）であり、注目被写体の位置関係（解析結果Ｉ）が略一致（○）であり、注目被写体の組み合わせ（解析結果Ｈ）が略一致（○）であることを除いて、完全一致（◎）となる。

このような比較結果から分かるように、撮影構図パターン１０２Ａ〜１０２Ｃの解析結果うち、ライブビュー画像１００から得た解析結果と最も近似しているのは、図８（ｂ）に示した撮影構図パターン１０２Ａの解析結果である。撮影構図パターン１０２Ａの解析結果の次に、撮影構図パターン１０２Ｂの解析結果がライブビュー画像１００の解析結果と近似する。撮影構図パターン１０２Ｂの解析結果の次に、撮影構図パターン１０２Ｃの解析結果がライブビュー画像１００の解析結果と近似する。従って、制御部１３Ａは、撮影構図パターン１０２Ａの優先順位が最も高く、撮影構図パターン１０２Ｂ、撮影構図パターン１０２Ｃの順に優先順位を低く設定することができる。

このような構図選択処理を含むライブビュー画像の表示設定処理によれば、ライブビュー画像１００に隣接して、３つの撮影構図パターン１０２Ａ〜１０２Ｃを表示することができる。そして、移動操作部１５Ｄの操作を制御部１３Ａが認識して何れかの撮影構図パターンが選択され、決定指示部１５Ｂの操作を制御部１３Ａが認識すると、当該選択された撮影構図パターンの構図番号Ｎが決定される。

その後、撮像装置は、例えば、決定された構図番号Ｎの撮影構図パターンをライブビュー画像１００に重畳表示する処理、音出力部２２からカメラ方向やズームの案内音声を出力する処理を行う。これにより、ライブビュー画像１００を撮影構図パターンに近づけさせることができる。

他の具体例を図９に示す。図９（ａ）に示すライブビュー画像１００は、入学式での小学生を撮像する時のものを示している。

図９（ａ）に示すライブビュー画像１００に対してパターンマッチングを行うと、図９（ｂ）に示すように人物の顔部分を検出することができ、当該顔部分が注目被写体と認識される。そして、制御部１３Ａは、注目被写体の抽出後に当該注目被写体の解析処理を行い、図１０（ａ）に示す解析結果Ａ〜Ｉを得ることができる。

ライブビュー画像１００の解析結果は、図１０（ａ）のようになり、注目被写体の数（解析結果Ｄ）は「１人」、注目被写体の大きさ（解析結果Ｃ）は「中サイズ１人」、撮像装置の姿勢（解析結果Ｂ）は「横」、注目被写体の登場人物が登録人物として登録されているか否か（解析結果Ｅ）は「子供」が登録されている、注目被写体の位置関係（解析結果Ｉ）は「右上に位置」、注目被写体の性別（解析結果Ｇ）は「男１人」、注目被写体の年齢（解析結果Ｆ）は「子供１人」、注目被写体の組み合わせ（解析結果Ｈ）は「上記のように子供１人」、日付・期間（解析結果Ａ）は「４月上旬」となる。そして、この解析結果Ａ〜Ｉは、保存記録装置１４Ｃに記録された撮影構図パターンについて設定されている解析結果とを比較とされる。

解析結果同士の比較の結果、図９（ｂ）に示す撮影構図パターン１０２Ａ、１０２Ｂ、１０２Ｂを含む撮影構図セットを選択することができる。撮影構図パターン１０２Ａの解析結果は図１０（ｂ）のようになっており、撮影構図パターン１０２Ｂの解析結果は図１０（ｃ）のようになっており、撮影構図パターン１０２Ｃの解析結果は図１０（ｄ）のようになっている。なお、撮影構図パターンの解析結果は、解析結果Ａ〜Ｉは、少なくとも注目被写体の数（解析結果Ｄ）が含まれていれば良い。

ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ａの解析結果との比較結果は、図１０（ｂ）に示すようになる。ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ｂの解析結果との比較結果は、図１０（ｃ）に示すようになる。ライブビュー画像１００から得た解析結果と撮影構図パターン１０２Ｃの解析結果との比較結果は、図１０（ｄ）に示すようになる。

このような比較結果から分かるように、撮影構図パターン１０２Ａ〜１０２Ｃの解析結果うち、ライブビュー画像１００から得た解析結果と最も近似しているのは、撮影構図パターン１０２Ａの解析結果である。従って、制御部１３Ａは、撮影構図パターン１０２Ａの優先順位が最も高く、撮影構図パターン１０２Ｂ、撮影構図パターン１０２Ｃの順に優先順位を低く設定することができる。特に、撮像装置は、現在の時期に合致した入学式シーズン用の撮影構図パターンを選択することができる。

このような構図選択処理を含むライブビュー画像の表示設定処理によれば、注目被写体の数が「１人」であっても、現在の時期、登録人物などの他の解析結果を組み合わせて、好ましい撮影構図パターンを提示することができる。

更に他の具体例を図１１に示す。図１１に示すライブビュー画像１００は、多数の人物が一列に並んだ様子を撮像したものである。

このようなライブビュー画像１００に対してパターンマッチングを行うことにより、図１１（ａ）に示すような略直線状に並んで注目被写体としての人物の顔部分を抽出することができる。このような注目被写体に対して解析処理を行うことにより、制御部１３Ａは、注目被写体の数（解析結果Ｄ）が多数である解析結果、注目被写体の位置関係（Ｉ）が一列である解析結果を得ることができる。

このような解析結果に対し、制御部１３Ａは、注目被写体の位置関係を表す撮影構図パターンを保存記録装置１４Ｃから読み出す。そして、各注目被写体の位置関係を表す撮影構図パターンと、ライブビュー画像１００から得た解析結果との比較を行う。その結果、図１１（ｂ）に示すように、多数の注目被写体の位置関係を表す撮影構図パターン１０２Ａ〜１０２Ｃとして表示することができる。

このような構図選択処理を含むライブビュー画像の表示設定処理によれば、注目被写体の数が「多数」であっても、当該注目被写体の位置関係のうちで好ましい撮影構図パターンを提示することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

１１ 撮像光学系
１２ 撮像部
１３ 情報処理領域
１３Ａ 制御部
１３Ｂ 画像圧縮部
１３Ｃ 撮像処理部
１４ 記録領域
１４Ａ 外部記録装着部
１４Ｂ 外部記録装置
１４Ｃ 保存記録装置
１４Ｄ 一時記録装置
１５ 操作入力領域
１５Ａ 撮像指示部
１５Ｂ 決定指示部
１５Ｃ モード設定部
１５Ｄ 移動操作部
１５Ｅ メニュー操作部
１５Ｆ 電源操作部
１６ メイン表示制御部
１７ メイン表示部
１８ メインタッチパネル
１９ 姿勢検出部
２０ 計時部
２１ 音処理部
２２ 音出力部
１００ ライブビュー画像
１０１ 注目被写体枠
１０２Ａ〜１０２Ｃ 撮影構図パターン

Claims (5)

1. 撮像画像を取得する画像取得手段と、
   当該画像取得手段によって取得された撮像画像に含まれている注目被写体を検出する被写体検出手段と、
   当該被写体検出手段により検出された注目被写体の数を計数する計数手段と、
   前記撮像画像に含まれている注目被写体の解析方法を複数種記録する解析方法記録手段と、
   当該解析方法記録手段に記録された複数種の解析方法から所定数の解析方法を選択する解析方法選択手段と、
   当該解析方法選択手段によって選択された所定数の解析方法で前記注目被写体について解析する解析手段と、
   複数の構図を記録した構図記録手段と、
   前記計数手段によって計数された注目被写体の数及び前記解析手段による解析結果に基づいて、前記構図記録手段に記録された複数の構図のうち前記撮像画像を記録するための構図を選択する構図選択手段と、
   を備えることを特徴とする構図選択装置。
2. 前記複数種の解析方法には、現在日時又は季節に基づく解析、撮像装置の縦横姿勢に基づく解析、前記撮像画像に対する各注目被写体の大きさに基づく解析、各注目被写体が登録されているか否かの解析、各注目被写体の年齢に基づく解析、各注目被写体の性別に基づく解析、全注目被写体同士の組み合わせに基づく解析、全注目被写体の位置関係に基づく解析が含まれることを特徴とする請求項１に記載の構図選択装置。
3. 顔部分を認識する認識手段を更に備え、
   前記計数手段は、前記認識手段によって認識された顔部分の数を前記注目被写体の数として計数することを特徴とする請求項１又は２に記載の構図選択装置。
4. 前記構図選択手段によって選択される構図の数を設定する設定手段を更に備えることを特徴とする請求項１乃至請求項３の何れか一項に記載の構図選択装置。
5. 予め複数の構図及び撮像画像に含まれている注目被写体の複数種の解析方法を記録した記録装置を有するコンピュータを、
   撮像画像を取得する画像取得手段、
   当該画像取得手段によって取得された撮像画像に含まれている注目被写体を検出する被写体検出手段、
   当該被写体検出手段により検出された注目被写体の数を計数する計数手段、
   前記記録装置に記録された複数種の解析方法から所定数の解析方法を選択する解析方法選択手段、
   当該解析方法選択手段によって選択された所定数の解析方法で前記注目被写体について解析する解析手段、
   前記計数手段によって計数された注目被写体の数及び前記解析手段による解析結果に基づいて、前記記録装置に記録された複数の構図のうち前記撮像画像を記録するための構図を選択する構図選択手段、
   として機能させることを特徴とするプログラム。

Images