JP2006203600A - 撮像装置、画像処理装置、画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】視線がデジタルカメラに向いた状態の人物像を多く含む合成画像を生成する。
【解決手段】デジタルカメラでは、同一の複数の人物の撮影を複数回行うことにより複数の画像が取得される。そして、被写体となった複数の人物ごとに、複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから、視線がデジタルカメラに向いた状態の一の人物像が合成対象像として選択される。続いて、被写体となった人物ごとに選択された合成対象像Ａ２，Ｂ３，Ｃ３，Ｄ４が用いられて、一の合成画像Ｐ５が生成される。これにより、一の撮影時点において被写体の全員の視線がデジタルカメラに向いた状態とならなくても、視線がデジタルカメラに向いた人物像を多く含む画像を取得できる。
【選択図】図１０

Description

本発明は、被写体となる複数の人物を撮影して得られる画像を処理する技術に関する。

集合写真などの複数の人物の撮影を行う際には、被写体となる複数の人物の全員の視線が、撮影時点において撮像装置に向いていることが望ましい。したがって、撮像装置を取り扱う撮影者は、複数の人物の視線の状態を把握しつつ撮影を行う必要があるが、通常、このような視線の把握は困難かつ煩雑である。

このため、近年、撮影待機状態において予備的に撮影して得られる画像に基づいて、構図（画像として取得される領域）内の人物の視線の向きを自動判別し、構図内の全員の視線が撮像装置に向いているときのみ撮影を実行する撮像装置などが提案されている（例えば、特許文献１参照。）。

なお、本発明に関連する技術を開示する先行技術文献として、下記の文献がある。

特開２００１−５１３３８号公報 特開２００３−１５０３０６号公報 特開平９−４４６８５号公報 特開平８−２４９４４７号公報 特開平８−２４９４５３号公報 特開平１０−２５５０４３号公報

しかしながら、上記特許文献１に示すような撮像装置を用いたとしても、ある瞬間としての一の撮影時点において、被写体となる複数の人物の全員の視線が撮像装置に向く必要がある。このため例えば、被写体となる複数の人物のうちに比較的小さな子供が多く含まれる場合などにおいては、全員の視線が撮像装置に向くまでに時間を要し、相当の時間にわたって撮影を実施できないということもある。

本発明は、上記課題に鑑みてなされたものであり、被写体となる複数の人物の全員が一の撮影時点において好ましい状態とならなくても、多くの好ましい状態の人物像を含む画像を取得できる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、撮像装置であって、同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する第１選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。

また、請求項２の発明は、請求項１に記載の撮像装置において、前記複数の画像のうちの一の画像をベース画像として選択する第２選択手段、をさらに備え、前記合成手段は、前記複数の人物ごとの前記合成対象像のうち前記ベース画像に含まれない前記合成対象像を、前記ベース画像に合成することで、前記合成画像を生成する。

また、請求項３の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する。

また、請求項４の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する。

また、請求項５の発明は、請求項２に記載の撮像装置において、前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する自動選択手段と、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する手動選択手段と、を備え、前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、をさらに備えている。

また、請求項６の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択する。

また、請求項７の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、ユーザから指定された人物像を前記合成対象像として選択する。

また、請求項８の発明は、請求項１ないし５のいずれかに記載の撮像装置において、前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択する自動選択手段と、ユーザから指定された人物像を前記合成対象像として選択する手動選択手段と、を備え、前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、をさらに備えている。

また、請求項９の発明は、請求項３、５、６及び８のいずれかに記載の撮像装置において、前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける手段、をさらに備えている。

また、請求項１０の発明は、請求項１ないし９のいずれかに記載の撮像装置において、前記撮像手段は、ユーザからの一回の撮影指示に応答して、前記複数の画像を取得する。

また、請求項１１の発明は、請求項１０に記載の撮像装置において、前記複数の画像の取得相互の時間間隔をユーザから受け付ける手段、をさらに備えている。

また、請求項１２の発明は、請求項１０に記載の撮像装置において、前記一の撮影指示に応答して取得する画像の枚数をユーザから受け付ける手段、をさらに備えている。

また、請求項１３の発明は、画像処理装置であって、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備手段と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。

また、請求項１４の発明は、被写体を撮影して画像を取得する撮像装置と、前記撮像装置で取得された画像を処理する画像処理装置とを含む画像処理システムであって、前記撮像装置は、同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段、を備え、前記画像処理装置は、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、を備えている。

また、請求項１５の発明は、画像を処理する方法であって、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、を備えている。

また、請求項１６の発明は、画像を処理するプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、を実行させる。

請求項１ないし１６の発明によれば、複数の人物ごとに複数の画像のうちから選択された合成対象像を用いて合成画像を生成するため、被写体となる複数の人物の全員が一の撮影時点において好ましい状態とならなくても、多くの好ましい状態の人物像を含む画像を取得できる。

また、特に請求項２の発明によれば、ベース画像に合成対象像を合成することで合成画像を生成するため、人物像以外の背景等を含む自然な合成画像を生成できる。

また、特に請求項３の発明によれば、ベース画像として好ましい画像を自動的に選択できる。

また、特に請求項４の発明によれば、ユーザが所望の画像をベース画像として選択できる。

また、特に請求項５の発明によれば、ベース画像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。

また、特に請求項６の発明によれば、合成対象像として好ましい人物像を自動的に選択できる。

また、特に請求項７の発明によれば、ユーザが所望の人物像を合成対象像として選択できる。

また、特に請求項８の発明によれば、合成対象像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。

また、特に請求項９の発明によれば、ユーザが所望の状態条件を設定できる。

また、特に請求項１０の発明によれば、一回の撮影指示のみで、撮影を複数回行って複数の画像を取得することができる。

また、特に請求項１１の発明によれば、ユーザ所望の時間間隔で、複数の画像を取得できる。

また、特に請求項１２の発明によれば、ユーザ所望の枚数の画像から、合成画像を生成できる。

以下では、本発明の実施の形態の一として、被写体を撮影して画像を取得する撮像装置であるとともに、取得した画像を処理する画像処理装置でもあるデジタルカメラについて説明する。

＜１．外観構成＞
図１はデジタルカメラ１を示す斜視図であり、図２はデジタルカメラ１の背面側の構成を示す図である。このデジタルカメラ１は、主に静止画像を取得するデジタルスチルカメラとして構成されている。

図１に示すように、デジタルカメラ１の前面側には、フラッシュ３１及び光学ファインダ３２の対物窓、並びに、複数のレンズ群を有する撮影レンズ３が設けられる。また、この撮影レンズ３の後方位置となるデジタルカメラ１の内部の適所には、ＣＣＤなどの撮像センサ２が設けられている。撮像センサ２は、撮影レンズ３に入射して結像される被写体からの反射光を露光（受光）することにより、被写体の画像を取得する。本実施の形態において「撮影」とは、「撮像センサ２による被写体からの反射光の１回の継続的な露光」の意に相当する。したがって、デジタルカメラ１においては、一回の撮影により、一枚の画像が取得されることになる。

デジタルカメラ１の上面側には、ユーザから撮影指示を受け付けるシャッタボタン３４、及び、電源のオンオフを切り替えるためのメインスイッチ３３が配置されている。デジタルカメラ１の側面部には、記録媒体であるメモリカード９を着脱可能なカードスロット３５が形成される。デジタルカメラ１において取得された画像は、このメモリカード９に記録される。

また、図２に示すように、デジタルカメラ１の背面側には、光学ファインダ３２の接眼窓、動作モードを切り替えるためのモード切替レバー３６、各種表示を行う液晶モニタ４、並びに、ユーザ操作を受け付けるための十字キー３７、確定ボタン３８及びファンクションボタン群３９（３９ａ〜３９ｄ）が設けられている。

液晶モニタ４は、メモリカード９に記録された画像の表示、及び、各種設定を行うための設定メニューの表示など各種表示を行なう。また、ユーザから撮影指示がなされる前の撮影待機状態においては、液晶モニタ４は、構図内に存在する被写体の状態をほぼリアルタイムに示すライブビュー表示を行う。なお、本実施の形態において「構図」とは、「画像として取得される領域」の意である。これにより液晶モニタ４は、構図の決定（フレーミング）にも利用される。

十字キー３７、確定ボタン３８及びファンクションボタン群３９には、デジタルカメラ１の動作モードや動作状態に応じて機能が動的に割り当てられる。十字キー３７は、上下左右の各方向を示す４つのボタンが一体構成されたものであり、主として項目の移動や表示対象とする画像の選択などに利用される。また、確定ボタン３８は、各種の確定指示に利用される。

デジタルカメラ１は、「通常撮影モード」と「合成画像モード」と「再生モード」との３つの動作モードを備えている。これらの動作モードは、モード切替レバー３６をスライドさせることより切り替えられる。このうち「通常撮影モード」及び「合成画像モード」は、被写体を撮影して画像を取得し、画像をメモリカード９に記録する動作モードである。一方、「再生モード」は、メモリカード９に記録された画像を液晶モニタ４に表示する動作モードである。

「通常撮影モード」は、一般的なデジタルカメラの撮影動作を行う動作モードである。すなわち、「通常撮影モード」においては、ユーザからの一の撮影指示に応答して、被写体の撮影が一回なされ、一の画像が取得される。取得された一の画像は所定の処理が施された後、そのままメモリカード９に記録されることになる。

一方、「合成画像モード」は、集合写真などの複数の人物を被写体とする場合を対象とした動作モードである。この「合成画像モード」においては、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像が、複数の画像を用いて生成される。より具体的には、ユーザからの一の撮影指示に応答して、被写体の撮影が複数回なされ、複数の画像が取得される。そして、取得された複数の画像から一の合成画像が生成され、生成された合成画像がメモリカード９に記録されることになる。

＜２．内部構成＞
図３はデジタルカメラ１の主たる内部構成を示すブロック図である。図に示すように、デジタルカメラ１は、その内部に装置全体を統括的に制御する全体制御部６を備えている。全体制御部６は、マイクロコンピュータを備えて構成され、各種の演算処理を行うＣＰＵ６１、演算の作業領域などに利用されるＲＡＭ６２、制御プログラムやデータ等が記憶されるＲＯＭ６３、及び、計時回路であるタイマ６４を備えている。デジタルカメラ１の各処理部は、この全体制御部６に対して電気的に接続され、全体制御部６の制御下において動作する。

撮影レンズ３を介して撮像センサ２で取得された画像は、デジタルカメラ１の内部の処理部に出力され、所定の処理が施される。デジタルカメラ１は、この画像を取り扱うハードウェアの処理部として、信号処理回路５３、画像メモリ５４及び画像処理部５５を備えている。

信号処理回路５３は、撮像センサ２から出力されたアナログの電荷信号としての画像に対して信号処理を行うものである。信号処理回路５３は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（オートゲインコントロール）回路、及び、Ａ／Ｄ変換器を有している。撮像センサ２から出力されたアナログの電荷信号は、このような信号処理回路５３の各構成により、ノイズの低減及びレベル調整がなされるともに、デジタル信号へ変換される。デジタル信号へ変換された画像は、信号処理回路５３から出力され、画像を記憶するＤＲＡＭなどの画像メモリ５４に格納される。

画像処理部５５は、画像メモリ５４に格納された画像に対して、色補間処理、γ補正処理、解像度変換処理及び圧縮処理等の各種の画像処理を施すものである。このような画像処理部５５の画像処理により、液晶モニタ４への表示に適した形式の画像や、メモリカード９への記録に適した圧縮形式の画像などが生成される。

カードＩ／Ｆ５６は、カードスロット３５に装着されるメモリカード９への画像の記録や、メモリカード９からの画像の読み出し等を行う。このカードＩ／Ｆ５６は全体制御部６に電気的に接続され、全体制御部６からの信号に基づいて画像の記録や読み出しを行う。また、液晶モニタ４も全体制御部６に電気的に接続され、全体制御部６の制御下において画像の表示や動画像の再生表示などの各種の表示を行う。

操作入力部３０は、上述したシャッタボタン３４、モード切替レバー３６、十字キー３７、確定ボタン３８及びファンクションボタン群３９等を含む操作部材をひとつの機能ブロックとして示している。ユーザにより操作入力部３０が操作されると、当該操作に係る処理や制御を示す信号が発生して全体制御部６に入力される。例えば、シャッタボタン３４が押下されると、撮影指示を示す信号が全体制御部６に入力され、これにより、全体制御部６はユーザからの撮影指示を認識する。

全体制御部６は、デジタルカメラ１の制御に係る各種の機能を有している。このような機能は、ＲＯＭ６３に記憶される制御プログラムに従ってＣＰＵ６１が演算処理を行うことにより（すなわち、ソフトウェア的に）実現される。制御プログラムは、ＲＯＭ６３内に予め記憶されるものであるが、メモリカード９から読み出すなどにより、新たな制御プログラムをＲＯＭ６３に格納することも可能とされている。図３において、撮像制御部７１、人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、及び、画像合成部７６は、このようなソフトウェア的に実現される全体制御部６の機能の一部を模式的に示している。

撮像制御部７１は、「通常撮影モード」及び「合成画像モード」における画像の取得に係る制御を行なう。例えば、「合成画像モード」においてユーザからの撮影指示がなされたとき、それに応答して所定の枚数の画像の取得を行うように、撮像制御部７１は撮像センサ２に指示信号を送出する。

また、人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、画像合成部７６は、「合成画像モード」において、複数の画像を用いて一の合成画像を生成する機能である。これらの機能の詳細は後述する。

＜３．合成画像モードの基本動作＞
次に、「合成画像モード」におけるデジタルカメラ１の動作について説明する。図４は、デジタルカメラ１の「合成画像モード」における基本的な動作の流れを示す図である。

デジタルカメラ１は「合成画像モード」に設定されると、まず、ユーザからの撮影指示（シャッタボタン３４の押下）を待機する撮影待機状態となる（ステップＳ２にてＮｏの間）。このとき、液晶モニタ４においてライブビュー表示がなされる（ステップＳ１）。

「合成画像モード」は集合写真などの複数の人物を被写体とする場合を対象とした動作モードであるため、このような撮影待機状態においては、光学ファインダ３２やライブビュー表示を利用して、被写体とすべき複数の人物が含まれるように構図がユーザ（撮影者）により決定されることになる。なお、「合成画像モード」では、後述のように複数回の撮影がなされるが、これらの撮影の相互間で構図が変更しないように、三脚などを用いてデジタルカメラ１を固定配置することが望ましい。

そして、ユーザから一の撮影指示がなされると（ステップＳ２にてＹｅｓ）、これに応答して、被写体となる同一の複数の人物の撮影が複数回なされ、複数の画像が取得される。すなわち、撮像制御部７１の制御により、「撮影（ステップＳ３）」、及び、「その撮影により取得された画像の画像メモリ５４への格納（ステップＳ４）」が、タイマ６４を用いて所定の時間間隔ごとに、所定回数繰り返される（ステップＳ５）。本実施の形態では、一の撮影指示に応答して例えば４回の撮影が行われるようになっており、撮影相互の時間間隔（画像の取得相互の時間間隔）は例えば０．２秒とされている。したがって、画像メモリ５４には、同一の複数の人物に係り、かつ、互いに取得タイミングが異なる４枚の画像が格納されることになる。

このようにして複数の画像が取得されると、続いて、取得された複数の画像を用いて、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像を生成する合成画像生成処理が全体制御部６によりなされる（ステップＳ６）。そして、生成された合成画像がメモリカード９に記録される（ステップＳ７）。その後、デジタルカメラ１は再び撮影待機状態（ステップＳ１，Ｓ２）に戻ることになる。

＜４．合成画像生成処理＞
次に、合成画像生成処理（ステップＳ６）について詳細に説明する。前述したように、合成画像生成処理は、同一の複数の人物を撮影して得られる複数の画像（本実施の形態では４枚の画像）（以下、「元画像」という。）から、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像を生成する処理となる。

以下では、図５ないし図８に示す４枚の元画像Ｐ１〜Ｐ４から一の合成画像を生成する場合を適宜、具体例として用いて説明する。これらの４枚の元画像Ｐ１〜Ｐ４は、同一の４名の人物を撮影して得られたものである。以下、この被写体となった４名の人物を左からＡ，Ｂ，Ｃ，Ｄと表現する。そして、元画像Ｐ１（図５）に含まれる人物Ａ〜Ｄの像（人物像）をそれぞれＡ１〜Ｄ１と表現する。同様に、元画像Ｐ２（図６）に含まれる人物像をＡ２〜Ｄ２、元画像Ｐ３（図７）に含まれる人物像をＡ３〜Ｄ３、元画像Ｐ４（図８）に含まれる人物像をＡ４〜Ｄ４とそれぞれ表現するものとする。

図５ないし図８に示すように、４枚の元画像Ｐ１〜Ｐ４のいずれにおいても、視線がデジタルカメラ１に向いていない状態の人物像が含まれている。すなわち、元画像Ｐ１（図５）においては、人物像Ｂ１の視線はデジタルカメラ１に向いているが、他の人物像Ａ１，Ｃ１，Ｄ１の視線はデジタルカメラ１に向いていない。また、元画像Ｐ２（図６）においては、人物像Ａ２の視線はデジタルカメラ１に向いているが、他の人物像Ｂ２，Ｃ２，Ｄ２の視線はデジタルカメラ１に向いていない。また、元画像Ｐ３（図７）においては、人物像Ｂ３，Ｃ３の視線はデジタルカメラ１に向いているが、他の人物像Ａ３，Ｄ３の視線はデジタルカメラ１に向いていない。さらに、元画像Ｐ４（図８）においては、人物像Ｄ４の視線はデジタルカメラ１に向いているが、他の人物像Ａ４，Ｂ４，Ｃ４の視線はデジタルカメラ１に向いていない。

合成画像生成処理は、視線がデジタルカメラ１に向いていない状態の人物像が含まれているこのような複数の元画像から、視線がデジタルカメラ１に向いている状態の人物像のみを含む一の合成画像を生成することを目標として行われる。

図９は、合成画像生成処理の詳細な流れを示す図である。合成画像生成処理にあたっては、まず、複数の元画像のそれぞれから人物像が人物抽出部７２により抽出され、抽出された人物像のそれぞれに関してその視線がデジタルカメラ１に向いているか否かが人物判定部７３により判定される（ステップＳ１１〜Ｓ１４）。

すなわち、まず、複数の元画像のうちの一の画像が、その時点において処理対象とすべき画像（以下、「注目画像」という。）として決定される（ステップＳ１１）。そして、注目画像から人物の顔に相当する顔領域が、人物像（正確には、人物像の一部）として抽出される。この人物像の抽出結果は、注目画像中における所定の座標系の座標情報として表現される。この顔領域を抽出する手法としては、例えば特許文献２に開示されているように、注目画像の各画素が示す色相や彩度に基づいて、人物の肌色に近似する領域を顔領域として抽出する手法などが利用できる（ステップＳ１２）。

これにより、例えば図５に示す画像Ｐ１が注目画像である場合は、人物Ａ〜Ｄのそれぞれの顔を示す顔領域Ｆａ〜Ｆｄが、人物像Ａ１〜Ｄ１として抽出されることになる。

続いて、抽出された人物像（顔領域）のそれぞれに関して、その人物像の視線（正確には、人物像が示す人物の視線）がデジタルカメラ１に向いているか否かが判定される。換言すれば、人物像のそれぞれに関して「視線がデジタルカメラ１に向いている状態である」という「状態条件」を満足するか否かの判定がなされることになる。このような画像中の人物像の視線の向きの判定には、例えば特許文献２に開示されているように、顔領域から眼領域及び瞳領域をさらに求め、瞳が眼の中のどの位置にあるかに基づいて判定する手法などが利用できる（ステップＳ１３）。

これにより、例えば図５に示す画像Ｐ１が注目画像である場合は、人物像Ｂ１（顔領域Ｆｂ）に関しては「状態条件を満足する（視線がデジタルカメラ１に向いている）」という判定がなされ、人物像Ａ１，Ｃ１，Ｄ１（顔領域Ｆａ，Ｆｃ，Ｆｄ）に関しては「状態条件を満足しない（視線がデジタルカメラ１に向いていない）」という判定がなされることになる。

このようにして一の注目画像に関して、人物像の抽出、及び、人物像が状態条件を満足するか否かの判定が完了すると、抽出された各人物像の座標情報、及び、判定結果がＲＡＭ６２に記憶される。続いて、複数の元画像のうち、人物像の抽出及びその判定がなされていない画像がある場合は（ステップＳ１４にてＹｅｓ）、処理はステップＳ１１に戻り、次の元画像が注目画像とされて上記と同様にして人物像の抽出及びその判定が行われる。そして同様の処理が繰り返されて、全ての元画像に関して人物像の抽出及びその判定が行われ、抽出された各人物像の座標情報、及び、判定結果がＲＡＭ６２に記憶される。

なお、抽出される人物像の数は複数の元画像の相互間で一致するはずであり、また、人物像の座標位置も複数の元画像の相互間でほぼ一致するはずである。このため、全ての元画像に関しての人物像の抽出が完了した時点で、複数の元画像の相互間において人物像の数が一致するか、及び、人物像の座標位置がほぼ一致するかの判定を行い、いずれかが満足されない場合はエラーとして処理を中止してもよい。以下の説明では、複数の元画像の相互間において、人物像の数が一致し、かつ、人物像の座標位置がほぼ一致しているものとする。

全ての元画像に関して人物像の抽出及びその判定が完了すると、次に、各人物像の判定結果に基づいて、複数の元画像のうちから、合成画像を生成する際に主成分（ベース）となるベース画像がベース選択部７４により選択される。具体的には、複数の元画像のうち、状態条件を満足する人物像を最も多く含む元画像が、ベース画像として選択される（ステップＳ１５）。

例えば、図５ないし図８に示す４枚の元画像Ｐ１〜Ｐ４においては、状態条件を満足する人物像の数は、元画像Ｐ１（図５）では１つ（人物像Ｂ１）、元画像Ｐ２（図６）では１つ（人物像Ａ２）、元画像Ｐ３（図７）では２つ（人物像Ｂ３，Ｃ３）、元画像Ｐ４（図８）では１つ（人物像Ｄ４）である。このため、状態条件を満足する人物像を最も多く含む元画像は元画像Ｐ３であり、この元画像Ｐ３がベース画像として選択されることになる。

ベース画像が選択されると、次に、被写体となった複数の人物ごとに、複数の元画像のうちから一の元画像が、ベスト画像としてベスト選択部７５により選択される。この処理は、具体的には、被写体となった複数の人物ごとに、複数の元画像にそれぞれ含まれる当該人物に係る人物像のうちから、合成対象とすべき一の人物像を合成対象像として選択する処理となる（ステップＳ１６〜Ｓ１８）。

すなわち、まず、被写体となった複数の人物のうちの一の人物が、その時点において処理対象とすべき人物（以下、「注目人物」という。）として決定される（ステップＳ１１）。なお、被写体となった複数の人物のそれぞれは、元画像から抽出された人物像に基づいて認識される。この際、複数の元画像の相互間において座標位置がほぼ一致している人物像が、同一人物に係る人物像として認識される。

例えば、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合は、人物像Ａ１〜Ａ４、人物像Ｂ１〜Ｂ４、人物像Ｃ１〜Ｃ４、人物像Ｄ１〜Ｄ４がそれぞれ同一の人物に係る人物像として認識される。そして、それに基づき、被写体として４人の人物Ａ〜Ｄが存在すると認識される。さらに、それら４人の人物Ａ〜Ｄのうちから例えば人物Ａが注目人物として決定されることになる。

次に、複数の元画像にそれぞれ含まれる注目人物に関する人物像のうちから、合成対象とすべき一の人物像が合成対象像として選択される。合成対象とする人物像は、視線がデジタルカメラ１に向いていることが望ましい。このため、合成対象像の選択にあたっては、注目人物に係る人物像それぞれについての状態条件を満足するか否かの判定結果が参照され、状態条件を満足する人物像が合成対象像として選択される。そして、この合成対象像を含む元画像が、注目人物に係るベスト画像として選択されることになる。

このとき、状態条件を満足する人物像が複数存在したときは、そのうちでベース画像に含まれるものがあれば、その人物像が合成対象像として選択される。一方、状態条件を満足する人物像が複数存在したとき、そのうちにベース画像に含まれるものが存在しなければ、撮影順位がベース画像に最も近い元画像に含まれる人物像が合成対象像として選択される。なおこのとき、撮影順位がベース画像に最も近い元画像が２つ存在するときには、いずれを選択してもよい。例えば撮影順位が早いほうを選択すればよい。また逆に、状態条件を満足する人物像が一つも存在しないときは、ベース画像に含まれる人物像が合成対象像として選択される。

このようにして一の注目人物に関して、ベスト画像（すなわち、合成対象像）の選択が完了すると、その選択結果がＲＡＭ６２に記憶される。続いて、複数の人物のうち、ベスト画像の選択がなされていない画像がある場合は（ステップＳ１８にてＹｅｓ）、処理はステップＳ１６に戻り、次の人物が注目人物とされて上記と同様にしてベスト画像の選択が行われる。そして同様の処理が繰り返されて、全ての人物に関してベスト画像の選択が行われることになる。

例えば図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合において、人物Ａが注目人物のときは、人物Ａに係る人物像Ａ１〜Ａ４のうち、元画像Ｐ２中の人物像Ａ２のみが状態条件を満足する。このため、人物Ａに係る合成対象像としては人物像Ａ２が選択され、人物Ａに係るベスト画像としては元画像Ｐ２が選択される。

また、人物Ｂが注目人物のときは、人物Ｂに係る人物像Ｂ１〜Ｂ４のうち、元画像Ｐ１中の人物像Ｂ１と元画像Ｐ３中の人物像Ｂ３とが状態条件を満足する。前述したように、元画像Ｐ１〜Ｐ４を用いる場合には、そのうちの元画像Ｐ３がベース画像として選択される。このため、人物Ｂに係る合成対象像としてはベース画像である元画像Ｐ３に含まれる人物像Ｂ３が選択され、人物Ｂに係るベスト画像としては元画像Ｐ３が選択される。同様にして、人物Ｃに係る合成対象像としては人物像Ｃ３が選択され、人物Ｃに係るベスト画像としては元画像Ｐ３が選択される。さらに、人物Ｄに係る合成対象像としては人物像Ｄ４が選択され、人物Ｄに係るベスト画像としては元画像Ｐ４が選択されることになる。

全ての人物に関してベスト画像の選択が行われると、次に、被写体となった複数の人物ごとに選択されたベスト画像のうちベース画像と一致しないものから、合成対象像が画像合成部７６により切り出される。換言すれば、被写体となった複数の人物ごとに選択された合成対象像のうち、ベース画像に含まれない合成対象像が切り出される（トリミングされる）ことになる（ステップＳ１９）。

例えば、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いる場合においては、人物Ａのベスト画像（元画像Ｐ２）と、人物Ｄのベスト画像（元画像Ｐ４）とは、ベース画像（元画像Ｐ３）と異なる。つまり、人物Ａの合成対象像たる人物像Ａ２と、人物Ｄの合成対象像たる人物像Ｄ４とは、ベース画像に含まれていない。このため、図１０に示すように、元画像Ｐ２から人物Ａに係る人物像Ａ２が切り出され、元画像Ｐ４から人物Ｄに係る人物像Ｄ４が切り出される。

このように元画像から合成対象像を切り出す際には、例えば、図１０に示すように人物像として抽出された顔領域を少なくとも含む矩形領域Ａ２１，Ｄ４１が切り出される。このような矩形領域のサイズ（縦横の幅）及び座標位置は、顔領域のサイズ及び座標位置に基づいて決定されることになる。この際、図１０に示すように、矩形領域は、顔領域のみならず、人物の体の一部に相当する領域を含むように決定されることが好ましい。

このようにして合成対象像（矩形領域）が切り出されると、切り出された合成対象像（矩形領域）がそれぞれ、ベース画像に対して画像合成部７６により合成される。切り出された合成対象像を合成するベース画像中の位置は、切り出された合成対象像に含まれる顔領域の中心位置と、ベース画像中に含まれる同一人物に係る人物像の顔領域の中心位置とが一致するように決定される。これにより、視線がデジタルカメラ１に向いた人物像を多く含む一の合成画像が生成されることになる（ステップＳ２０）。

例えば、図１０に示すように、人物Ａの合成対象像たる人物像Ａ２（矩形領域Ａ２１）は、ベース画像たる元画像Ｐ３中の人物Ａに係る人物像Ａ３の位置に合成される。また、人物Ｄの合成対象像たる人物像Ｄ４（矩形領域Ｄ４１）は、ベース画像たる元画像Ｐ３中の人物Ｄに係る人物像Ｄ３の位置に合成される。そして、これにより、一の合成画像Ｐ５が生成されることになる。

図１１は、図５ないし図８に示す元画像Ｐ１〜Ｐ４を用いて生成された合成画像Ｐ５を示す図である。図に示すように、合成画像Ｐ５には、人物Ａ、Ｂ、Ｃ、Ｄそれぞれの合成対象像Ａ２、Ｂ３、Ｃ３、Ｄ４が含まれている。これにより、全ての人物像Ａ２、Ｂ３、Ｃ３、Ｄ４の視線は、デジタルカメラ１に向いた状態となっている。すなわち、視線がデジタルカメラ１に向いていない状態の人物像が含まれている複数の元画像Ｐ１〜Ｐ４から、上述した合成画像生成処理により、視線がデジタルカメラ１に向いている状態の人物像のみを含む一の合成画像Ｐ５が生成されたわけである。

以上説明したように、デジタルカメラ１では、同一の複数の人物の撮影を複数回行うことにより複数の画像が取得される。そして、被写体となった複数の人物ごとに、複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像が合成対象像として選択され、複数の人物ごとに選択された合成対象像を用いて一の合成画像が生成される。したがって、一の撮影時点において被写体となる複数の人物の全員の視線がデジタルカメラ１に向いた状態とならなくても、視線がデジタルカメラ１に向いた人物像を多く含む画像を取得できる。これにより、撮影者たるユーザは、複数の人物の全員の視線がデジタルカメラ１に向くまで待つことなく撮影指示を行うことができる。

また、複数の画像のうちの一の画像がベース画像として選択され、複数の人物ごとに選択された合成対象像のうちベース画像に含まれない合成対象像をベース画像に合成することで、一の合成画像が生成される。これにより、人物像以外の背景等を含む自然な合成画像を生成できる。

また、ベース画像の選択にあたっては、複数の画像のうち状態条件を満足する人物像を最も多く含む画像が自動的に選択される。これにより、ユーザの煩雑な操作を伴うことなく、ベース画像として好ましい画像を自動的に選択できる。

また、合成対象像の選択（ベスト画像の選択）にあたっては、状態条件を満足する人物像が自動的に選択される。これにより、ユーザの煩雑な操作を伴うことなく、合成対象像として好ましい人物像（ベスト画像として好ましい画像）を自動的に選択できる。

また、シャッタボタン３４の一度の押下、すなわち、ユーザからの一の撮影指示に応答して、被写体の撮影が複数回なされ複数の元画像が取得される。このため、ユーザは一回の撮影指示のみで、合成画像の生成に用いる複数の元画像を取得することができ、何度も撮影指示を行う必要がない。

＜５．他の実施の形態＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態（以下、「第１形態」という。）に限定されるものではなく様々な変形が可能である。以下では、このような他の実施の形態について説明する。

＜５−１．第２形態：手動選択＞
第１形態では、ベース画像はＣＰＵ６１の機能たるベース選択部７４により自動選択されていたが、ユーザが手動で選択するようになっていてもよい。

この場合においては、図９のステップＳ１５において、ベース画像の選択が自動的になされず、複数の元画像のうちから一の画像の指定をユーザから受け付け、これにより指定された画像がベース画像として選択される。

図１２は、ベース画像の指定をユーザから受け付ける際の液晶モニタ４の画面の例を示す図である。図に示すように、液晶モニタ４には、ベース画像の候補となる複数の元画像Ｐ１〜Ｐ４が表示される。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することにより矩形の選択枠Ｆｒを所望の元画像まで移動させ、確定ボタン３８を押下する。これにより、ユーザからの一の元画像の指定がＣＰＵ６１のベース選択部７４に受け付けられる。ベース選択部７４は、このようにして指定された画像をベース画像として選択することになる。これによれば、ユーザが所望の画像をベース画像として選択でき、最終的に所望の合成画像を生成できることになる。

また、第１形態では、人物ごとのベスト画像も、ＣＰＵ６１の機能たるベスト選択部７５により自動選択されていたが、ユーザが手動で選択するようになっていてもよい。この場合においては、図９のステップＳ１７において、ベスト画像の選択が自動的になされず、複数の元画像のうちから一の画像の指定をユーザから受け付け、これにより指定された画像が注目人物のベスト画像として選択される。

この場合においても、図１２と同様の画面が液晶モニタ４に表示される。この画面に基づくユーザからの一の元画像の指定がＣＰＵ６１のベスト選択部７５に受け付けられ、ベスト選択部７５は指定された画像をベスト画像として選択することになる。これによれば、ユーザが所望の画像を注目人物のベスト画像として選択でき（すなわち、所望の人物像を合成対象像として選択でき）、最終的に所望の合成画像を生成できることになる。

なお、ベース画像及びベスト画像の双方をユーザが手動で選択するようになっている場合は、自動的に選択する際に選択基準に利用される元画像中の人物像が状態条件を満足するか否かの判定結果は不要である。このため、この場合は、図９のステップＳ１３の人物像が状態条件を満足するか否かの判定を行わなくてよい。

＜５−２．第３形態：自動選択と手動選択との切り替え＞
ベース画像を自動で選択する機能（自動選択機能）と、手動で選択する機能（手動選択機能）との双方を一のデジタルカメラが備えていてもよい。この場合は、自動選択機能と手動選択機能とのいずれを有効とするか（能動化するか）をユーザから受け付けることになる。

具体的には、撮影待機状態（図４のステップＳ１，Ｓ２）における所定の操作により液晶モニタ４に表示される設定メニューにおいて、ユーザはベース画像を自動選択するか手動選択するかを選択する。

図１３は、ベース画像の選択にあたって自動選択機能と手動選択機能とのいずれを有効とするかを受け付けるための設定メニューの例を示す図である。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することによりカーソルＣｒを「自動」及び「手動」のいずれかの項目に移動させ、確定ボタン３８を押下する。これにより、カーソルＣｒにて選択された項目がＣＰＵ６１に受け付けられる。そして、「自動」が選択されたときは自動選択機能が有効とされて第１形態と同様の自動選択動作がなされ、「手動」が選択されたときは手動選択機能が有効とされて第２形態と同様の手動選択動作がなされることになる。これによれば、ベース画像を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。

同様に、ベスト画像（すなわち、合成対象像）の選択に係る自動選択機能と手動選択機能との双方を一のデジタルカメラが備えていてもよい。この場合も、液晶モニタ４に表示される設定メニューにおいて、自動選択機能と手動選択機能とのいずれを有効とするか（能動化するか）をユーザから受け付けることになる。

図１４は、ベスト画像の選択にあたって自動選択機能と手動選択機能とのいずれを有効とするかを受け付けるための設定メニューの例を示す図である。ユーザは、このような画面を参照しつつ「自動」及び「手動」のいずれかの項目を選択して確定ボタン３８を押下すると、選択された項目がＣＰＵ６１に受け付けられる。そして、「自動」が選択されたときは自動選択機能が有効とされて第１形態と同様の自動選択動作がなされ、「手動」が選択されたときは手動選択機能が有効とされて第２形態と同様の手動選択動作がなされることになる。これによれば、ベスト画像（すなわち、合成対象像）を自動で選択するか、手動で選択するかをユーザが所望に切り替えることができる。

＜５−３．第４形態：状態条件の選択＞
第１形態では、図９のステップＳ１３において、各人物像に関して「視線がデジタルカメラ１に向いている状態である」という「状態条件」を満足するか否かの判定がなされていたが、この状態条件は、その候補となる複数の条件のうちからユーザが所望のものを選択できるようになっていてもよい。この場合は、液晶モニタ４に表示される設定メニューにおいて状態条件をユーザから受け付けることになる。

図１５は、状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されている。これらの項目は、それぞれ状態条件の候補となる条件に対応している。ユーザは、このような液晶モニタ４の画面を参照しつつ、十字キー３７を操作することによりカーソルＣｒをいずれかの項目に移動させ、確定ボタン３８を押下する。これにより、カーソルＣｒにて選択された項目に対応する条件が、図９のステップＳ１３の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。

ここで、「視線の向き」の項目は「視線がデジタルカメラ１に向いている状態である」という条件に対応している。この条件は、上記第１形態における状態条件と同一である。

また、「顔の向き」の項目は「顔全体の向きがデジタルカメラ１に向いている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔全体の向きがデジタルカメラ１に向いているか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。

また、「顔の部品」の項目は「顔の部品が全て見えている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の顔領域において眼、鼻、口などの顔の部品の全てが存在しているか否かが判定される。この判定には、例えば特許文献２に開示された手法などが利用できる。

また、「眼の開閉」の項目は「眼が開いている状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の眼が開いているか否かが判定される。この判定には、例えば特許文献３に開示された手法などが利用できる。

また、「表情」の項目は「表情が笑顔の状態である」という条件に対応している。すなわち、この項目が選択された場合は、人物像の表情が笑顔であるか否かが判定される。この判定には、例えば特許文献４ないし６に開示された手法などが利用できる。

これによれば、ユーザが所望の状態条件を設定できるため、所望の状態となる人物像を多く含む合成画像を生成できる。

＜５−４．第５形態：状態条件の複数選択＞
第４形態では、状態条件の候補となる複数の条件のうちから一の条件のみをユーザから受け付けていたが、複数の条件をユーザから受け付け可能となっていてもよい。

図１６は、この場合における状態条件を受け付けるための設定メニューの例を示す図である。図に示すように、この場合においても、液晶モニタ４の画面には、状態条件の候補となる条件に対応する項目として「視線の向き」「顔の向き」「顔の部品」「眼の開閉」「表情」の５つの項目が表示されるが、それぞれの項目の左側にはチェックボックスが表示される。またさらに、条件とは無関係な「選択終了」の項目も表示される。

このような画面において、カーソルＣｒをいずれかの項目に移動させ確定ボタン３８を押下すると、指定された旨を示すチェックマークＣＭがチェックボックスに表示される。このチェックマークが入れられた項目に対応する条件が、状態条件として指定されることになる。ユーザは、このような画面を利用して、所望の項目のチェックボックスにチェックマークＣＭを入れていくことで、複数の条件を状態条件として指定することができる。

そして、少なくとも一つの項目のチェックボックスにチェックマークＣＭを入れた後、「選択終了」の項目を選択して確定ボタン３８を押下すると、チェックボックスにチェックマークＣＭが入れられた項目に対応する条件が、図９のステップＳ１３の判定に用いるべき「状態条件」としてＣＰＵ６１に受け付けられる。

複数の条件が「状態条件」とされたときは、図９のステップＳ１３の判定においては、人物像が「状態条件」とされた複数の条件のそれぞれを満足するか否かの判定がなされる。そして、複数の条件の全てを満足する人物像のみが、最終的に「状態条件」を満足する人物像として判定されることとなる。これによれば、ユーザにとってより好ましい状態となる人物像を多く含む合成画像を生成できる。

＜５−５．第６形態：撮影条件の設定＞
第１形態では、一の撮影指示に応答して取得される合成画像の生成に用いる元画像の枚数（撮影枚数）と、元画像の取得相互の時間間隔（撮影の時間間隔）とは予め定められていたが、これらをユーザが所望の数値に設定できるようになっていてもよい。この場合は、液晶モニタ４に表示される設定メニューにおいて撮影枚数及び撮影の時間間隔をユーザから受け付けることになる。

図１７は、撮影枚数をユーザから受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、撮影枚数を示す数値ＮＰが表示される。この数値ＮＰは、十字キー３７を操作することにより、例えば、２から１０（枚）までの間で変更することができる。数値ＮＰを所望のものとした後、確定ボタン３８を押下すると、表示されている数値ＮＰが「撮影枚数」としてＣＰＵ６１に受け付けられることになる。

また、図１８は、撮影の時間間隔をユーザから受け付けるための設定メニューの例を示す図である。図に示すように、液晶モニタ４の画面には、撮影の時間間隔を示す数値ＴＩが表示される。この数値ＴＩは、十字キー３７を操作することにより、例えば、０．１から１．０（秒）までの間で変更することができる。数値ＴＩを所望のものとした後、確定ボタン３８を押下すると、表示されている数値ＴＩが「撮影の時間間隔」としてＣＰＵ６１に受け付けられることになる。

このようにして、「撮影枚数」及び「撮影の時間間隔」を受け付けた後に一の撮影指示がなされると、撮像制御部７１の制御により、ユーザから受け付けた「撮影の時間間隔」ごとに、ユーザから受け付けた「撮影枚数」に一致する回数の撮影が繰り返されることになる（図４：ステップＳ３〜Ｓ５）。そして、この複数回の撮影によって得られた複数の元画像を用いて合成画像生成処理がなされて一の合成画像が生成される。これにより、ユーザは、所望の撮影間隔で得られた所望の枚数の元画像を用いて合成画像を生成できることになる。

ところで、「撮影の時間間隔」と「撮影枚数−１」とを乗算した時間が、一の撮影指示に応答してなされる撮影の総時間となるが、この撮影の総時間があまりに長いと、被写体が大きく動いてしまい、自然な合成画像を生成できない可能性がある。このため、撮影の総時間が所定時間以内となるように、「撮影の時間間隔」あるいは「撮影枚数」に設定可能な上限値が定められるようになっていてもよい。例えば、撮影の総時間を２秒以内とする場合において、「撮影枚数」を５枚としたときは、「撮影の時間間隔」として設定可能な上限値は０．５秒とされることになる（０．５秒×（５−１）枚＝２秒）。

＜５−６．第７形態：システム＞
第１形態では、単体のデジタルカメラ１が元画像の取得及び合成画像生成処理を行うようにしていたが、同様の処理を、デジタルカメラと汎用のコンピュータとを備える画像処理システムで行うようにしてもよい。

図１９は、この場合における画像処理システム１００を示す図である。画像処理システム１００は、画像を取得するデジタルカメラ１０１と、デジタルカメラ１０１で取得された画像を用いて画像合成処理を行うコンピュータ１０２とを含んでいる。

デジタルカメラ１０１は、上記実施の形態のデジタルカメラ１と同様の構成のものを用いることができる。デジタルカメラ１０１は、上記実施の形態のデジタルカメラ１と同様にして、同一の複数の人物を撮影を複数回行って、合成画像生成処理に用いる複数の元画像を取得する。ただし、取得された複数の元画像は、合成画像生成処理が施されることなく、そのままメモリカード９に記録される。このようにしてメモリカード９に記録された複数の元画像は、メモリカード９を媒介として、あるいは、専用の通信ケーブルや電気通信回線を介して、コンピュータ１０２に転送される。

コンピュータ１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、ディスプレイ及び通信部等を備えた汎用のコンピュータで構成される。そして、コンピュータ１０２内部のＣＰＵ、ＲＯＭ、ＲＡＭ等が、上記第１形態と同様の合成画像生成処理を行なう機能を実現する。すなわち、ＣＰＵ、ＲＯＭ、ＲＡＭ等が、図３に示す人物抽出部７２、人物判定部７３、ベース選択部７４、ベスト選択部７５、画像合成部７６と同様に機能することとなる。

このような合成画像生成処理を行なう機能は、ＣＤ−ＲＯＭ等の記録媒体９１から、あるいは、インターネットなどの電気通信回線を介して取得され、コンピュータ１０２内にインストールされるプログラムにより実現される。すなわち、このプログラムに従ってＣＰＵ、ＲＯＭ、ＲＡＭ等が機能することにより、合成画像生成処理を行なう機能が実現される。これにより、汎用のコンピュータ１０２が、合成画像生成処理を行なう画像処理装置として機能することになる。

図２０は、コンピュータ１０２によってなされる画像処理の流れを示す図である。デジタルカメラ１０１から転送された複数の元画像は、コンピュータ１０２のハードディスクに記憶される。このため、合成画像生成処理にあたっては、まず、プログラムに従ってＣＰＵ等によって実現される機能により、ハードディスクから複数の元画像がＲＡＭに読み出されて、処理可能に準備される（ステップＳ３１）。

そして、合成画像生成処理を行なう機能により、ＲＡＭに読み出された複数の元画像に対して合成画像生成処理が行われる。この合成画像生成処理は、図９に示す処理と同一である（ステップＳ３２）。この処理により生成された合成画像は、ハードディスクに記憶されることになる（ステップＳ３３）。

このように、本形態によれば、第１形態と同様の処理を、デジタルカメラと汎用のコンピュータとで分散して行うことができる。

＜５−７．その他の変形例＞
第１形態では、図９のステップＳ１３において、各人物像に関して「状態条件」を満足するか否かの判定がなされていたが、各人物像に関して「状態条件」を満足する程度（度合い）を点数として導出するようにしてもよい。そして、この場合の合成対象像の選択にあたっては、複数の元画像にそれぞれ含まれる人物像のうちで、最も点数の高いものを合成対象像として選択すればよい。なお、この場合においても、ベース画像に含まれる人物像は他の元画像に含まれる人物像よりも合成対象像として優先的に選択されることが好ましいため、ベース画像に含まれる人物像に所定点を加点してもよい。

また、第２形態では、合成対象像を手動で選択するにあたっては、ベスト画像の選択により間接的に合成対象像が選択されていたが、任意の元画像中の領域をユーザが直接的に指定して合成対象像を選択する態様であってもよい。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されてもよい。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。

デジタルカメラを示す斜視図である。 デジタルカメラの背面側の構成を示す図である。 デジタルカメラの主たる内部構成を示すブロック図である。 合成画像モードにおける基本的な動作の流れを示す図である。 元画像の一例を示す図である。 元画像の一例を示す図である。 元画像の一例を示す図である。 元画像の一例を示す図である。 合成画像生成処理の詳細な流れを示す図である。 画像の合成を説明するための概念図である。 生成された合成画像の一例を示す図である。 画像の指定をユーザから受け付ける画面の例を示す図である。 自動選択機能と手動選択機能とのいずれを有効とするかを受け付ける画面の例を示す図である。 自動選択機能と手動選択機能とのいずれを有効とするかを受け付ける画面の例を示す図である。 状態条件を受け付ける画面の例を示す図である。 状態条件を受け付ける画面の例を示す図である。 撮影枚数を受け付ける画面の例を示す図である。 撮影の時間間隔を受け付ける画面の例を示す図である。 画像処理システムを示す図である。 コンピュータによってなされる画像処理の流れを示す図である。

符号の説明

１ デジタルカメラ
２ 撮像センサ
４ 液晶モニタ
６ 全体制御部
９ メモリカード
３４ シャッタボタン
９１ 記録媒体

Claims (16)

1. 撮像装置であって、
   同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段と、
   前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する第１選択手段と、
   前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記複数の画像のうちの一の画像をベース画像として選択する第２選択手段、
   をさらに備え、
   前記合成手段は、前記複数の人物ごとの前記合成対象像のうち前記ベース画像に含まれない前記合成対象像を、前記ベース画像に合成することで、前記合成画像を生成することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記第２選択手段は、前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置において、
   前記第２選択手段は、前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択することを特徴とする撮像装置。
5. 請求項２に記載の撮像装置において、
   前記第２選択手段は、
   前記複数の画像のうち、所定の状態条件を満足する人物像を最も多く含む画像を前記ベース画像として選択する自動選択手段と、
   前記複数の画像のうち、ユーザから指定された画像を前記ベース画像として選択する手動選択手段と、
   を備え、
   前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、
   をさらに備えることを特徴とする撮像装置。
6. 請求項１ないし５のいずれかに記載の撮像装置において、
   前記第１選択手段は、所定の状態条件を満足する人物像を前記合成対象像として選択することを特徴とする撮像装置。
7. 請求項１ないし５のいずれかに記載の撮像装置において、
   前記第１選択手段は、ユーザから指定された人物像を前記合成対象像として選択することを特徴とする撮像装置。
8. 請求項１ないし５のいずれかに記載の撮像装置において、
   前記第１選択手段は、
   所定の状態条件を満足する人物像を前記合成対象像として選択する自動選択手段と、
   ユーザから指定された人物像を前記合成対象像として選択する手動選択手段と、
   を備え、
   前記自動選択手段と前記手動選択手段とのいずれを能動化するかをユーザから受け付ける手段、
   をさらに備えることを特徴とする撮像装置。
9. 請求項３、５、６及び８のいずれかに記載の撮像装置において、
   前記状態条件の候補となる複数の条件のうちから少なくとも一つを、前記状態条件としてユーザから受け付ける手段、
   をさらに備えることを特徴とする撮像装置。
10. 請求項１ないし９のいずれかに記載の撮像装置において、
    前記撮像手段は、ユーザからの一回の撮影指示に応答して、前記複数の画像を取得することを特徴とする撮像装置。
11. 請求項１０に記載の撮像装置において、
    前記複数の画像の取得相互の時間間隔をユーザから受け付ける手段、
    をさらに備えることを特徴とする撮像装置。
12. 請求項１０に記載の撮像装置において、
    前記一の撮影指示に応答して取得する画像の枚数をユーザから受け付ける手段、
    をさらに備えることを特徴とする撮像装置。
13. 画像処理装置であって、
    同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備手段と、
    前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、
    前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
    を備えることを特徴とする画像処理装置。
14. 被写体を撮影して画像を取得する撮像装置と、前記撮像装置で取得された画像を処理する画像処理装置とを含む画像処理システムであって、
    前記撮像装置は、
    同一の複数の人物の撮影を複数回行うことにより複数の画像を取得する撮像手段、
    を備え、
    前記画像処理装置は、
    前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択手段と、
    前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成手段と、
    を備えることを特徴とする画像処理システム。
15. 画像を処理する方法であって、
    同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、
    前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、
    前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、
    を備えることを特徴とする画像処理方法。
16. 画像を処理するプログラムであって、前記プログラムのコンピュータによる実行は、前記コンピュータに、
    同一の複数の人物の撮影を複数回行うことにより取得された複数の画像を準備する準備工程と、
    前記複数の人物ごとに、前記複数の画像にそれぞれ含まれる当該人物に係る人物像のうちから一の人物像を合成対象像として選択する選択工程と、
    前記複数の人物ごとの前記合成対象像を用いて一の合成画像を生成する合成工程と、
    を実行させることを特徴とするプログラム。
    

Images