JP5156108B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関し、詳しくは、被写体の目に自動的にピントを合わせることが可能なカメラ等の撮像装置および撮像方法に関する。

一般にデジタルカメラ等の撮像装置の自動焦点検出装置は撮像画像のコントラストが一番高くなるように焦点合わせを行っている。この自動焦点検出装置に近年は顔検出機能が加わり、顔が検出された場合には、検出された顔領域全体のコントラストの平均値が一番高くなる位置にピント合わせを行う顔ＡＦが知られている。さらに最近では、顔領域の中で検出した目だけにピントを合わせる機能（以下、目ＡＦと称す）が知られている。例えば、特許文献１、２には、ポートレート撮影の際には目にピントを合わせようにした撮像装置が開示されている。

特開２００２−６２０３号公報 特開２００２−１６２５５９号公報

中望遠大口径レンズを装着したカメラで上述した目ＡＦを用いると、被写界深度が浅くなることから、被写体の目にピントが合い、それ以外の周辺顔領域は適度なぼかし表現とした作画手法を簡単に達成することができる。しかしながら、中望遠大口径レンズは一般に高価であり、また大きく重いことから、一般ユーザが気楽に使用できるものではない。一般ユーザが手軽に購入でき取り扱うことのできる比較的安価な小型軽量なレンズでは、開放Ｆ値が大きく、被写界深度が深いものである。このため、目ＡＦ機能を備えたカメラであっても、上述の作画効果を得ることは簡単ではない。

また、中望遠大口径レンズを装着したとしても、周囲が明るい場合に通常のプログラム撮影モードでは、絞り込まれてしまい、被写界深度が深く、十分な作画効果が得られない。このような場合に作画効果を得るためには、絞りを意図的に開放Ｆ値に固定し、シャッタやＩＳＯ感度等により露出を制御する等、煩わしい設定をする必要がある。この煩わしい設定を自動的に設定するモード（例えば、ポートレートモード）を備えることも考えられる。しかし、この設定自体、エントリーユーザにとって煩わしく感ずる。

また、作画効果は、カメラと主要被写体（目）までの距離と、カメラと主要被写体（目）以外の領域の距離関係によって略決まる。被写体に近寄って撮影する習慣のないエントリーユーザが高価レンズを使用し、ポートレートモードに設定したとしても、思ったほどの効果を得ることができない可能性がある。

本発明は、このような事情を鑑みてなされたものであり、開放Ｆ値の暗いレンズであっても、煩雑な設定をすることなく、目に関する作画効果のある画像を簡単に撮影できるようにした撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮像装置は、撮像部を有するデジタル画像の撮影が可能な撮像装置であって、上記撮像部によって撮像されたデジタル画像から目を検出する顔器官検出部と、上記検出した目にＡＦ領域を設定して目にピントを合わせる目ＡＦ部と、上記デジタル画像について、上記目ＡＦ部がピント合わせを行った目の周辺をぼかす画像処理を行う画像処理部と、を有し、上記顔器官検出部は、上記撮像部によって撮像されたデジタル画像から顔器官を検出し、検出した顔器官に基づいて顔の向きを判別し、上記目ＡＦ部は、顔の向きに基づいて一方の目を選択して、選択した目にピントを合わせる動作を行い、上記画像処理部は、選択しなかった目をぼかす処理を行うとともに、顔の向きに応じてぼかし強度を変更する。

第２の発明に係わる撮像装置は、第１の発明において、上記画像処理部は、顔の向きの正面からのずれが大きいほど、ぼかし強度を大きくする。
第３の発明に係わる撮像装置は、第１の発明において、上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす画像を行う。

第４の発明に係わる撮像装置は、上記第１の発明において、上記顔器官検出部は、上記撮像部によって撮像されたデジタル画像から左右の目と口角を検出し、上記目ＡＦ部は、選択した目にピントを合わせる動作を行い、上記画像処理部は、上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う。
第５の発明に係わる撮像装置は、上記第４の発明において、上記画像処理部は、上記目ＡＦ部がピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行う。

第６の発明に係わる撮像装置は、上記第４の発明において、上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目とピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角を含む領域を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす画像処理を行う
第７の発明に係わる撮像装置は、上記第１の発明において、上記画像処理部は、上記目ＡＦ部がピント合わせを行った目からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行う。

第８の発明に係わる撮像装置は、上記第７の発明において、上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に、かつ目からの距離に応じて透過率を下げる設定をし、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす処理を行う。
第９の発明に係わる撮像装置は、上記第１の発明において、上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成してピント合わせを行った目の周辺をぼかす画像処理を行う。
第１０の発明に係わる撮像装置は、上記第１の発明において、上記目ＡＦ部により目にピント合わせが行われた場合に、露出時の絞り値を開放Ｆ値近傍の所定値に設定する絞り値設定部と、を有する。

第１１の発明に係わる撮像方法は、撮像したデジタル画像から目を検出し、上記検出した目にピント合わせを行い、上記デジタル画像について、上記ピント合わせを行った目の周辺をぼかす画像処理を行う、デジタル画像の撮影が可能な撮像装置の撮像方法であって、上記デジタル画像から顔器官を検出し、検出した顔器官に基づいて顔の向きを判別し、顔の向きに基づいて一方の目を選択して、選択した目にピント合わせる動作を行い、選択しなかった目をぼかす処理を行うとともに、顔の向きに応じてぼかし強度を変更する。

第１２の発明に係わる撮像方法は、上記第１１の発明において、顔の向きの正面からのずれが大きいほど、ぼかし強度を大きくする。
第１３の発明に係わる撮像方法は、上記第１１の発明において、撮像したデジタル画像から左右の目と口角を検出し、選択した目にピントを合わせる動作を行い、上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う。
第１４の発明に係わる撮像方法は、上記第１３の発明において、上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域からの画像上の距離に応じてぼかし強度を大きくしてぼかす処理を行う。
第１５の発明に係わる撮像方法は、上記１１の発明において、上記ピント合わせを行った目からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行う。
第１６の発明に係わる撮像方法は、上記第１１の発明において、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成してピント合わせを行った目の周辺をぼかす画像処理を行う。

本発明によれば、開放Ｆ値の暗いレンズであっても、煩雑な設定をすることなく、目に関する作画効果のある画像を簡単に撮影できるようにした撮像装置および撮像方法を提供することができる。

本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係わるカメラの背面側から見た外観斜視図である。 本発明の一実施形態に係わるカメラのメイン動作を示すフローチャートである。 本発明の一実施形態に係わるカメラの目ＡＦ枠選択の動作を示す図である。 本発明の一実施形態におけるカメラにおいて、目を検出した場合の顔の枠の表示を示す図である。 本発明の一実施形態に係わるカメラにおいて、目ＡＦ枠の選択の仕方を説明する図である。 本発明の一実施形態に係わるカメラにおいて、器官検出の際に顔のポイントを検出して作成したワイヤーフレームの例を示す図である。 本発明の一実施形態に係わるカメラのタッチ検出処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、ぼかしアイコン等のタッチ検出処理の際に現われるアイコンを示す図である。 本発明の一実施形態に係わるカメラにおいて、ぼかしレベルバーによって生成するぼかし画像の例を示す図である。 本発明の一実施形態に係わるカメラにおいて、マスク強度レベルバーによって生成するαチャンネルマスクパターンの例を示す図である。 本発明の一実施形態に係わるカメラにおいて、αチャンネルマスクパターンの他の例を示す図である。 本発明の一実施形態に係わるカメラにおいて、元画像とぼかし画像の合成を説明する図である。 本発明の一実施形態に係わるカメラの目作画効果処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラのキャッチライト効果処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラのキャッチライトパターン生成の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラのボケ効果処理の動作を示すフローチャートである。 本発明の一実施形態に係わるカメラにおいて、顔が正面を向いている場合のαチャンネルマスクの例を示す図である。 本発明の一実施形態に係わるカメラにおいて、顔が斜め前を向いている場合のαチャンネルマスクの例を示す図である。 本発明の一実施形態に係わるカメラの目作画設定メニューの例を示す図である。 本発明の一実施形態の変形例に係わるカメラのメイン動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係わるカメラは、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部１１５にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタチャンスを決定する。１ｓｔレリーズ時には、被写体に人物が含まれる場合には、人物の目または顔にピントが合うように撮影レンズの自動焦点調節を行う。２ｎｄレリーズ時には、取得した画像データが記録媒体（外部メモリ１１４）に記録される。人物の一方の目にピントを合わせた場合には、ピント合わせを行わなかった他方の目、または他方の目およびその周辺領域についてぼかし処理を行う。記録媒体に記録された画像データは、再生モードを選択すると、表示部１１５に再生表示することができる。

図１は、本発明の一実施形態に係わるカメラ１００の主として電気的構成を示すブロック図である。撮影レンズ１０１の光軸上に、絞り機構１０３、シャッタ１０５および撮像素子１０７が配置されている。撮像素子１０７の出力はＡ／Ｄ変換部１０９に接続され、Ａ／Ｄ変換部１０９の出力はメモリ１１０に接続されている。メモリ１１０は画像処理部１１１とシステム制御部１１６に接続されている。

システム制御部１１６には、撮像制御部１０８、シャッタ制御部１０６、絞り制御部１０４、レンズ制御部１０２、露出制御部１１２、ＡＦ処理部１１３、フラッシュ制御部１２１、不揮発性メモリ１１８、外部メモリ１１４、表示部１１５、操作部１１７、電源制御部１２０がそれぞれ接続されている。上述の撮像制御部１０８は撮像素子１０７に接続されており、シャッタ制御部１０６はシャッタ１０５に接続されており、絞り制御部１０４は絞り機構１０３に接続されており、レンズ制御部１０２は撮影レンズ１０１に接続されている。また、電源制御部１２０は電源部１１９に接続されており、フラッシュ制御部１２１はフラッシュ充電部１２２とフラッシュ発光部１２３にそれぞれ接続されている。

撮影レンズ１０１は、被写体光束を撮像素子１０７に集光させ、被写体像を結像させるための光学系である。この撮影レンズ１０１は、システム制御部１１６からの指示に応じて動作するレンズ制御部１０２により光軸方向に移動され、焦点状態が変化する。絞り機構１０３は、撮影レンズ１０１を介して撮像素子１０７に入射する被写体光束の入射量を調節する。絞り機構１０３は、システム制御部１１６からの指示に応じて動作する絞り制御部１０４により開口量が制御される。絞り制御部１０４およびシステム制御部１１６は、後述する目ＡＦ部により目にピント合わせが行われた場合に、露出時の絞り値を開放Ｆ値近傍の所定値に設定する絞り値設定部として機能する。

シャッタ１０５は、撮影レンズ１０１によって形成される被写体像の光束に対して開閉を行うものであり、公知のレンズシャッタやフォーカルプレーンシャッタ等によって構成される。シャッタ１０５は、システム制御部１１６からの指示に応じて動作するシャッタ制御部１０６によりシャッタ開口時間（シャッタ速度値）が制御される。

撮像素子１０７は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の二次元固体撮像センサであり、前面に配置されたベイヤ―配列のＲＧＢカラーフィルタと、このＲＧＢカラーフィルタに対応して配列されたフォトダイオード等の光電変換素子から構成される。各カラーフィルタとこれに対応する各光電変換素子から構成される画素群によって撮像領域が構成される。撮像素子１０７は、撮影レンズ１０１により集光された光を各画素で受光し光電流に変換し、この光電流を各コンデンサに蓄積し、アナログ電圧信号（画像信号）としてＡ／Ｄ変換部１０９に出力する。撮像制御部１０８は、システム制御部１１６からの指示に応じて撮像素子１０７の動作制御を行う。

Ａ／Ｄ変換部１０９は、撮像素子１０７から出力されるアナログ電圧信号（画像信号）をデジタル画像信号（画像データ）に変換する。メモリ１１０は、Ａ／Ｄ変換部１０９において得られた画像データや、画像処理部１１１において処理された画像データ等、各種データを一時的に記憶する記憶部である。なお、本明細書においては、撮像素子１０７から出力される画像信号に基づく信号であれば、Ａ／Ｄ変換部１０９によってＡ／Ｄ変換された信号のみならず画像処理された信号も含めて画像データと称する場合がある。

画像処理部１１１は、メモリ１１０に一時記憶された画像データを読み出し、この画像データに対して、ホワイトバランス補正処理、同時化処理、色変換処理等の画像処理を行う。さらに、画像処理部１１１は、後述する外部メモリ１１４に記録する際に画像圧縮を行い、また外部メモリ１１４から読み出した圧縮された画像データの伸張を行う。

また、画像処理部１１１は、顔検出部として機能し、画像データに基づいて被写体の中から顔を検出する。顔を検出した場合には、顔の位置、大きさについても検出する。また、画像処理部１１１は、顔器官検出部としての機能も果たし、目、鼻、口元、口角、瞳等の顔の中の器官の検出を行う。ここで目や瞳等の器官を検出した場合には、左右の目をそれぞれ検出すると共に、その位置、大きさ等も検出し、これらの器官の位置等に基づいて顔の向きも検出する。

また、画像処理部１１１は、元画像にぼかし処理を行い、ぼかし画像を生成する。また、画像処理部１１１は、後述するαチャンネルマスクパターン（図１１、図１２参照）を作成し、このαチャンネルマスクパターンとぼかし画像の合成処理を行う。また、画像処理部１１１は、後述する目ＡＦ部によってピントを合わせた目の周辺や、ピントを合わせなかった目をぼかす画像処理を行う。ぼかす処理としては、この他にも、ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う。

さらに、画像処理部１１１は、目ＡＦ部がピント合わせを行った目からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行う。また、画像処理部１１１は、目ＡＦ部がピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行う。また、画像処理部１１１は、キャッチライト効果が設定された場合には、人物の目の中に十字形、星型、三日月型等のキャッチライトパターンを重畳する画像処理を行う。

露出制御部１１２はメモリ１１０に一時記憶された画像データを用いて被写体輝度（被写体を含むシーンの明るさ）を算出する。なお、専用の測光センサを用いて被写体輝度を算出するようにしても勿論かまわない。

ＡＦ（Auto Focus）処理部１１３は、メモリ１１０に一時記憶された画像データより高周波成分を抽出し、積算処理によりコントラスト値を取得する。システム制御部１１６は、コントラスト値に基づいてレンズ制御部１０２を通じて、撮影レンズ１０１が合焦位置となるように駆動制御を行う。コントラスト値を求めるにあたっては、画面全体について求めることもできるが、設定されたＡＦ枠に対応する画像データに基づいてコントラスト値を求めることもできる。また、ＡＦ処理部１１３およびシステム制御部１１６は、顔器官検出部によって検出された目にＡＦ領域を設定して目にピントを合わせる目ＡＦ部として機能する。また、目ＡＦ部は、顔器官検出部によって検出された左右の目のうち近い方、すなわち大きい方を選択して、選択した目にピントを合わせる。

操作部１１７は、図２に示すような電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃ、動画釦１１７ｄ、ファンクション釦１１７ｅ、十字釦１１７ｆ、ＯＫ釦１１７ｇ、メニュー釦１１７ｈ、各種入力キー等の操作部材を含む。ユーザが操作部１１７のいずれかの操作部材を操作すると、システム制御部１１６は、ユーザの操作に応じた各種シーケンスを実行する。

操作部１１７の内の電源釦１１７ａはカメラ１００の電源のオンオフを指示するための操作部材であり、電源釦１１７ａが押されるとシステム制御部１１６は電源オンとし、再度押されると電源オフとする。

レリーズ釦１１７ｂは、１ｓｔレリーズスイッチと２ｎｄレリーズスイッチの２段スイッチを有している。レリーズ釦１１７ｂが半押しされると１ｓｔレリーズスイッチがオンとなり、半押しから更に押し込まれ全押しされると２ｎｄレリーズスイッチがオンとなる。１ｓｔレリーズスイッチがオンとなると、システム制御部１１６は、ＡＥ処理やＡＦ処理等撮影準備シーケンスを実行する。また２ｎｄレリーズスイッチがオンとなると、システム制御部１１６は、静止画の撮影シーケンスを実行し、撮影を行う。

システム制御部１１６は、ＣＰＵ（Central Processing Unit：中央処理装置）等を含むＡＳＩＣ（Application Specific Integrated Circuit：特定用途向け集積回路）で構成され、撮像制御部１０８やフラッシュ制御部１２１等のカメラ１００の各種シーケンスを統括的に制御する。

外部メモリ１１４は、例えば、カメラ本体に着脱自在に記録媒体であり、画像処理部１１１において圧縮された画像データおよびその付随データが記録される。また、記録された画像データは読み出され、表示部１１５に再生表示される。なお、画像データ等を記録するための記録媒体として、カメラ本体に着脱可能な外部メモリに限らず、カメラ本体に内蔵のハードディスク等の記録媒体であってもかまわない。

表示部１１５は、カメラ本体の背面等に配置された液晶モニタ１１５ａ（図２参照）等を含み、画像データに基づいてライブビュー表示を行う。また、表示部１１５は、外部メモリ１１４に記録された撮影画像の再生表示を行い、さらに露出制御値等の表示や撮影モード等設定のためのメニュー画面の表示を行う。表示部１１５としては、画像等を表示できるものであれば、液晶モニタに限らず、有機ＥＬ等のディスプレイでもよい。

表示部１１５のメニュー画面で、目作画モードにおけるぼかし効果やキャッチライト効果等の効果付与を行うための設定を行う。キャッチライトパターンとして、十字形、星型、三日月型等の形状があり、キャッチライト効果の設定の際に、併せてパターン形状も設定する。目作画モードにおける効果設定の詳細は、図２０を用いて後述する。また、表示モニタ１１５ａの前面にはタッチパネルが設けられており、ユーザの指等によりタッチされた場合には、タッチ位置の情報がシステム制御部１１６に出力される。

不揮発性メモリ１１８は、電気的に書き換え可能な不揮発性メモリであり、カメラ１００の動作に必要な各種パラメータを記憶している。また、不揮発性メモリ１１８は、システム制御部１１６において実行するプログラムも記憶している。システム制御部１１６は、不揮発性メモリ１１８に記憶されているプログラムに従い、また不揮発性メモリ１１８に記憶されているパラメータを読み込み、各種シーケンスを実行する。

電源部１１９は、カメラ１００の各部の動作に必要な電力を供給し、例えば、２次電池等の電源電池で構成される。電源制御部１２０は、電源部１１９を構成する電池の電源電圧や残量の検出等、電源部１１９の制御を行う。

フラッシュ制御部１２１は、システム制御部１１６からの指示に応じてフラッシュ充電部１２２における充電動作、およびフラッシュ発光部１２３における発光動作を制御する。フラッシュ充電部１２２は、電源部１１９の電源電圧を昇圧する昇圧回路や、ここで昇圧された電圧でエネルギを蓄積するコンデンサを有し、フラッシュ発光部１２３の発光を行うに必要なエネルギを蓄積する。フラッシュ発光部１２３は、例えば、キセノン（Ｘｅ）管等の発光管や反射傘を備えており、フラッシュ制御部１２１から発光指示を受信した際に、フラッシュ充電部１２２のコンデンサに蓄積されたエネルギを利用して発光する。

次に、本実施形態に係わるカメラ１００の外観について、図２を用いて説明する。図２は、背面側からみたカメラ１００の外観図であり、カメラ本体１０に交換レンズ２０が装着されている。カメラ本体１０の上面には、電源釦１１７ａ、レリーズ釦１１７ｂ、撮影モードダイヤル１１７ｃが配置されている。

また、カメラ本体１０の背面には、液晶モニタ１１５ａが配置されており、これによって被写体像のライブビュー表示やメニュー画面表示、記録画像の再生表示等の各種表示を行う。カメラ本体１０の背面の右上側には、動画釦１１７ｄ、ファンクション釦１１７ｅが配置されており、また、これらの釦の下側には、十字釦１１７ｆ、ＯＫ釦１１７ｇ、メニュー釦１１７ｈが配置されている。十字釦１１７ｆは、液晶モニタ１１５ａに表示されるメニュー画面等において、カーソルを画面上で移動させ、ＯＫ釦１１７ｇを押下げるとカーソルによって選択された項目を確定させることができる。メニュー釦１１７ｈを操作するとメニュー画面が表示される。

次に、本実施形態におけるカメラ１００の動作について、図３に示すフローチャートを用いて説明する。このフローおよび後述する各フローは不揮発性メモリ１１８に記憶されているプログラムに従ってシステム制御部１１６によって実行される。図３に示すフローはメインルーチン動作である。このメインルーチンは、操作部１１７の電源釦１１７ａがオンとなると実行を開始する。

メインルーチンの動作が開始すると、まず、ライブビュー表示を行う（Ｓ１）。ライブビュー表示では、撮像素子１０７から出力される画像信号が、画像処理部１１１によってライブビュー表示用に画像処理され、この処理された画像データが表示部１１５の液晶モニタ１１５ａに表示される。撮影者はこのライブビュー表示を見て、静止画や動画の構図を決定し、シャッタタイミングを決める。

ライブビュー表示を行うと、次に、顔検出を行う（Ｓ３）。このステップでは、画像処理部１１１は画像データを用いて、マッチング法や顔の色等、種々の方法により被写体像の中に顔が含まれているか検出する。

ステップＳ３における判定の結果、顔検出を行うことができた場合には、次に、顔枠表示を行う（Ｓ５）。この顔枠の表示は、例えば、図４（ａ）（ｂ）に示すように、液晶モニタ１１５ａに表示する被写体像に、顔枠３０ａ、３１ａ〜３１ｄのように、被写体の顔の部分を示す白枠を重畳して行う。なお、顔枠としては、顔の部分を表示するものであれば、白枠に限らず他の表示方法でもよい。

ステップＳ５において顔枠の表示を行うと、またはステップＳ３における判定の結果、顔を検出しなかった場合には、次に、タッチ検出がなされたか否かを判定する（Ｓ７）。目ＡＦを行い、一方の目にピントを合わせ、ピントを合わせなかった目等についてぼかす目作画効果の画像処理を行うことを、ユーザが意図する場合には、液晶モニタ１１５ａの画面に表示されている目作画アイコン１１５ｂ（図９参照）をタッチし、目作画効果モードを設定する。そこで、このステップでは、液晶モニタ１１５ａの画面がタッチされたか否かを判定する。

ステップＳ７における判定の結果、タッチを検出した場合には、次に、タッチ検出処理を行う（Ｓ９）。ここでは、タッチされたのが目作画アイコン１１５ｂであるか否か、また目作画アイコン１１５ｂがタッチされたのであれば、ぼかしのレベルやぼかしの位置等、目作画効果のための設定等を行う。このタッチ検出処理の詳しい動作については、図８を用いて後述する。

ステップＳ９においてタッチ検出処理を行うと、またはステップＳ７における判定の結果、タッチがなされていない場合には、次に、１ｓｔレリーズ操作がなされたか否かを判定する（Ｓ２１）。ここでは、操作部１１７のレリーズ釦１１７ｂが半押しされ、１ｓｔレリーズスイッチがオンしたか否かを判定する。この判定の結果、１ｓｔレリーズ操作がなされていなかった場合には、ステップＳ１に戻り、ライブビュー表示等を実行する。

ステップＳ２１における判定の結果、１ｓｔレリーズ操作がなされた場合には、最大顔ＡＦ枠の選択を行う（Ｓ２３）。ここでは、ステップＳ３における顔検出において検出された顔の中から、最大のサイズを有する顔を選択し、この顔に顔ＡＦ枠を被写体像に重畳する。たとえば、図５（ａ）に示すように、複数の顔枠３１ａ〜３１ｄが検出された場合には、検出された最も大きな顔を検出し、この顔を顔ＡＦ枠として選択する。選択された顔ＡＦ枠として選択された顔枠３１ａであることが区別できるように、枠の色を変える等により識別可能とするよい。

ステップＳ１３において最大顔ＡＦ枠を選択すると、次に、顔の大きさが所定値より大きいか否かを判定する（Ｓ２５）。ここでは、ステップＳ２３において選択した最大の顔について、所定値より大きいか否を判定する。顔が小さい場合には、顔器官のうちの目の部分を検出することが困難であることから、このステップにおける判定用の所定値は、目が検出できる程度の顔であるか否かが判定できる数値であればよい。また、判定に用いる所定値としては、顔の奥行き程度の距離（約１０ｃｍ）でピントの変化すなわちボケ具合が大きくなるような値を固定値として使用してもよい。また、ピントのボケ具合は、レンズの焦点距離、カメラから顔までの距離、絞り値等によって変化することから、固定値とせずに、これらの値に基づいて計算して所定値を決めるようにしてもよい。

ステップＳ２５における判定の結果、顔の大きさが所定値よりも大きい場合には、次に、顔器官検出を行う（Ｓ２７）。このステップでは、撮像素子１０７からの画像データに基づいて、画像処理部１１１が被写体の中に人物の顔の顔器官、すなわち、目、鼻、口、口角等を検出する。また、目を検出した際には、左右の目をそれぞれ検出する。

ステップＳ２７において顔器官検出を行うと、次に、目ＡＦ枠を選択する（Ｓ２９）。目ＡＦ枠の選択にあたっては、左右の目の内の大きい方を選択する。目の大きさとしては、例えば、図５（ｂ）に示すように、目じりと目頭の距離としてもよい。また、黒目（瞳）の径に基づいて判定してもよい。目の部分にピントが合うように目ＡＦ枠の設定を行う。

また、先に顔の向きを検出し、顔の向きに応じて左右の目ＡＦ枠のいずれかを選択し、顔が所定量以上の角度で向いていた場合には、目じり目頭間距離を用いて目ＡＦ枠を選択するようにしてもよい。画像処理部１１１が、顔器官検出により、図７に示すように、目、口元、鼻、顎、額、眉毛、眉間などのノードポイントを検出し、これらのポイントを繋いで、図６に示すようにワイヤーフレームを形成し、このワイヤーフレームに基づいて顔の向いている方向の角度を算出する。ノードポイントとしては、図７に示すように、左眉のノードポイント４１、右眉のノードポイント４２、左目のノードポイント４３、右目のノードポイント４４、鼻のノードポイント４５、左口元のノードポイント４６、右口元のノードポイント４７等がある。

顔の向きが右向きか左向きかの判断にあって、図６（ａ）に示す例では、額、眉間、鼻、顎を通る中心ラインが、顔の輪郭のラインに対して左側に偏っていることから、左向きと判定され、また中心ラインの偏り方に基づいて角度を算出することができる。また、図６（ｂ）に示す例では、額、眉間、鼻、顎を通る中心ラインが、顔の輪郭のラインに対してほぼ中央にあることから、正面向きと判定される。

また、顔の向きだけで近い方の目を判断するようにしてもよい。例えば、顔の向きが向かって右であった場合には、向かって左目ＡＦ枠を選択する。被写体の人物が向かって右側を向いていることから、左側の目がカメラ側を向いており、このため左目ＡＦ枠を選択する。一方、向かって右側であった場合には、向かって右目ＡＦ枠を選択する。被写体の人物が向かって左側を向いていることから、右側の目がカメラを向いており、このため右目ＡＦ枠を選択する。

なお、実用上、目ＡＦ枠が小さくなり過ぎることがないように、バストアップ撮影程度の顔の大きさ以上になったどうか検出できるように、ステップＳ２５における所定値を設定するとよい。また、目ＡＦ枠を表示する際には、目ＡＦ枠と顔ＡＦ枠の区別が一瞥でわかるように、これらのアスペクト比は異ならせるとよい。通常、顔枠は正方形で示すので、目ＡＦ枠は横長の長方形とするのがよい。

ステップＳ２９において、目ＡＦ枠を選択すると、次に、絞り値を目ＡＦ枠用の所定値に設定する（Ｓ３１）。目ＡＦ枠が設定され、目にピントを合わせる時は、絞り機構１０３を開放絞り値に設定する。なお、開放絞り値でなくても、開放絞り値近傍の絞り値でもよい。

ステップＳ３１において絞り値を目ＡＦ枠用の所定値に設定すると、またはステップＳ２５における判定の結果、顔の大きさが所定値より小さかった場合には、次に、コントラストＡＦを行う（Ｓ３３）。ここでは、ステップＳ２９において選択された目ＡＦ枠の画像データ、または目ＡＦ枠が選択されなかった場合にはステップ２３において選択された最大顔ＡＦ枠内の画像データを用いて、ＡＦ処理部１１３が画像データの高周波成分を積算したコントラスト値を取得する。システム制御部１１６は、コントラスト値がピーク値となるようにレンズ制御部１０２を通じて、撮影レンズ１０１を移動させ、焦点調節制御を行う。

コントラストＡＦを行うと、次に、測光を行う（Ｓ３５）。ここでは、目ＡＦ枠または最大顔ＡＦ枠が選択された部分の画像データを用いて、被写体輝度を求める。なお、顔全体が適正露出としたい場合には、目ＡＦ枠が選択された場合であっても、測光値としては目ＡＦ枠が選択された顔の顔枠の部分の画像データを用いて被写体輝度を求めてもよい。

測光を行うと、次に、露出演算を行う（Ｓ３７）。ステップＳ３５において求めた被写体輝度を用いて、システム制御部１１６がアペックス演算またはテーブル参照等により、適正露光となるシャッタ速度、絞り値、ＩＳＯ感度等の露出制御値を算出する。なお、メニュー画面において、目作画効果モードが選択されている場合には、ステップＳ３１において設定された絞り値に基づいて、適正露出となるシャッタ速度、ＩＳＯ感度の演算を行う。

露出演算を行うと、次に、１ｓｔレリーズ操作が続行しているか否かの判定を行う（Ｓ３９）。ステップＳ２１においてレリーズ釦１１７ｂが半押しされると、ステップＳ１３以下に進むが、ステップＳ３９の判定時にも、レリーズ釦１１７ｂの半押しが続行されているか否かを判定する。この判定の結果、１ｓｔレリーズ操作が続行していなかった場合には、レリーズ釦１１７ｂから手が離れたことから、ステップＳ１に戻る。

一方、ステップＳ３９における判定の結果、１ｓｔレリーズ操作が続行していた場合には、次に、２ｎｄレリーズ操作がなされたか否かを判定する（Ｓ４１）。ここでは、操作部１１７のレリーズ釦１１７ｂが全押しされ、２ｎｄレリーズスイッチがオンしたか否かを判定する。この判定の結果、２ｎｄレリーズ操作がなされていなかった場合には、ステップＳ１に戻る。

ステップＳ４１における判定の結果、２ｎｄレリーズ操作がなされた場合には、次に、静止画撮影を行う（Ｓ４３）。ここでは、撮像素子１０７からの静止画の画像データを取得する。なお、ＡＦ処理部１１３およびシステム制御部１１６よりなる目ＡＦ部により目にピント合わせが行われた場合には、絞り制御部１０４およびシステム制御部１１６によりなる絞り値設定部によって露出時の絞り値は、開放Ｆ値近傍に設定されている。

静止画撮影を行うと、次に、目作画効果を連動するか否かの判定を行う（Ｓ５１）。メニュー画面において目作画効果モードが設定されていた場合には、静止画撮影後に目作画効果のための画像処理を行うので、このステップでは、目作画効果モードが設定されているか否かを判定する。

ステップＳ５１における判定の結果、目作画効果を連動する場合には、次に、目ＡＦしたか否かを判定する（Ｓ５３）。ここでは、ステップＳ３３においてコントラスＡＦを行った際に、目ＡＦ枠の被写体に対してピント合わせを行ったか否かの判定を行う。

ステップＳ５３における判定の結果、目ＡＦを行った場合には、次に目作画効果処理を行う（Ｓ５５）。ここでは、ピント合わせを行った目の周辺、ピント合わせを行わなかった目等の画像をぼかす目作画効果の画像処理を行う。この目作画効果処理の詳しい動作については、図１４を用いて後述する。

ステップＳ５５において目作画効果処理を行うと、またはステップＳ５３における判定の結果、目ＡＦしなかった場合、またはステップＳ５１における判定の結果、目作画効果を連動しない場合には、次に、記録処理を行う（Ｓ５７）。ここでは、ステップＳ４３において取得した画像データを、または目作画効果処理を行った場合には、ぼかし画像処理済みの画像データを、外部メモリ１１４に記録する。記録処理を行うと、ステップＳ１に戻る。

このように本実施形態においては、撮像したデジタル画像から顔器官検出の際に目を検出し（Ｓ２７）、このとき検出された目にピントを合わせ（Ｓ２９、Ｓ３３）、デジタル画像について、ピントを行った目の周辺をぼかす画像処理を行うようにしている（Ｓ５５）。また、本実施形態においては、顔器官検出を行う際に左右の目をそれぞれ検出し（Ｓ２７）、左右の目のうちの近い方、すなわち大きい方を選択して（Ｓ２９）、選択した目にピントを合わせる動作を行い（Ｓ３３）、選択しなかった目をぼかす画像処理を行っている（Ｓ５５）。

次に、１ｓｔレリーズ操作がなされる前のライブビュー表示中のステップＳ９おけるタッチ検出処理について、図８に示すフローチャートを用いて説明する。タッチ検出処理のフローは、前述したように、液晶モニタ１１５ａのモニタ面をタッチすることにより、スタートする。

タッチ検出処理のフローに入ると、まず、目作画アイコン１１５ｂをタッチしたか否かを判定する（Ｓ６１）。前述したように、ユーザが目作画効果モードを設定するには、液晶モニタ１１５ａに表示された目作画アイコン１１５ｂ（図９（ａ）参照）をタッチするので、このステップでは、表示部１１５からのタッチ位置の検知信号に基づいて判定する。この判定の結果、目作画アイコン１１５ｂがタッチされていなかった場合には、その他のタッチ処理を行う（Ｓ９１）。ライブビュー表示中に目作画アイコン１１５ｂ以外の画面をタッチした場合には、タッチ位置に応じた処理を行い、処理が終わると、元のフローに戻る。

ステップＳ６１における判定の結果、目作画アイコン１１５ｂがタッチされた場合には、次に、ぼかしレベル設定画面を表示する（Ｓ６３）。ここでは、図９（ｂ）に示すぼかしレベルガイド１１５ｃ、ぼかしレベルバー１１５ｄ、マスク強度レベルガイド１１５ｅ、マスク強度レベルバー１１５ｆ、およびリターンアイコン１１５ｇを表示する。ぼかしレベルガイド１１５ｃとぼかしレベルバー１１５ｄは、ぼかしレベルを設定するためのアイコンであり、ぼかしレベルバー１１５ｄをぼかしレベルガイド１１５ｃに沿って、タッチ操作で移動させることにより、ぼかし強度を設定する。

マスク強度レベルガイド１１５ｅとマスク強度バー１１５ｆは、αチャンネルマスクのパターンを設定するためのアイコンであり、マスク強度ガイド１１５ｅに沿って、マスク強度バー１１５ｆをタッチ操作で移動させることにより、ぼかしの変化の急峻さやそのぼかすエリアの広さを設定する。リターンアイコン１１５ｇは、このアイコンをタッチすることによりタッチ検出処理のフローから元のフローに戻る。

ぼかし設定レベル画面を表示すると、次に、設定画面にタッチ／ドラッグがなされたか否かを判定する（Ｓ６５）。ぼかし処理を行わない領域として、ＡＦ設定ポイントを設定、またはユーザが液晶モニタ１１５ａの画面上でタッチ／ドラッグした領域を設定することができる（図１２参照）。このステップでは、ユーザがぼかし処理を行わない領域を設定したか否かを、表示部１１５からのタッチ位置の検知信号に基づいて判定する。

ステップＳ６５における判定の結果、設定画面にタッチ／ドラッグがなかった場合には、ＡＦ設定ポイントをぼかし無し中心に設定する（Ｓ６７）。ステップＳ５において顔ＡＦ枠の位置（ＡＦ設定ポイント）は、ぼかし処理を行わないように設定する。一方、ステップＳ６５における判定の結果、設定画面にタッチ／ドラッグを行った場合には、タッチポイントまたはドラッグラインをぼかし無しの中心に設定する（Ｓ６９）。

ステップＳ６７またはＳ６９においてぼかし無し中心の設定を行うと、次に、ぼかしレベルバー操作がなされたか否かの判定を行う（Ｓ７１）。前述したぼかしレベルバー１１５ｄをタッチ操作により移動させたか否かを、表示部１１５からのタッチ位置の検知信号に基づいて判定する。

ステップＳ７１における判定の結果、ぼかしレベルバー操作がなされた場合には、ぼかし強度を変更する（Ｓ７３）。ぼかし強度の変更は、例えば、図１０（ａ）に示すピントの合った画像において、ぼかしレベルバー１１５ｄをスライドすることにより、図１０（ｂ）に示すようにぼけ具合を変化させることができる。

ぼかし強度の変更を行うと、またはステップＳ７１における判定の結果、ぼかしレベルバー操作がなされていなかった場合には、次に、マスク強度レベルバー操作がなされたか否かの判定を行う（Ｓ７５）。前述したマスク強度レベルバー１１５ｆをタッチ操作により移動させたか否かを、表示部１１５からのタッチ位置の検知信号に基づいて判定する。

ステップＳ７５における判定の結果、マスク強度バー操作がなされた場合には、αチャンネルマスクパターンを変更する（Ｓ７７）。αチャンネルマスクパターンは、図１１および図１２に示すような透過率が変化するマスクであり、ぼかし画像と元画像を合成する際に使用する。αチャンネルマスクパターンの濃度は、画像の透過度を表わす。黒いところほど透過せず、白いところほど透過する。

αチャンネルマスクパターンの透過率は、図１１（ｂ）に示すように、ステップＳ６７またはＳ６９において設定されたぼかし無し中心が最も高い。この状態から、マスク強度バー１１５ｆを下げると、周辺部の透過率が高くなり、図１１（ａ）に示すようになる。このように、αチャンネルマスクパターンは、マスク強度バー操作に応じて変化する。このαチャンネルマスクパターンは、マスク強度バー操作に応じて作成した元パターンと、この元パターン反転した反転パターンの２つを作成する。元パターンは元画像用であり、反転パターンはぼかし画像用である。

なお、図１１は、ポイントがぼかし中心として設定された場合であるが、この場合のポイントは、画面中央と限らない。例えば、図１２（ａ）に示すように、ＡＦポイントや指でタッチされたポイントが中央にない場合には、画面周辺に設定される場合もある。また、ステップＳ６９においてユーザが液晶モニタ１１５ａの画面を指でドラッグによりラインを引いたような場合には、図１２（ｂ）に示すように、αチャンネルマスクパターンの透明部分はライン状となる。

ステップＳ７７において、αチャンネルマスクパターンを変更すると、次に、ライブビュー（ＬＶ）フレーム画像を取得し（Ｓ７９）、元画像を作成する（Ｓ８１）。ここでは、撮像素子１０７から出力される画像信号を、画像処理部１１１によってライブビュー表示用に画像処理し、この画像を元画像として扱う。

元画像を作成すると、次に、ぼかし画像を作成する（Ｓ８３）。ここでは、ステップＳ７３において変更したぼかし強度に応じて、画像処理部１１１がぼかし画像を生成する（図１０（ｂ）参照）。

ぼかし画像を作成すると、次に元画像とぼかし画像を合成する（Ｓ８５）。ここでは、図１３に示すように、ステップＳ８１において作成した元画像２０１を、ステップＳ７７において作成したαチャンネルマスクパターン２０２を透過させた画像を生成させる。この透過させた画像は、元画像でありピントの合った部分である。また、ステップＳ８３において作成したぼかし画像２０５を、ステップＳ７７において作成したαチャンネルマスクパターンの反転パターンのマスク２０６を透過させた画像を生成させる。この透過させた画像は、ぼかした画像である。

マスク２０２とマスク２０６を透過した画像を合成することにより、作画効果付与画像２０９を得ることができる。この作画効果付与画像２０９は、ステップＳ６７またはＳ６９において設定されたぼかし無し中心の周辺は、ピントの合った元画像であり、ぼかし中心から離れた周辺部分は、ぼかし画像となる。

ステップＳ８５において画像の合成を行うと、次に、ライブビュー表示を行う（Ｓ８７）。ここでは、ステップＳ７９において取得し、ステップＳ８５において合成した画像を表示部１１５にライブビュー表示する。

ライブビュー表示を行うと、次に、リターンアイコンにタッチしたか否かを判定する（Ｓ８９）。ステップＳ６３において表示部１１５にリターンアイコン１１５ｇ（図９（ｂ）参照）を表示している。このリターンアイコン１１５ｇをユーザがタッチしたか否かを、表示部１１５からのタッチ位置の検知信号に基づいて判定する。

ステップＳ８９における判定の結果、タッチしていなかった場合には、ステップＳ６５に戻る。一方、タッチしていた場合には、元のフローに戻る。

このように、タッチ検出処理では、ぼかしレベル設定用の画面を表示し、ぼかし無し中心の設定やぼかしレベルやマスク強度レベルの設定を行うようにしている。このため、ライブビュー表示画像をみながら、ユーザが意図する画面位置のぼかしの作画効果が得られるように調節することができる。ただし、本実施形態においては、まだ顔器官検出は行っていないので、顔がない時のＡＦポイント（不図示）かタッチしたポイントをぼかし無し中心として、ぼかし処理を行う。また、ぼかしレベルやマスク強度レベルの設定値は、ステップＳ５５における目作画効果処理にも反映される。

次に、静止画撮影後に行われるステップＳ５５における目作画効果処理の詳しい動作について、図１４に示すフローチャートを用いて説明する。目作画効果処理に入ると、まず、キャッチライト効果付与を行うか否かの判定を行う（Ｓ１０１）。キャッチライトは、人物の目の中に十字形、星型、三日月等のマークを重畳させる効果画像である。前述したように、キャッチライト効果の付与は、メニュー画面で設定するので（図２０参照）、このステップでは、メニュー画面での設定に基づいて判定する。

ステップＳ１０１における判定の結果、キャッチライト効果を付与する場合には、次に、キャッチライト効果処理を行う（Ｓ１０３）。ここでは、キャッチライトパターンを生成し、ステップＳ４３（図３参照）において取得した静止画中の人物の目にキャッチライトパターンを重畳する合成処理を行う。このキャッチライト効果処理の詳しい動作については、図１５を用いて後述する。

キャッチライト効果処理を行うと、またはステップＳ１０１における判定の結果、キャッチライト効果の付与を行わない場合には、次に、ボケ効果付与を行うか否かの判定を行う（Ｓ１０５）。メニュー画面においてぼかし効果が選択されていたか否かに基づいて判定する。ぼかし効果が設定されていた場合には、ボケ効果を付与する。

ステップＳ１０５における判定の結果、ボケ効果が付与する場合には、ボケ効果処理を行う（Ｓ１０７）。ここでは、ステップＳ４３において取得した静止画の画像データに対して、ボケ効果を付与する処理を行う。なお、ステップＳ１０３において、キャッチライト効果処理がなされた場合には、この画像データに対してボケ効果を付与する。

ボケ効果処理を行うと、またはステップＳ１０５における判定の結果、ボケ効果を付与しない場合には、目作画効果処理を終了し、元のフローに戻る。

次に、ステップＳ１０３のキャッチライト効果処理について、図１５に示すフローチャートを用いて説明する。キャッチライト効果処理のフローに入ると、元画像を生成する（Ｓ１１１）。ここでは、ステップＳ４３において取得した静止画の画像データを元画像とする。

元画像を生成すると、次に、キャッチライトパターンを生成する（Ｓ１１３）。ここでは、星型、十字形、三日月型等のキャッチライト用のパターンＰを、目のボケ量や瞳の大きさに応じて生成する。キャッチライトパターンの生成動作の詳細については、図１６を用いて後述する。

キャッチライトパターンを生成すると、次に、元画像と瞳画像を合成する（Ｓ１１５）。ここでは、ステップＳ１１１において生成した元画像に、ステップＳ１１３において生成したキャッチライトパターンを組み込んだ瞳画像を合成する。合成を行うと、元のフローに戻る。

次に、ステップＳ１１３のキャッチライトパターン生成について、図１６に示すフローチャートを用いて説明する。キャッチライトパターン生成のフローに入ると、まず、メニューで設定されたパターンＰを瞳の大きさに拡大または縮小する（Ｓ１２１）。前述したように、キャッチライトのパターンはメニュー画面で設定されており、また目の中の瞳の大きさは、画像処理部１１１によって検出されている。

パターンＰの拡大／縮小を行うと、次に、左目ボケ量ＣＬＥを取得する（Ｓ１２３）。ここでは、ＡＦ処理部１１３が左目の部分のボケ量ＣＬＥを算出し取得する。ボケ量ＣＬＥを算出しているのは、瞳部分は撮影レンズ１０３のピント状態によってボケ量が変化するのに対して、ステップＳ１２１において拡大／縮小したキャッチライトパターンＰはピント合った状態でのボケ量で一定である。瞳部分がボケている場合に、そのままキャッチライトパターンＰを合成すると、違和感が生じてしまう。そこで、このステップで左目のボケ量ＣＬＥを取得し、次のステップで、画像処理部１１１によってパターンのぼかし処理を行うようにしている。

左目のボケ量ＣＬＥを取得すると、次に、パターンＰを左目ボケ量ＣＬＥに応じてぼかし処理を行い、パターンＰＬとしてセットする（Ｓ１２５）。ここでは、前述したように、パターンＰが違和感なく合成できるように、左目ボケ量ＣＬＥに応じて画像処理部１１１がパターンＰをぼかす処理を行う。パターンＰのぼかしを行うと、ぼかしたパターンＰを左目の瞳に重畳する合成を行う。

パターンＰＬをセットすると、次に、右目ボケ量ＣＲＥを取得する（Ｓ１２７）。ステップＳ１２３と同様にして、右目のボケ量ＣＲＥの取得を行う。続いて、パターンＰを右目のボケ量ＣＲＥに応じてぼかし処理を行い、パターンＰＲとしてセットする（Ｓ１２９）。ここでは、ステップＳ１２５と同様に、右目ボケ量ＣＲＥに応じてパターンＰをぼかす処理を行う。パターンＰのぼかしを行うと、ぼかしたパターンＰを右目の瞳に重畳する合成を行う。ＰＲとしてセットすると、元のフローに戻る。

次に、ステップＳ１０７（図１４参照）におけるボケ効果処理について、図１７に示すフローチャートを用いて説明する。ボケ効果処理のフローに入ると、まず、元画像の生成を行う（Ｓ１３１）。ステップＳ１０３（図１４参照）においてキャッチライト効果処理がなされていない場合には、ステップＳ４３（図３参照）において撮影した静止画画像データを、またステップＳ１０３においてキャッチライト効果処理を行った場合には、キャッチライト効果処理済み画像データを元画像とする。

元画像を生成すると、次に、顔の向きの絶対値が所定量より大きいか否かを判定する（Ｓ１３３）。ここでは、画像処理部１１１が図７に示したような目、眉、鼻、口等のノードポイントを接続し、ワイヤーフレームを作成し、このワイヤーフレームに基づいて、顔の向きを算出し、判定を行う。

ステップＳ１３３における判定の結果、顔の向きの絶対値が所定量より小さかった場合には、ぼかし強度３ピクセルでぼかし画像の生成を行う（Ｓ１３５）。顔の向きが所定量よりも小さいことは、被写体の人物が略正面を向いていることを意味している。正面向きの場合には、ぼかしを強くすると違和感があることから、標準となるぼかし強度を３画素分とする。すなわち、３画素の範囲内でぼかし、またステップＳ７３（図８参照）においてぼかし強度が変更されている場合には、標準となるぼかし強度に対して変更を行う。

ぼかし画像を生成すると、次に、正面向き顔パターンのαチャンネルマスクを作成する（Ｓ１３７）。図１８に正面向きの顔パターンのαチャンネルマスクの例を示す。正面を向いている場合には、顔の両目と口元を結んだラインを中心にぼかす。図１８（ａ）は、顔の部分が大写しになっている場合のαチャンネルマスクであり、また図１８（ｂ）は、顔以外にも胴体の部分を写っている場合のαチャンネルマスクである。正面向きの被写体の場合、半身以上の全体が写っている場合には、顔以外の部分のすべてぼかすと違和感があることから、図１８（ｂ）に示すように人物以外の部分をぼかすようにαチャンネルマスクを生成する。

一方、ステップＳ１３３における判定の結果、顔の向きの絶対値が所定量より大きかった場合には、ぼかし強度６ピクセルでぼかし画像の生成を行う（Ｓ１３９）。顔の向きが所定量よりも大きいことは、被写体の人物が斜めを向いていることを意味している。斜め向きの場合には、正面を向いている時より、ぼかしを強くしても違和感がないことから、標準となるぼかし強度を６画素分とする。すなわち、６画素の範囲内でぼかし、またステップＳ７３（図８参照）においてぼかし強度が変更されている場合には、標準となるぼかし強度に対して変更を行う。

ステップＳ１３９においてぼかし画像を生成すると、次に、斜め向き顔パターンのαチャンネルマスクを作成する（Ｓ１４１）。図１９に斜め向きの顔パターンのαチャンネルマスクの例を示す。斜めを向いている場合には、図１９（ａ）に示すように、ピントを合わせた目を中心に周辺が黒くなっていくように作成するのが基本である。ただし、図１９（ｂ）に示すように、ピントを合わせた目と口元（口角）を結ぶラインを中心に周辺を黒くしてもよく、写真として違和感がなくなるので好ましい。

ステップＳ１３７またはＳ１４１においてαチャンネルマスクを作成すると、次に、元画像とぼかし画像を合成する（Ｓ１４３）。ここでは、ステップＳ８５（図８参照）で説明したのと同様にして（図１３参照）、ステップＳ１３１において生成した元画像を、ステップＳ１３７またはＳ１４１において作成したαチャンネルマスクパターン２０２を透過させた画像を生成させる。この透過させた画像は、元画像のうちピントの合った部分である。また、ステップＳ１３５またはＳ１３９において生成したぼかし画像２０１をステップＳ１３７またはＳ１４１において作成したαチャンネルマスクパターンの反転パターンのマスク２０６を透過させた画像を生成させる。この透過させた画像は、ぼかした画像である。

マスク２０２とマスク２０６を透過した画像を合成することにより、作画効果付与画像２０９を得ることができる。図１９（ｂ）に示すように、ピントを合わせた目と口元（口角）を結ぶラインを中心に周辺を黒くしたαチャンネルマスクパターンを利用すると、ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを結ぶラインに沿った領域の周辺をぼかす画像処理を行うことができる。

このように、目作画効果処理とその関連の処理では、目作画モードが設定されている場合には、静止画撮影後に、設定されたぼかし強度レベルやマスク強度レベルに応じて、ピントの合った目、またはユーザが指定した部分については、取得した静止画の画像のままとし、ピント位置または指定位置を起点として周辺部分にぼかし処理を行っている。また、撮像したデジタル画像から左右の目と口角を検出し（図３のＳ２７参照）、左右の目のうちの大きい方を選択して（図３のＳ２９）、選択した目にピントを合わせる動作を行い（図３のＳ３３）、ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う（Ｓ１４１）。

次に、カスタマイズメニュー画面において行う目作画モードにおける効果設定について、図２０を用いて説明する。図２０（ａ）は、液晶モニタ１１５ａにおいてカスタマイズメニュー画面を表示している様子を示している。ユーザは十字釦１１７ｆを操作し、カーソルを「目作画効果設定」を選択し、ＯＫ釦１１７ｇを操作すると、図２０（ｂ）に示す目作画効果設定画面に変わる。

目作画効果設定画面には、「ぼかし効果」、「キャッチライト効果」、「フェイスメイク効果」が表示され、十字釦１１７ｆを操作することにより、カーソルを移動させ、それぞれの効果を指定すること可能である。図２０（ｂ）に示すように、「ぼかし効果」にカーソルを移動させ、この位置で１秒間、経過すると、図２０（ｃ）に示すように「ぼかし効果」の処理内容を示すコメントが表示される。

また、十字釦１１７を操作することにより、図２０（ｄ）に示すように「キャッチライト効果」を指定でき、この位置で１秒間、経過すると、図２０（ｅ）に示すように「キャッチライト効果」の処理内容を示すコメントが表示される。

同様に、十字釦１１７を操作することにより、図２０（ｆ）に示すように「フェイスメイク効果」を指定でき、この位置で１秒間、経過すると、図２０（ｇ）に示すように「フェイスメイク効果」の処理内容を示すコメントが表示される。フェイスメイク効果は、顔の部分の肌が滑らかに、また唇が艶々に見えるように画像処理を行う。なお、本実施形態においては、指定された効果名において、１秒間、経過すると、コメントが表示されたが、１秒に限らず、これより長くても短くてもよい。

このように、メニュー画面における目作画効果設定において、種々のぼかし効果およびキャッチライト効果を選択できる。

次に、本発明の一実施形態におけるメインフローの変形例について、図２１に示すフローチャートを用いて説明する。一実施形態における図３に示したメインフローでは、ステップＳ２１において１ｓｔレリーズがオンになるまでは、顔器官検出を行っていない。これは、一般に、顔器官検出は複雑かつ大量の演算が必要であることから、ライブビュー表示中は行わず、１ｓｔレリーズがオンになった際に行うようにしている。しかし、顔器官検出の処理速度が速い場合には、本変形例のように、ライブビュー表示中にも顔器官検出を行うと共に、目作画効果処理を行い、この処理結果を表示してもよい。

また、一実施形態における図３に示したメインフローでは、ステップＳ４１において２ｎｄレリーズがオンになった後、静止画を１回撮影していたが、本変形例においては、第1の静止画撮影を行った後、絞り機構１０３を３段絞り込み、絞り込み後に第２の静止画撮影を行うようにしている。そして、第１及び第２静止画のボケ量の比較からαチャンネルマスクパターンを生成する。

本変形例における主な相違点は上述の通りであり、この相違点を中心に図２１に示すフローを説明する。なお、図３に示すメインフローと同様の処理を行うステップについては、同一のステップ番号を付す。メインフローに入ると、ライブビュー表示を行い（Ｓ１）、顔検出ができたかの判定を行い（Ｓ３）、顔検出ができた場合には顔枠の表示を行う（Ｓ５）。

続いて、ステップＳ２３〜Ｓ２７と同様に、最大顔ＡＦ枠の選択を行い（Ｓ１１）、最大顔の大きさが所定値より大きいか否かの判定を行い（Ｓ１２）、この判定の結果、大きければ顔器官検出を行う（Ｓ１３）。

顔器官検出を行うと、次に、目作画効果を連動するか否かの判定を行う（Ｓ１４）。ここでは、メニュー画面において目作画モードが設定されていたか否かを判定する。この判定の結果、目作画モードが設定されていた場合には、次に、ライブビュー（ＬＶ）時の絞り値を所定値に設定する（Ｓ１５）。目作画モードが設定されている場合には、被写界深度を浅くしてぼかしが強調されるように、絞り値を開放絞り値に設定する。なお、被写界深度が浅ければよいことから、開放絞り値でなくても、これに近い値であればよい。

絞り値を所定値に設定すると、次に、目作画効果処理を実行する（Ｓ１６）。ここでは、図１４を用いて説明した目作画効果の処理を実行する。この処理により、ライブビュー表示中であっても、目作画効果を施したライブビュー画像を観察することができる。

目作画効果処理を行うと、図３に示したメインフローと同様に、１ｓｔレリーズがオンか否かの判定を行い（Ｓ２１）、判定の結果、オンであった場合には、最大顔ＡＦ枠を選択し（Ｓ２３）、顔の大きさが所定値より大きいか否かの判定を行う（Ｓ２５）。この判定の結果、所定値より大きかった場合には、顔器官検出を行い（Ｓ２７）、目ＡＦ枠を選択する（Ｓ２９）。

続いて、撮影時の絞り値を所定値（開放値）に設定する（Ｓ３２）。露出モードがいわゆるプログラムモードやオートモードである場合には、被写体の明るさに応じて絞り込まれるため、被写界深度が深くなり、ボケを強調しにくい元画像になる。これを防ぐために、撮影時の絞り値を開放絞り値に強制的に設定し、被写界深度を浅くしてぼかしを強調した元画像を取得するようにする。このような構成にすることで、明るさによって絞りが変動することがなくなり、開放絞りに固定されるため、後のぼかし処理も一律化・単純化できる。なお、被写界深度が浅ければよいことから、ライブビュー表示時と同様、開放絞り値でなくても、これに近い値であればよい。

撮影時の絞り値を設定すると、次に、コントラストＡＦを行い（Ｓ３３）、測光を行い（Ｓ３５）、露出演算を行う（Ｓ３７）。この後、１ｓｔレリーズがオンか否かの判定を行い（Ｓ３９）、オンの場合には２ｎｄレリーズがオンか否かの判定を行う（Ｓ４１）。

ステップＳ４１における判定の結果、オンであった場合には、次に、第1の静止画撮影を行う（Ｓ４５）。ここでは、撮像素子１０７からの第１回目の静止画の画像データを取得する。続いて、絞り機構１０３の３段絞り込みを行い（Ｓ４７）、第２の静止画撮影を行う（Ｓ４９）。ここでは、撮像素子１０７からの第２回目の静止画の画像データを取得する。第２の静止画撮影を行うと、第１及び第２の静止画撮影の画像データからαチャンネルマスクパターンを生成する。なお、絞り機構１０３の絞り込み量は３段に限られない。ボケ量が相違する程度の絞り込み量であればよい。

本発明の一実施形態においては、ステップＳ１３７、Ｓ１４１（図１７参照）において、αチャンネルマスクパターンを生成していたが、本変形例においては、２つの画像に基づいて生成する。すなわち、ピントのボケ量が多い領域は、ぼかし画像を主に使用するように、またピント合っている領域は主に元画像を使用するように、αチャンネルマスクパターンを生成する。

ステップＳ４９において第２の静止画撮影を行うと、次に、目作画効果を連動するか否かを判定し（Ｓ５１）、連動する場合には目ＡＦができたか否かを判定し（Ｓ５３）、目ＡＦできた場合には目作画効果処理を行う（Ｓ５５）。目作画効果処理において、αチャンネルマスクパターンは第１及び第２の静止画から生成したものを使用する。目作画効果処理を行うと、次に、記録処理を行い（Ｓ５７）、記録処理が終わると、ステップＳ１に戻る。

このように本発明の一実施形態の変形例に係わるメインフローにおいては、ライブビュー表示中にも、目作画効果処理を行い、処理結果を表示するようにしている。このため、ライブビュー表示中にも目作画効果を確認することができる。

また、本変形例においては、絞り値を変えて第１及び第２の静止画撮影を行い、２つの静止画のボケ量の相違からαチャンネルマスクパターンを生成するようにしている。このため、自動的に最適なαチャンネルマスクパターンを生成することができる。

以上説明したように、本発明の一実施形態や変形例においては、デジタル画像から検出した目にＡＦ領域を設定して目にピントを合わせ、ピント合わせを行った目の周辺をぼかす画像処理を行うようにしている。このため、開放Ｆ値の暗いレンズであっても、煩雑な設定をすることなく、目に関する作画効果のある画像を簡単に撮影することができる。

なお、本発明の一実施形態や変形例においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０・・・カメラ本体、２０・・・交換レンズ、３０ａ・・・顔枠、３１ａ〜３１ｄ・・・顔枠、４１・・・左眉のノードポイント、４２・・・右眉のノードポイント、４３・・・左目のノードポイント、４４・・・右目のノードポイント、４５・・・鼻のノードポイント、４６・・・左口元のノードポイント、４７・・・右口元のノードポイント、１００・・・デジタルカメラ、１０１・・・撮影レンズ、１０２・・・レンズ制御部、１０３・・・絞り機構、１０４・・・絞り制御部、１０５・・・シャッタ、１０６・・・シャッタ制御部、１０７・・・撮像素子、１０８・・・撮像制御部、１０９・・・Ａ／Ｄ変換部、１１０・・・メモリ、１１１・・・画像処理部、１１２・・・露出制御部、１１３・・・ＡＦ処理部、１１４・・・外部メモリ、１１５・・・表示部、１１５ａ・・・液晶モニタ、１１５ｂ・・・目作画アイコン、１１５ｃ・・・ぼかしレベルガイド、１１５ｄ・・・ぼかしレベルバー、１１５ｅ・・・マスク強度ガイド、１１５ｆ・・・マスク強度バー、１１５ｇ・・・リターンアイコン、１１６・・・システム制御部、１１７・・・操作部、１１７ａ・・・電源釦、１１７ｂ・・・レリーズ釦、１１７ｃ・・・撮影モードダイヤル、１１７ｄ・・・動画釦、１１７ｅ・・・ファンクション釦、１１７ｆ・・・十字釦、１１７ｇ・・・ＯＫ釦、１１７ｈ・・・メニュー釦、１１８・・・不揮発性メモリ、１１９・・・電源部、１２０・・・電源制御部１２１・・・フラッシュ制御部、１２２・・・フラッシュ充電部、１２３・・・フラッシュ発光部、２０１・・・元画像、２０２・・・マスク、２０５・・・ぼかし画像、２０６・・・マスク、２０９・・・作画効果付与画像

Claims (16)

1. 撮像部を有するデジタル画像の撮影が可能な撮像装置であって、
   上記撮像部によって撮像されたデジタル画像から目を検出する顔器官検出部と、
   上記検出した目にＡＦ領域を設定して目にピントを合わせる目ＡＦ部と、
   上記デジタル画像について、上記目ＡＦ部がピント合わせを行った目の周辺をぼかす画像処理を行う画像処理部と、
   を有し、
   上記顔器官検出部は、上記撮像部によって撮像されたデジタル画像から顔器官を検出し、検出した顔器官に基づいて顔の向きを判別し、
   上記目ＡＦ部は、顔の向きに基づいて一方の目を選択して、選択した目にピントを合わせる動作を行い、
   上記画像処理部は、選択しなかった目をぼかす処理を行うとともに、顔の向きに応じてぼかし強度を変更する、
   ことを特徴とする撮像装置。
2. 上記画像処理部は、顔の向きの正面からのずれが大きいほど、ぼかし強度を大きくすることを特徴とする請求項１に記載の撮像装置。
3. 上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす画像を行うことを特徴とする請求項１に記載の撮像装置。
4. 上記顔器官検出部は、上記撮像部によって撮像されたデジタル画像から左右の目と口角を検出し、
   上記目ＡＦ部は、選択した目にピントを合わせる動作を行い、
   上記画像処理部は、上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う、
   ことを特徴とする請求項１に記載の撮像装置。
5. 上記画像処理部は、上記目ＡＦ部がピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行うことを特徴とする請求項４に記載の撮像装置
   。
6. 上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目とピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角を含む領域を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす画像処理を行うことを特徴とする請求項４に記載の撮像装置。
7. 上記画像処理部は、上記目ＡＦ部がピント合わせを行った目からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行うことを特徴とする請求項１に記載の撮像装置。
8. 上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に、かつ目からの距離に応じて透過率を下げる設定をし、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成して選択しなかった目をぼかす処理を行うことを特徴とする請求項７に記載の撮像装置。
9. 上記画像処理部は、上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成してピント合わせを行った目の周辺をぼかす画像処理を行うことを特徴とする請求項１に記載の撮像装置。
10. 上記目ＡＦ部により目にピント合わせが行われた場合に、露出時の絞り値を開放Ｆ値近傍の所定値に設定する絞り値設定部と、
    を有することを特徴とする請求項１に記載の撮像装置。
11. 撮像したデジタル画像から目を検出し、上記検出した目にピント合わせを行い、上記デジタル画像について、上記ピント合わせを行った目の周辺をぼかす画像処理を行う、デジタル画像の撮影が可能な撮像装置の撮像方法であって、
    上記デジタル画像から顔器官を検出し、検出した顔器官に基づいて顔の向きを判別し、
    顔の向きに基づいて一方の目を選択して、選択した目にピント合わせる動作を行い、
    選択しなかった目をぼかす処理を行うとともに、顔の向きに応じてぼかし強度を変更する、
    ことを特徴とする撮像方法。
12. 顔の向きの正面からのずれが大きいほど、ぼかし強度を大きくすることを特徴とする請求項１１に記載の撮像方法。
13. 撮像したデジタル画像から左右の目と口角を検出し、
    選択した目にピントを合わせる動作を行い、
    上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域の周辺をぼかす画像処理を行う、
    ことを特徴とする請求項１１に記載の撮像方法。
14. 上記ピント合わせを行った目と、ピント合わせを行った目の位置に対応する左右の口角のうちの一方の口角とを含む領域からの画像上の距離に応じてぼかし強度を大きくしてぼかす処理を行うことを特徴とする請求項１３に記載の撮像方法。
15. 上記ピント合わせを行った目からの画像上の距離に応じてぼかし強度を大きくしてぼかす画像処理を行うことを特徴とする請求項１１に記載の撮像方法。
16. 上記撮像されたデジタル画像をぼかした画像を生成し、上記撮像されたデジタル画像のαチャンネルマスクを生成してピントを合わせた目を透過状態に設定し、上記撮像されたデジタル画像に上記αチャンネルマスクを適用させた画像と、上記ぼかした画像に上記αチャンネルマスクの反転パターンのマスクを適用させた画像とを合成してピント合わせを行った目の周辺をぼかす画像処理を行うことを特徴とする請求項１１に記載の撮像方法。